مرحله بعد از embeding در llm چیست؟

AI معمولاً با Tokenize کردن یک جمله، بلافاصله «یاد نمی‌گیرد». Tokenization فقط آماده‌سازی داده است. یادگیری اصلی در مرحله‌ی Training اتفاق می‌افتد.

مثلاً فرض کنیم جمله این باشد:

I love programming

1. Tokenization

اول متن به Token تقسیم می‌شود:

["I", " love", " programming"]

2. تبدیل Token به ID

هر Token از Vocabulary یک ID می‌گیرد:

["I", " love", " programming"]
          ↓
[40, 1842, 927]

این اعداد فقط شماره‌ی Tokenها هستند؛ خودشان معنی خاصی ندارند.


3. تبدیل IDها به Embedding

حالا هر ID به یک بردار تبدیل می‌شود:

40
↓
[0.12, -0.45, 0.71, 0.32, ...]

1842
↓
[0.33,  0.18, 0.27, 0.91, ...]

927
↓
[0.71, -0.12, 0.55, 0.44, ...]

اینجا مدل یک نمایش عددی از Tokenها دارد.

اما هنوز مدل جمله را به معنای واقعی یاد نگرفته.


4. اطلاعات موقعیت اضافه می‌شود

مدل باید بداند ترتیب Tokenها چیست:

I       → position 1
love    → position 2
programming → position 3

چون:

Dog bites man

با:

Man bites dog

متفاوت است.

پس ورودی Transformer ترکیبی از اطلاعات Token و موقعیت آن است.


5. وارد Transformer می‌شود

حالا این بردارها وارد Transformer می‌شوند:

Embedding
    ↓
Positional Information
    ↓
Self-Attention
    ↓
Q / K / V
    ↓
Feed Forward
    ↓
Transformer Block
    ↓
...

در Self-Attention مدل شروع می‌کند به یادگیری ارتباط بین Tokenها.

مثلاً در:

I love programming

ممکن است مدل یاد بگیرد که:

love ←→ programming

ارتباط دارند.

اما اینجا هنوز نکته‌ی اصلی Training باقی مانده.


6. مدل باید یک چیزی را پیش‌بینی کند

فرض کن می‌خواهیم یک مدل شبیه GPT آموزش دهیم.

به مدل می‌دهیم:

I love

و انتظار داریم پیش‌بینی کند:

programming

یعنی:

Input:
I love

        ↓

Transformer

        ↓

Predictions:
programming → 0.40
coding      → 0.15
AI          → 0.08
music       → 0.02
...

مدل در ابتدا احتمالاً پیش‌بینی خیلی بدی دارد.


7. جواب درست را با پیش‌بینی مقایسه می‌کنیم

جواب واقعی:

programming

ولی مدل مثلاً گفته:

coding

پس می‌فهمیم خطا دارد.

این خطا با چیزی به نام Loss اندازه‌گیری می‌شود.

Prediction
     ↓
"coding"

Target
     ↓
"programming"

     ↓
   Loss

8. سپس وزن‌های مدل اصلاح می‌شوند

اینجا قسمت «یادگیری» اتفاق می‌افتد.

با استفاده از:

Backpropagation + Gradient Descent

پارامترهای مدل کمی تغییر می‌کنند.

مثلاً به‌صورت مفهومی:

قبل:

programming = 0.40
coding      = 0.15


بعد از Training:

programming = 0.43
coding      = 0.13

بعد جمله‌های بسیار زیادی به مدل داده می‌شود.


9. این کار میلیاردها بار تکرار می‌شود

مثلاً:

Text
 ↓
Tokenize
 ↓
Token IDs
 ↓
Embedding
 ↓
Transformer
 ↓
Prediction
 ↓
Loss
 ↓
Backpropagation
 ↓
Update Weights
 ↓
داده بعدی
 ↓
...

در نهایت مدل کم‌کم وزن‌هایش را طوری تنظیم می‌کند که بتواند الگوهای زبان را بهتر پیش‌بینی کند.


یک نکته خیلی مهم

مدل در واقع این‌طور یاد نمی‌گیرد:

«این جمله را حفظ کردم.»

بلکه بیشتر این اتفاق می‌افتد:

«از دیدن حجم بسیار زیادی از نمونه‌ها، وزن‌های شبکه را طوری تنظیم کردم که بتوانم Token بعدی را بهتر پیش‌بینی کنم.»

مثلاً از میلیون‌ها/میلیاردها نمونه، مدل به تدریج الگوهایی مثل این را یاد می‌گیرد:

بعد از "I am" 
احتمالاً یک صفت یا اسم می‌آید.

بعد از "Python is a"
احتمالاً چیزی درباره Python می‌آید.

"Paris is the capital of"
احتمالاً "France" می‌آید.

و نکته جالب‌تر اینکه این الگوها به‌صورت صریح در یک جدول ذخیره نمی‌شوند؛ در پارامترهای شبکه عصبی پخش می‌شوند.


پس کل فرآیند Training را این‌طور ببین:

              DATA
               │
               ▼
          TOKENIZER
               │
               ▼
          TOKEN IDs
               │
               ▼
           EMBEDDING
               │
               ▼
          TRANSFORMER
               │
               ▼
          PREDICTION
               │
               ▼
        ┌──── LOSS ────┐
        │              │
        │              ▼
        │       BACKPROPAGATION
        │              │
        │              ▼
        └──── WEIGHTS UPDATE
                       │
                       ▼
                  Repeat 🔄

یعنی Tokenizer فقط دروازه‌ی ورود متن است؛ «یادگیری» با محاسبه Loss و اصلاح Weightهای شبکه اتفاق می‌افتد.

و اینجا یک سؤال خیلی مهم بعدی به وجود می‌آید: این Weightها دقیقاً چی هستند و چرا تغییر دادن آنها باعث «یادگیری» مدل می‌شود؟ این مفهوم، بعد از Embedding و قبل از اینکه وارد جزئیات عمیق‌تر Transformer شوی، یکی از مهم‌ترین چیزها برای فهم AI است.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *