تبدیل IDها به Embedding چیست؟

نکته‌ی اصلی این است:

ID خودش تبدیل محاسباتی به بردار نمی‌شود؛ ID در واقع شماره‌ی یک ردیف از یک جدول بزرگ به نام Embedding Matrix است.

فرض کنیم Vocabulary فقط 5 کلمه دارد

مثلاً:

IDToken
0I
1you
2love
3cat
4programming

حالا مدل یک Embedding Matrix دارد.

فرض کنیم برای ساده‌سازی هر Embedding فقط 4 عدد داشته باشد:

Embedding Matrix

ID     Vector
──────────────────────────────
0   → [ 0.12,  0.45, -0.21,  0.73 ]
1   → [-0.32,  0.11,  0.82,  0.05 ]
2   → [ 0.71, -0.14,  0.33,  0.62 ]
3   → [ 0.91,  0.22, -0.11,  0.48 ]
4   → [-0.15,  0.81,  0.44, -0.37 ]

پس وقتی Token ID برابر 3 است:

3
↓
ردیف شماره 3
↓
[0.91, 0.22, -0.11, 0.48]

همین!

یعنی کار اصلی در این مرحله فقط یک lookup / table lookup است.


پس آن عددها از کجا آمده‌اند؟

اینجا قسمت خیلی مهم داستان است.

مثلاً:

cat → [0.91, 0.22, -0.11, 0.48]

این اعداد را ما دستی تعیین نکرده‌ایم.

مدل در ابتدا معمولاً Embeddingها را با مقادیر کوچک و تقریباً تصادفی شروع می‌کند:

cat
↓
[0.03, -0.17, 0.08, 0.11]

بعد هنگام Training، این اعداد هم مثل سایر پارامترهای مدل تغییر می‌کنند.

مثلاً بعد از مدتی:

cat
↓
[0.51, 0.72, -0.14, 0.33]

و بعد از Training زیاد:

cat
↓
[0.91, 0.22, -0.11, 0.48]

بنابراین:

اعداد داخل Embedding نتیجه‌ی یادگیری مدل هستند.


چرا مثلاً 0.91 یعنی «گربه»؟

اینجا یک سوءتفاهم رایج وجود دارد.

این‌طور نیست که:

0.91 = گربه بودن
0.22 = حیوان بودن
-0.11 = چهارپا بودن
0.48 = ...

معمولاً نمی‌توانیم هر بُعد را به یک مفهوم مشخص انسانی نسبت دهیم.

معنی در ترکیب تعداد زیادی از ابعاد و روابط بین بردارها شکل می‌گیرد.

مثلاً در یک فضای بسیار بزرگ، ممکن است بردارهای این کلمات طوری قرار بگیرند که:

cat
dog
kitten
puppy

به هم نزدیک باشند، در حالی که:

cat
car
database

فاصله‌ی بیشتری داشته باشند.


چرا Training باعث می‌شود این اتفاق بیفتد؟

فرض کنیم در ابتدا:

cat = [0.02, 0.81, -0.13, ...]
dog = [0.77, -0.21, 0.44, ...]

و این دو بردار هیچ شباهت خاصی ندارند.

مدل میلیون‌ها جمله می‌بیند:

The cat is sleeping.
The dog is sleeping.
The cat eats food.
The dog eats food.
The cat is an animal.
The dog is an animal.

مدل متوجه می‌شود که cat و dog در contextهای مشابه ظاهر می‌شوند.

در جریان Training، Gradientها باعث می‌شوند پارامترهای Embedding تغییر کنند:

قبل:

cat  ─────────────── dog
  فاصله زیاد


بعد:

cat ─── dog
      نزدیک

یعنی مدل کم‌کم یک فضای معنایی می‌سازد.


یک مثال خیلی ساده‌تر

فرض کن فقط دو ویژگی داشتیم:

X = میزان حیوان بودن
Y = میزان وسیله نقلیه بودن

آن‌وقت ممکن بود چیزی شبیه این داشته باشیم:

             حیوان بودن
                 ↑
                 |
       cat ●     |    dog ●
                 |
                 |
─────────────────┼──────────────→ وسیله نقلیه
                 |
                 |              car ●
                 |

در این مثال:

cat = [0.9, 0.1]
dog = [0.8, 0.2]
car = [0.1, 0.9]

البته در مدل واقعی ابعاد این‌قدر قابل تفسیر نیستند و معمولاً تعداد ابعاد خیلی بیشتر است.


مثلاً GPT چه تعداد بُعد دارد؟

بسته به مدل متفاوت است.

مثلاً ممکن است Embedding یک مدل:

[token_id] → vector با چند هزار عدد

باشد.

پس اگر Vocabulary مثلاً:

100,000 tokens

و اندازه Embedding:

4096

باشد، Embedding Matrix تقریباً:

100,000 × 4096

پارامتر دارد.

یعنی یک جدول عظیم از اعداد.


و اینجا ارتباطش با Weightها مشخص می‌شود

حالا چیزی که در سؤال قبلی پرسیدی هم روشن می‌شود.

Embedding Matrix خودش بخشی از پارامترهای قابل یادگیری مدل است.

یعنی:

Embedding Matrix
       │
       │ Training
       ↓
اعداد تغییر می‌کنند
       ↓
Representation بهتر می‌شود

پس وقتی مدل آموزش می‌بیند، فقط Weightهای Attention تغییر نمی‌کنند؛ Embeddingها هم می‌توانند یاد بگیرند.


کل مسیر را با این جزئیات ببین

مثلاً:

"I love programming"
        │
        ▼
     Tokenizer
        │
        ▼
["I", "love", "programming"]
        │
        ▼
[40, 1842, 927]
        │
        │    Embedding Matrix
        │    ┌─────────────────────┐
        ├───►│ row 40  → vector    │
        ├───►│ row 1842 → vector   │
        └───►│ row 927 → vector    │
             └─────────────────────┘
        │
        ▼
[
 [0.12, -0.45, 0.71, ...],
 [0.33,  0.18, 0.27, ...],
 [0.71, -0.12, 0.55, ...]
]
        │
        ▼
Transformer
        │
        ├── Q
        ├── K
        ├── V
        │
        ▼
    Attention

پس سه چیز را از هم جدا کن:

Token ID:

927

فقط یک شماره/آدرس است.

Embedding Vector:

[0.71, -0.12, 0.55, ...]

نمایش عددی Token است.

Embedding Matrix:

       0.1   0.2   0.3   ...
ID 0   ...
ID 1   ...
ID 2   ...
...
ID 927 ...
...

یک جدول بزرگ است که هر Token یک ردیف دارد.

و مهم‌ترین نکته:

مدل در ابتدا این جدول را تقریباً تصادفی مقداردهی می‌کند و در طول Training آن را تغییر می‌دهد تا نمایش‌های عددی مفیدتری برای پیش‌بینی ایجاد شوند.

اگر بخواهی مرحله بعد را دقیق بفهمی، سؤال بسیار خوبی که بعد از این باید بپرسیم این است:

«خب مدل از کجا می‌فهمد که باید اعداد Embedding مربوط به cat و dog را به هم نزدیک کند؟»

جواب این سؤال ما را مستقیم می‌برد به Loss → Gradient → Backpropagation → Weight Update؛ یعنی دقیقاً مکانیزم «یادگیری» شبکه عصبی.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *