نکتهی اصلی این است:
ID خودش تبدیل محاسباتی به بردار نمیشود؛ ID در واقع شمارهی یک ردیف از یک جدول بزرگ به نام Embedding Matrix است.
فرض کنیم Vocabulary فقط 5 کلمه دارد
مثلاً:
| ID | Token |
|---|---|
| 0 | I |
| 1 | you |
| 2 | love |
| 3 | cat |
| 4 | programming |
حالا مدل یک Embedding Matrix دارد.
فرض کنیم برای سادهسازی هر Embedding فقط 4 عدد داشته باشد:
Embedding Matrix
ID Vector
──────────────────────────────
0 → [ 0.12, 0.45, -0.21, 0.73 ]
1 → [-0.32, 0.11, 0.82, 0.05 ]
2 → [ 0.71, -0.14, 0.33, 0.62 ]
3 → [ 0.91, 0.22, -0.11, 0.48 ]
4 → [-0.15, 0.81, 0.44, -0.37 ]
پس وقتی Token ID برابر 3 است:
3
↓
ردیف شماره 3
↓
[0.91, 0.22, -0.11, 0.48]
همین!
یعنی کار اصلی در این مرحله فقط یک lookup / table lookup است.
پس آن عددها از کجا آمدهاند؟
اینجا قسمت خیلی مهم داستان است.
مثلاً:
cat → [0.91, 0.22, -0.11, 0.48]
این اعداد را ما دستی تعیین نکردهایم.
مدل در ابتدا معمولاً Embeddingها را با مقادیر کوچک و تقریباً تصادفی شروع میکند:
cat
↓
[0.03, -0.17, 0.08, 0.11]
بعد هنگام Training، این اعداد هم مثل سایر پارامترهای مدل تغییر میکنند.
مثلاً بعد از مدتی:
cat
↓
[0.51, 0.72, -0.14, 0.33]
و بعد از Training زیاد:
cat
↓
[0.91, 0.22, -0.11, 0.48]
بنابراین:
اعداد داخل Embedding نتیجهی یادگیری مدل هستند.
چرا مثلاً 0.91 یعنی «گربه»؟
اینجا یک سوءتفاهم رایج وجود دارد.
اینطور نیست که:
0.91 = گربه بودن
0.22 = حیوان بودن
-0.11 = چهارپا بودن
0.48 = ...
معمولاً نمیتوانیم هر بُعد را به یک مفهوم مشخص انسانی نسبت دهیم.
معنی در ترکیب تعداد زیادی از ابعاد و روابط بین بردارها شکل میگیرد.
مثلاً در یک فضای بسیار بزرگ، ممکن است بردارهای این کلمات طوری قرار بگیرند که:
cat
dog
kitten
puppy
به هم نزدیک باشند، در حالی که:
cat
car
database
فاصلهی بیشتری داشته باشند.
چرا Training باعث میشود این اتفاق بیفتد؟
فرض کنیم در ابتدا:
cat = [0.02, 0.81, -0.13, ...]
dog = [0.77, -0.21, 0.44, ...]
و این دو بردار هیچ شباهت خاصی ندارند.
مدل میلیونها جمله میبیند:
The cat is sleeping.
The dog is sleeping.
The cat eats food.
The dog eats food.
The cat is an animal.
The dog is an animal.
مدل متوجه میشود که cat و dog در contextهای مشابه ظاهر میشوند.
در جریان Training، Gradientها باعث میشوند پارامترهای Embedding تغییر کنند:
قبل:
cat ─────────────── dog
فاصله زیاد
بعد:
cat ─── dog
نزدیک
یعنی مدل کمکم یک فضای معنایی میسازد.
یک مثال خیلی سادهتر
فرض کن فقط دو ویژگی داشتیم:
X = میزان حیوان بودن
Y = میزان وسیله نقلیه بودن
آنوقت ممکن بود چیزی شبیه این داشته باشیم:
حیوان بودن
↑
|
cat ● | dog ●
|
|
─────────────────┼──────────────→ وسیله نقلیه
|
| car ●
|
در این مثال:
cat = [0.9, 0.1]
dog = [0.8, 0.2]
car = [0.1, 0.9]
البته در مدل واقعی ابعاد اینقدر قابل تفسیر نیستند و معمولاً تعداد ابعاد خیلی بیشتر است.
مثلاً GPT چه تعداد بُعد دارد؟
بسته به مدل متفاوت است.
مثلاً ممکن است Embedding یک مدل:
[token_id] → vector با چند هزار عدد
باشد.
پس اگر Vocabulary مثلاً:
100,000 tokens
و اندازه Embedding:
4096
باشد، Embedding Matrix تقریباً:
100,000 × 4096
پارامتر دارد.
یعنی یک جدول عظیم از اعداد.
و اینجا ارتباطش با Weightها مشخص میشود
حالا چیزی که در سؤال قبلی پرسیدی هم روشن میشود.
Embedding Matrix خودش بخشی از پارامترهای قابل یادگیری مدل است.
یعنی:
Embedding Matrix
│
│ Training
↓
اعداد تغییر میکنند
↓
Representation بهتر میشود
پس وقتی مدل آموزش میبیند، فقط Weightهای Attention تغییر نمیکنند؛ Embeddingها هم میتوانند یاد بگیرند.
کل مسیر را با این جزئیات ببین
مثلاً:
"I love programming"
│
▼
Tokenizer
│
▼
["I", "love", "programming"]
│
▼
[40, 1842, 927]
│
│ Embedding Matrix
│ ┌─────────────────────┐
├───►│ row 40 → vector │
├───►│ row 1842 → vector │
└───►│ row 927 → vector │
└─────────────────────┘
│
▼
[
[0.12, -0.45, 0.71, ...],
[0.33, 0.18, 0.27, ...],
[0.71, -0.12, 0.55, ...]
]
│
▼
Transformer
│
├── Q
├── K
├── V
│
▼
Attention
پس سه چیز را از هم جدا کن:
Token ID:
927
فقط یک شماره/آدرس است.
Embedding Vector:
[0.71, -0.12, 0.55, ...]
نمایش عددی Token است.
Embedding Matrix:
0.1 0.2 0.3 ...
ID 0 ...
ID 1 ...
ID 2 ...
...
ID 927 ...
...
یک جدول بزرگ است که هر Token یک ردیف دارد.
و مهمترین نکته:
مدل در ابتدا این جدول را تقریباً تصادفی مقداردهی میکند و در طول Training آن را تغییر میدهد تا نمایشهای عددی مفیدتری برای پیشبینی ایجاد شوند.
اگر بخواهی مرحله بعد را دقیق بفهمی، سؤال بسیار خوبی که بعد از این باید بپرسیم این است:
«خب مدل از کجا میفهمد که باید اعداد Embedding مربوط به cat و dog را به هم نزدیک کند؟»
جواب این سؤال ما را مستقیم میبرد به Loss → Gradient → Backpropagation → Weight Update؛ یعنی دقیقاً مکانیزم «یادگیری» شبکه عصبی.

دیدگاهتان را بنویسید