نه، تعداد بُعدهای یک توکن را خودِ AI در لحظه تعیین نمیکند. این مقدار معمولاً هنگام طراحی و تعریف معماری مدل مشخص میشود.
مثلاً فرض کنیم یک مدل اینطور طراحی شده:
embedding dimension = 768
آنوقت هر توکن بعد از تبدیل شدن به embedding، یک بردار ۷۶۸ بعدی خواهد داشت:
"cat"
↓
[0.12, -0.43, 0.81, ..., 0.27]
↑
768 عدد
چه کسی 768 را تعیین کرده؟
طراحان مدل هنگام ساخت معماری تصمیم گرفتهاند که:
فضای نمایش توکنها ۷۶۸ بُعد داشته باشد.
سپس مدل در فرایند Training یاد میگیرد که چه مقادیری در این ۷۶۸ بُعد قرار بگیرد.
یعنی:
طراح مدل
↓
dimension = 768
↓
مدل ساخته میشود
↓
Training
↓
مدل یاد میگیرد هر توکن چه اعدادی داشته باشد
بنابراین باید بین این دو تفاوت بگذاریم:
تعداد ابعاد ← از قبل توسط معماری تعیین میشود
مقدار هر بُعد ← توسط مدل در Training یاد گرفته میشود
یک نکته خیلی مهم
این ۷۶۸ بُعد به این معنی نیست که:
بعد 1 = معنی کلمه
بعد 2 = جنسیت
بعد 3 = جمع یا مفرد
...
معمولاً اینقدر ساده نیست.
اطلاعات مختلف در ترکیب تعداد زیادی از ابعاد توزیع میشوند.
مثلاً به شکل خیلی ساده:
cat
↓
[0.21, -0.73, 0.14, 0.91, ..., -0.32]
└───────────────┬───────────────┘
↓
representation
و نکتهای که در بحث قبلیمان درباره Q/K/V داشتیم این است که این بردار اولیه بعداً وارد Transformer میشود و در هر لایه، با انجام محاسبات attention و سایر عملیاتها، یک representation جدید برای توکن ایجاد میشود.
پس مثلاً:
Token
↓
Embedding اولیه
↓
Attention
↓
Representation جدید
↓
Attention لایه بعد
↓
Representation جدیدتر
↓
...
و تعداد ابعاد این representationها هم معمولاً در طول مدل ثابت میماند؛ مثلاً اگر مدل dimension برابر 768 داشته باشد، خروجی هر لایه هم معمولاً 768 بُعد دارد.
اگر بخواهی، قدم بعدی خیلی مهم این است که توضیح بدهم چرا اصلاً مثلاً 768 بعد لازم است و چرا مدل را با 10 یا 100 میلیون بُعد نمیسازند؟

دیدگاهتان را بنویسید