بیشتر یا کمتر بودن «بعد» چه تاثیری دارد؟

بله؛ تعداد بُعد (dimension) را می‌توان تا حدی مثل اندازه‌ی فضای ذهنی مدل برای نمایش اطلاعات در نظر گرفت. البته این تشبیه دقیق ریاضی نیست، ولی برای فهم اولیه خیلی خوب است.

فرض کن یک توکن داریم:

cat

اگر مدل فقط ۳ بعد داشته باشد:

cat → [0.2, -0.7, 0.4]

و اگر 768 بعد داشته باشد:

cat → [0.2, -0.7, 0.4, ..., 0.13]
                  ↑
             768 مقدار

اگر تعداد ابعاد بیشتر شود چه می‌شود؟

مدل فضای بیشتری برای نمایش الگوها و اطلاعات دارد.

مثلاً به‌صورت ساده:

         ابعاد کم
            ↓
cat ───→ [0.2, -0.7, 0.4]

         اطلاعات محدودتر


         ابعاد زیاد
            ↓
cat ───→ [0.2, -0.7, 0.4, ..., 0.13]

         فضای نمایش غنی‌تر

در مدل‌های بزرگ، dimension بیشتر معمولاً اجازه می‌دهد representationهای پیچیده‌تری ساخته شوند.

مثلاً اطلاعات مربوط به:

  • معنای واژه
  • ارتباط با کلمات دیگر
  • نقش دستوری
  • موضوع
  • روابط معنایی
  • ویژگی‌های نحوی
  • و الگوهای بسیار پیچیده‌تر

در فضای representation مدل توزیع شوند.

اما بیشتر همیشه بهتر نیست.


اگر dimension خیلی کم باشد

فرض کن بخواهیم اطلاعات بسیار زیادی را در فقط ۲ بعد جا بدهیم:

        ↑
        │  cat ●
        │ dog ●
        │
        │       car ●
        └──────────────→

ممکن است فضای کافی برای جدا کردن تمام روابط و ویژگی‌های مورد نیاز وجود نداشته باشد.

یعنی مدل مجبور می‌شود اطلاعات مختلف را در فضای کوچکی فشرده کند.

نتیجه می‌تواند کاهش ظرفیت مدل برای یادگیری الگوهای پیچیده باشد.


اگر dimension خیلی زیاد باشد

مثلاً به جای 768 بگوییم:

100,000 dimensions

فضای بسیار بزرگی داریم، اما هزینه هم شدیداً بالا می‌رود.

مثلاً یک ماتریس وزن:

W

که باید روی بردارهای dimension بزرگ کار کند، پارامترهای بسیار بیشتری خواهد داشت.

پس:

dimension ↑
    ↓
ظرفیت نمایش ↑
    ↓
پارامترها و محاسبات ↑
    ↓
هزینه حافظه و زمان ↑

یک نکته خیلی مهم درباره Transformer

در Transformer، dimension فقط مربوط به embedding اولیه نیست.

مثلاً فرض کنیم:

d_model = 768

آن‌وقت تقریباً در طول یک لایه داریم:

Token
  ↓
Embedding
  ↓
768 dimensions
  ↓
       ┌──── Q
       │
       ├──── K
       │
       └──── V
             ↓
       Attention
             ↓
       768 dimensions
             ↓
       Feed Forward
             ↓
       768 dimensions

البته داخل Feed-Forward معمولاً dimension موقتاً بزرگ‌تر می‌شود.

مثلاً:

768
 ↓
3072
 ↓
768

یعنی مدل برای بعضی محاسبات، فضای بزرگ‌تری در اختیار دارد و دوباره آن را به 768 برمی‌گرداند.


پس یک سؤال جالب‌تر

چرا مثلاً یک مدل را با:

128

نسازیم؟

یا:

768

یا:

4096

این عدد یک trade-off است:

Dimensionظرفیت نمایشهزینه محاسباتحافظه
کمکمترکمترکمتر
متوسطبیشتربیشتربیشتر
زیادبسیار بیشتربسیار بیشتربسیار بیشتر

بنابراین طراح مدل باید اندازه‌ای انتخاب کند که بین ظرفیت، کیفیت، سرعت و هزینه تعادل ایجاد کند.

و یک نکته ظریف‌تر هم وجود دارد: dimension بیشتر لزوماً به معنی «هوش بیشتر» نیست؛ چون کیفیت مدل فقط به dimension وابسته نیست و تعداد لایه‌ها، تعداد پارامترها، داده آموزشی، معماری attention و عوامل دیگر هم بسیار مهم‌اند.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *