اینکه هر بعد نماینده چه ویژگی باشد توسط چه کسی تعیین میشود؟

دقیقاً نکته‌ی مهم همین‌جاست: هیچ‌کس به‌صورت دستی تعیین نمی‌کند که «بُعد ۱ = فلان ویژگی» باشد.

در یک مدل معمولی، این ویژگی‌ها به‌صورت خودکار در فرایند Training شکل می‌گیرند.

مثلاً فرض کنیم embedding فقط ۵ بُعد داشته باشد:

cat → [0.8, -0.2, 0.5, 0.1, -0.7]
dog → [0.7, -0.1, 0.6, 0.2, -0.6]
car → [-0.4, 0.9, -0.2, 0.7, 0.3]

ما به مدل نمی‌گوییم:

dimension 1 → حیوان بودن
dimension 2 → اندازه
dimension 3 → چهارپا بودن
...

بلکه مدل خودش در Training مقادیر را طوری تنظیم می‌کند که بتواند وظیفه‌اش را بهتر انجام دهد.

پس چه اتفاقی می‌افتد؟

در ابتدا embeddingها معمولاً با مقادیر تصادفی شروع می‌شوند:

cat → [0.12, -0.43, 0.07, ...]
dog → [0.91,  0.11, -0.32, ...]

مدل روی حجم بسیار زیادی از متن آموزش می‌بیند.

مثلاً:

The cat is sleeping.
The cat likes milk.
The dog is sleeping.
The dog likes meat.
The car is fast.
...

مدل کم‌کم متوجه الگوهای آماری زبان می‌شود.

با استفاده از gradient descent و backpropagation، اعداد embeddingها و وزن‌های شبکه مرتب تغییر می‌کنند.

در نتیجه ممکن است فضایی شکل بگیرد که در آن:

             animal
                ↑
        cat ●   │   ● dog
                │
                │
                │
car ●───────────┼────────→ vehicle

اما نکته‌ی ظریف این است که حتی نمی‌توانیم بگوییم:

«بعد شماره ۱ دقیقاً animal است.»

ممکن است اطلاعات animal بودن در ترکیبی از صدها بُعد پخش شده باشد:

animal-related information
        ↓
0.12 × dimension 17
+ 0.83 × dimension 42
- 0.31 × dimension 103
+ ...

به این ویژگی می‌گویند distributed representation.

بنابراین سه چیز را از هم جدا کن

۱. تعداد ابعاد

مثلاً:

768

این را معماری مدل تعیین می‌کند.

۲. مقدار هر بُعد

مثلاً:

[0.21, -0.73, 0.14, ...]

این مقادیر را مدل در Training یاد می‌گیرد.

۳. اینکه این ابعاد چه اطلاعاتی را encode کنند

این هم مستقیماً توسط انسان تعیین نمی‌شود؛ در اثر Training و هدفی که مدل برای آن آموزش می‌بیند، به‌صورت خودکار شکل می‌گیرد.

و حتی ممکن است یک ویژگی مشخص در چندین بُعد پخش شده باشد، نه اینکه هر ویژگی یک بُعد مستقل داشته باشد.

این موضوع درک Q/K/V را هم خیلی روشن می‌کند، چون آنجا می‌بینیم مدل از همین representation یادگرفته‌شده، سه نمایش متفاوت برای Query، Key و Value می‌سازد.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *