Key در Q/K/V چیست؟

بله. این بخش از Q/K/V معمولاً سخت‌ترین قسمت برای درک شهودی است. نکته اصلی این است که جمله‌ی «Key یعنی من چه اطلاعاتی دارم؟» یک تشبیه است، نه تعریف دقیق ریاضی.

بیاییم دقیق‌ترش کنیم.


Key دقیقاً چیست؟

فرض کن هر توکن یک embedding دارد:

cat → [0.8, 0.2, -0.4, ...]

شبکه این embedding را می‌گیرد و با یک ماتریس یادگرفتنی به Key تبدیل می‌کند:

K = X × Wk

پس:

Embedding(cat)
       ↓
     × Wk
       ↓
    Key(cat)

یعنی Key یک نمایش تبدیل‌شده از توکن است که برای مقایسه با Query ساخته شده است.


چرا اصلاً Key لازم داریم؟

فرض کن توکن it یک Query دارد.

Query در واقع می‌گوید:

«من دنبال چه نوع اطلاعاتی هستم؟»

حالا باید بفهمیم کدام توکن‌ها می‌توانند این اطلاعات را فراهم کنند.

مثلاً:

it → Query

در مقابل:

The   → Key
cat   → Key
drank → Key
milk  → Key

مدل این کار را انجام می‌دهد:

Query(it) · Key(The)
Query(it) · Key(cat)
Query(it) · Key(drank)
Query(it) · Key(milk)

هرچه نتیجه بزرگ‌تر باشد یعنی:

این Key با چیزی که Query دنبال می‌کند بیشتر همخوانی دارد.


یک مثال ساده‌تر

فرض کن یک کتابخانه داریم.

هر کتاب یک برچسب دارد:

کتاب A:
[Python, Programming, Backend]

کتاب B:
[Cooking, Food, Recipe]

کتاب C:
[AI, Neural Network, Transformer]

حالا تو می‌گویی:

«من دنبال اطلاعات مربوط به AI هستم.»

این می‌شود Query تو.

کتاب‌ها هم Key دارند.

Query:
[AI, Neural Network]

        ↓ مقایسه

Book A Key → [Python, Programming, Backend]
Book B Key → [Cooking, Food, Recipe]
Book C Key → [AI, Neural Network, Transformer]

واضح است که:

Query ↔ Book C Key

بیشترین شباهت را دارد.

پس مدل می‌گوید:

Book C مهم‌تر است.

اما هنوز اطلاعات کتاب را برنداشته‌ایم.

این همان جایی است که Value وارد می‌شود.


Key و Value را از هم جدا کن

این تفکیک خیلی مهم است:

Key

می‌گوید:

«آیا من برای چیزی که تو دنبالش هستی مرتبط هستم؟»

Value

می‌گوید:

«اگر مرتبط بودم، چه اطلاعاتی به تو بدهم؟»

پس:

              Key
               ↓
        آیا من مرتبط هستم؟
               ↓
          Attention Score
               ↓
        چقدر از من بگیر؟
               ↓
              Value
               ↓
        چه اطلاعاتی بگیر؟

برگردیم به مثال it

جمله:

The cat drank milk because it was thirsty.

فرض کن مدل در حال پردازش it است.

Query مربوط به it ممکن است ویژگی‌هایی داشته باشد که به دنبال یک موجود/اسم مناسب برای مرجع ضمیر باشد.

حالا Keyها:

The   → Key
cat   → Key
drank → Key
milk  → Key
because → Key
it    → Key
was   → Key
thirsty → Key

مدل Query مربوط به it را با همه‌ی این Keyها مقایسه می‌کند.

مثلاً به صورت فرضی:

                Score
The             0.1
cat             3.2  ←
drank           0.2
milk            1.1
because         0.0
it              0.1
was             0.1
thirsty         0.8

بنابراین:

Q(it) · K(cat)

بیشترین مقدار را دارد.

پس Attention می‌گوید:

اطلاعات cat برای پردازش it مهم است.

بعد از Softmax مثلاً:

cat      → 0.70
milk     → 0.12
thirsty  → 0.08
...

و در نهایت از Valueها استفاده می‌شود:

0.70 × V(cat)
+
0.12 × V(milk)
+
0.08 × V(thirsty)
+
...

اما یک نکته خیلی مهم

ممکن است این سؤال برایت پیش بیاید:

«آیا Key واقعاً داخل خودش می‌داند که من مثلاً “اسم” هستم یا “فاعل” هستم؟»

نه به این شکل صریح.

مثلاً Key این نیست:

Key(cat) = {
    noun: 1,
    animal: 1,
    subject: 0.8
}

شبکه چنین برچسب‌های قابل‌خواندنی ندارد.

Key یک بردار عددی یادگرفته‌شده است:

Key(cat) =
[0.31, -0.72, 0.15, 0.91, ...]

این اعداد در طول آموزش طوری تنظیم می‌شوند که در کنار Queryها، Attention مفیدی ایجاد کنند.


پس Wk چه کار می‌کند؟

این قسمت خیلی مهم است.

ما سه تبدیل داریم:

Q = XWq
K = XWk
V = XWv

یعنی یک embedding واحد:

       X
       │
 ┌─────┼─────┐
 ↓     ↓     ↓
Wq    Wk    Wv
 ↓     ↓     ↓
 Q     K     V

هر ماتریس یک فضای متفاوت برای یک هدف متفاوت ایجاد می‌کند.

می‌توانی خیلی ساده این‌طور تصور کنی:

Wq → اطلاعات را از دید «چه چیزی می‌خواهم؟» استخراج کن

Wk → اطلاعات را از دید «برای چه جستجوهایی مرتبط هستم؟» استخراج کن

Wv → اطلاعاتی را که قرار است منتقل کنم استخراج کن

البته این‌ها تفسیر مفهومی هستند؛ شبکه الزاماً این مفاهیم را به‌صورت قابل‌تفسیر انسانی ذخیره نمی‌کند.


یک تشبیه خیلی خوب

تصور کن در یک فروشگاه هستی.

تو می‌گویی:

«یک کفش ورزشی برای دویدن می‌خواهم.»

این می‌شود:

Query

هر محصول یک مشخصات جستجوپذیر دارد:

Product A:
لباس رسمی
چرمی
مناسب مراسم

Product B:
کفش
ورزشی
مناسب دویدن

Product C:
کفش
رسمی
چرمی

این مشخصات نقش Key را بازی می‌کنند.

Query تو با Key محصولات مقایسه می‌شود:

Query
  │
  ├── Product A Key → شباهت کم
  ├── Product B Key → شباهت زیاد ←
  └── Product C Key → شباهت متوسط

بعد اگر Product B انتخاب شد، اطلاعات واقعی محصول از Value گرفته می‌شود:

Value(Product B)
→ قیمت
→ وزن
→ جنس
→ سایز
→ ...

پس این جمله را دقیق‌تر کنیم

قبلاً گفتیم:

Key یعنی «من چه اطلاعاتی دارم؟»

تعریف دقیق‌تر و بهتر این است:

Key یک نمایش یادگرفته‌شده از توکن است که مشخص می‌کند آن توکن برای چه Queryهایی مرتبط است.

و:

Value نمایش اطلاعاتی است که در صورت توجه به آن توکن، به خروجی منتقل می‌شود.

بنابراین:

                 Query
                   │
             «دنبال چی هستم؟»
                   │
                   ▼
                 مقایسه
                   │
                   ▼
                  Key
          «آیا من مرتبط هستم؟»
                   │
                   ▼
            Attention Weight
                   │
                   ▼
                 Value
           «چه چیزی منتقل کنم؟»

این تفکیک Q = جستجو، K = تطبیق، V = اطلاعات یکی از بهترین مدل‌های ذهنی برای فهم Attention است.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *