در معماری Transformer، Q/K/V سه بردار هستند که برای مکانیزم Attention ساخته میشوند:
- Q = Query → «من دنبال چه اطلاعاتی هستم؟»
- K = Key → «من چه نوع اطلاعاتی دارم؟»
- V = Value → «اگر به من توجه شد، چه اطلاعاتی را منتقل کنم؟»
مثلاً جمله:
The cat sat on the mat
فرض کنیم مدل در حال پردازش کلمهی sat است.
1. Query — سؤال
برای sat یک Q ساخته میشود:
Q(sat) = [0.21, -0.73, 0.45, ...]
این بردار بیان میکند:
برای فهم
sat، دنبال چه نوع اطلاعاتی از توکنهای دیگر هستم؟
2. Key — کلید
هر توکن یک K هم دارد:
K(cat) = [0.18, -0.69, 0.51, ...]
K(mat) = [0.82, 0.12, -0.33, ...]
K(the) = [...]
مدل Q مربوط به sat را با Kهای بقیه توکنها مقایسه میکند.
به زبان ساده:
Q(sat) ←→ K(cat)
Q(sat) ←→ K(mat)
Q(sat) ←→ K(the)
این مقایسه مشخص میکند sat باید به کدام توکنها بیشتر توجه کند.
3. Value — اطلاعات واقعی
هر توکن یک V هم دارد:
V(cat) = [0.42, -0.17, 0.91, ...]
اگر Attention تشخیص دهد که sat باید به cat توجه زیادی کند، بخش بیشتری از V(cat) وارد representation مربوط به sat میشود.
پس یک نکتهی خیلی مهم:
Q و K برای تعیین «به چه کسی توجه کنم؟» هستند، ولی V چیزی است که واقعاً از آن توکن دریافت میکنم.
کل فرآیند به صورت ساده
فرض کنیم:
Q(sat)
│
┌─────┼─────┐
↓ ↓ ↓
K(cat) K(the) K(mat)
│ │ │
↓ ↓ ↓
0.8 0.1 0.3 ← Attention scores
│ │ │
↓ ↓ ↓
V(cat) V(the) V(mat)
│ │ │
└─────┼─────┘
↓
weighted sum
↓
representation جدید
برای sat
از نظر ریاضی، ابتدا شباهت Q و K محاسبه میشود:
[
score(Q,K)=\frac{QK^T}{\sqrt{d_k}}
]
بعد با Softmax به وزنهای Attention تبدیل میشود:
[
Attention(Q,K,V)
softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V
]
بنابراین:
Q + K → تعیین میزان توجه
V → اطلاعاتی که منتقل میشود
یک نکته مهم برای ادامه بحث
همانطور که در بحث قبلی دربارهی embedding و representation داشتیم، این Q/K/V معمولاً سه embedding مستقل و ذخیرهشده برای هر کلمه نیستند.
بلکه از representation فعلی توکن، با سه ماتریس یادگرفتهشده ساخته میشوند:
X
│
├── × WQ → Q
├── × WK → K
└── × WV → V
و این محاسبات در هر لایه Transformer و در همان Forward Pass انجام میشوند.
اگر بخواهی، قدم بعدی خیلی مهم این است که توضیح بدهم چرا اصلاً به سه ماتریس جداگانهی WQ/WK/WV نیاز داریم و چرا نمیشود فقط یک بردار برای Attention داشت.

دیدگاهتان را بنویسید