AI Q/K/V چیست؟

در معماری Transformer، ‌Q/K/V سه بردار هستند که برای مکانیزم Attention ساخته می‌شوند:

  • Q = Query → «من دنبال چه اطلاعاتی هستم؟»
  • K = Key → «من چه نوع اطلاعاتی دارم؟»
  • V = Value → «اگر به من توجه شد، چه اطلاعاتی را منتقل کنم؟»

مثلاً جمله:

The cat sat on the mat

فرض کنیم مدل در حال پردازش کلمه‌ی sat است.

1. Query — سؤال

برای sat یک Q ساخته می‌شود:

Q(sat) = [0.21, -0.73, 0.45, ...]

این بردار بیان می‌کند:

برای فهم sat، دنبال چه نوع اطلاعاتی از توکن‌های دیگر هستم؟


2. Key — کلید

هر توکن یک K هم دارد:

K(cat) = [0.18, -0.69, 0.51, ...]
K(mat) = [0.82,  0.12, -0.33, ...]
K(the) = [...]

مدل Q مربوط به sat را با Kهای بقیه توکن‌ها مقایسه می‌کند.

به زبان ساده:

Q(sat)  ←→  K(cat)
Q(sat)  ←→  K(mat)
Q(sat)  ←→  K(the)

این مقایسه مشخص می‌کند sat باید به کدام توکن‌ها بیشتر توجه کند.


3. Value — اطلاعات واقعی

هر توکن یک V هم دارد:

V(cat) = [0.42, -0.17, 0.91, ...]

اگر Attention تشخیص دهد که sat باید به cat توجه زیادی کند، بخش بیشتری از V(cat) وارد representation مربوط به sat می‌شود.

پس یک نکته‌ی خیلی مهم:

Q و K برای تعیین «به چه کسی توجه کنم؟» هستند، ولی V چیزی است که واقعاً از آن توکن دریافت می‌کنم.


کل فرآیند به صورت ساده

فرض کنیم:

          Q(sat)
             │
       ┌─────┼─────┐
       ↓     ↓     ↓
     K(cat) K(the) K(mat)
       │     │     │
       ↓     ↓     ↓
      0.8   0.1   0.3       ← Attention scores
       │     │     │
       ↓     ↓     ↓
     V(cat) V(the) V(mat)
       │     │     │
       └─────┼─────┘
             ↓
      weighted sum
             ↓
     representation جدید
         برای sat

از نظر ریاضی، ابتدا شباهت Q و K محاسبه می‌شود:

[
score(Q,K)=\frac{QK^T}{\sqrt{d_k}}
]

بعد با Softmax به وزن‌های Attention تبدیل می‌شود:

[
Attention(Q,K,V)

softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V
]

بنابراین:

Q + K  →  تعیین میزان توجه
V      →  اطلاعاتی که منتقل می‌شود

یک نکته مهم برای ادامه بحث

همان‌طور که در بحث قبلی درباره‌ی embedding و representation داشتیم، این Q/K/V معمولاً سه embedding مستقل و ذخیره‌شده برای هر کلمه نیستند.

بلکه از representation فعلی توکن، با سه ماتریس یادگرفته‌شده ساخته می‌شوند:

X
│
├── × WQ → Q
├── × WK → K
└── × WV → V

و این محاسبات در هر لایه Transformer و در همان Forward Pass انجام می‌شوند.

اگر بخواهی، قدم بعدی خیلی مهم این است که توضیح بدهم چرا اصلاً به سه ماتریس جداگانه‌ی WQ/WK/WV نیاز داریم و چرا نمی‌شود فقط یک بردار برای Attention داشت.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *