مکانیزم Attention در AI

حتماً. با توجه به بحثی که داشتیم درباره‌ی Transformer و Q/K/V، می‌توانیم Attention را از پایه و مرحله‌به‌مرحله ببینیم.

Attention چیست؟

به زبان ساده:

Attention به هر توکن اجازه می‌دهد هنگام پردازش، تشخیص دهد کدام توکن‌های دیگر برای فهمیدن خودش مهم‌تر هستند.

مثلاً جمله:

The cat drank the milk because it was thirsty.

مدل هنگام پردازش it باید بفهمد که it به احتمال زیاد به cat اشاره می‌کند، نه milk.

Attention به مدل کمک می‌کند این ارتباط را محاسبه کند.


1. ابتدا توکن‌ها تبدیل به Embedding می‌شوند

فرض کنیم جمله:

The cat drank milk

به توکن‌های زیر تبدیل شده:

The     → token 1
cat     → token 2
drank   → token 3
milk    → token 4

هر توکن تبدیل به یک بردار می‌شود:

The   → [0.2, -0.1, 0.7, ...]
cat   → [0.8,  0.3, 0.1, ...]
drank → [0.4, -0.2, 0.9, ...]
milk  → [0.6,  0.5, 0.2, ...]

این‌ها همان representation اولیه هستند.


2. حالا Q/K/V ساخته می‌شوند

برای هر توکن، سه بردار ساخته می‌شود:

Query
Key
Value

یعنی مثلاً برای cat:

cat
 ├── Q
 ├── K
 └── V

و برای milk هم:

milk
 ├── Q
 ├── K
 └── V

نکته مهم:

Q/K/V سه embedding مستقل نیستند که از قبل وجود داشته باشند.

آن‌ها با ضرب embedding در ماتریس‌های قابل‌آموزش شبکه ساخته می‌شوند:

Q = X WQ
K = X WK
V = X WV

که WQ، WK و WV پارامترهای یادگرفتنی شبکه هستند.


3. Query یعنی «دنبال چه چیزی هستم؟»

برای درک شهودی:

Query

می‌توانیم تصور کنیم که می‌گوید:

«برای فهمیدن خودم، دنبال چه نوع اطلاعاتی می‌گردم؟»

مثلاً وقتی مدل در حال پردازش:

it

است، Query مربوط به it ممکن است به دنبال اطلاعاتی درباره‌ی:

یک اسم که بتواند مرجع it باشد

باشد.


4. Key یعنی «من چه اطلاعاتی دارم؟»

هر توکن یک Key دارد.

مثلاً:

cat → Key
milk → Key
drank → Key

Key را می‌توانیم به‌صورت شهودی این‌طور ببینیم:

«اگر دنبال چنین اطلاعاتی هستی، من ممکن است مرتبط باشم.»


5. Query با Key مقایسه می‌شود

این قسمت قلب Attention است.

مثلاً Query مربوط به it را با Key همه‌ی توکن‌ها مقایسه می‌کنیم:

Q(it) · K(The)
Q(it) · K(cat)
Q(it) · K(drank)
Q(it) · K(milk)

ضرب داخلی (Dot Product) انجام می‌شود.

مثلاً نتیجه فرضی:

              Score
The            0.2
cat            2.8
drank          0.5
milk           0.7

یعنی:

it ──────→ cat       2.8  ← ارتباط زیاد
it ──────→ milk      0.7
it ──────→ drank     0.5
it ──────→ The       0.2

پس مدل متوجه می‌شود cat احتمالاً اطلاعات مرتبط‌تری دارد.


6. سپس Softmax

Scoreها مستقیماً استفاده نمی‌شوند.

آن‌ها وارد Softmax می‌شوند:

[0.2, 2.8, 0.5, 0.7]
          ↓
       Softmax
          ↓
[0.05, 0.75, 0.08, 0.12]

حالا داریم:

The    → 5%
cat    → 75%
drank  → 8%
milk   → 12%

این‌ها را می‌توانیم Attention Weights یا وزن‌های Attention بنامیم.


7. حالا Valueها وارد بازی می‌شوند

این نکته خیلی مهم است.

ما با Key تصمیم گرفتیم که کدام توکن‌ها مهم هستند.

اما اطلاعات واقعی را از Value می‌گیریم.

یعنی:

Value(The)
Value(cat)
Value(drank)
Value(milk)

را داریم.

سپس:

Output(it) =
    0.05 × V(The)
  + 0.75 × V(cat)
  + 0.08 × V(drank)
  + 0.12 × V(milk)

بنابراین خروجی it بیشتر تحت تأثیر اطلاعات cat قرار می‌گیرد.


کل مکانیزم Attention

اگر بخواهیم کل فرآیند را در یک تصویر ذهنی خلاصه کنیم:

                Input Embeddings
                       │
                       ▼
                 ┌───────────┐
                 │  X tokens │
                 └───────────┘
                       │
              ┌────────┼────────┐
              ▼        ▼        ▼
             Q         K        V
              │        │        │
              │        │        │
              └───┐ ┌──┘        │
                  ▼ ▼           │
               Q × Kᵀ           │
                  │             │
                  ▼             │
              Scores            │
                  │             │
               Softmax          │
                  │             │
                  ▼             │
             Attention           │
              Weights            │
                  │             │
                  └──────┐      │
                         ▼      ▼
                       Weights × V
                             │
                             ▼
                         Output

فرمول معروف Attention هم همین است:

[
Attention(Q,K,V)

softmax
\left(
\frac{QK^T}{\sqrt{d_k}}
\right)V
]


چرا √dk داریم؟

ممکن است بپرسی چرا این قسمت وجود دارد:

[
\frac{QK^T}{\sqrt{d_k}}
]

چون اگر ابعاد بردارهای Q و K زیاد شود، حاصل Dot Product می‌تواند اعداد خیلی بزرگی تولید کند.

مثلاً:

Q · K = 35

اگر مستقیم وارد Softmax شود، Softmax ممکن است تقریباً به شکل زیر شود:

[0.000001, 0.999998, 0.000001]

یعنی تقریباً تمام توجه روی یک گزینه می‌رود.

تقسیم بر:

√dk

باعث می‌شود مقادیر کنترل‌شده‌تر باشند.


یک نکته بسیار مهم

در Attention فقط it به cat نگاه نمی‌کند.

هر توکن می‌تواند به همه‌ی توکن‌های دیگر Attention بدهد.

مثلاً:

              The   cat   drank   milk
The           ?     ?      ?       ?
cat           ?     ?      ?       ?
drank         ?     ?      ?       ?
milk          ?     ?      ?       ?

در نهایت یک Attention Matrix داریم:

              The   cat   drank   milk
The          0.4   0.3    0.2    0.1
cat          0.1   0.5    0.3    0.1
drank        0.1   0.2    0.5    0.2
milk         0.05  0.15   0.2    0.6

هر سطر می‌گوید یک توکن به توکن‌های دیگر چقدر توجه کرده است.


پس Representation جدید چگونه ساخته می‌شود؟

این دقیقاً به سؤال قبلی تو درباره‌ی representation مربوط است.

مثلاً:

cat

در ابتدا یک embedding دارد:

Embedding(cat)

بعد Attention اطلاعات توکن‌های مرتبط را وارد آن می‌کند.

پس چیزی شبیه:

Embedding(cat)
       +
اطلاعات The
       +
اطلاعات drank
       +
اطلاعات milk
       ↓
Contextual Representation(cat)

بنابراین بعد از Attention، cat دیگر فقط یک نمایش ثابت از کلمه‌ی «گربه» نیست؛ بلکه نمایش آن با توجه به context جمله تغییر کرده است.

به همین دلیل به آن می‌گوییم:

Contextual Representation


و این تفاوت مهم Embedding و Representation است

به‌صورت خیلی ساده:

Embedding
   ↓
نمایش اولیه توکن
   ↓
Attention
   ↓
ترکیب اطلاعات context
   ↓
Contextual Representation

و این فرآیند در Transformer بارها تکرار می‌شود:

Input Embeddings
       ↓
Transformer Layer 1
       ↓
Representation 1
       ↓
Transformer Layer 2
       ↓
Representation 2
       ↓
Transformer Layer 3
       ↓
Representation 3
       ↓
...

پس آن چیزی که قبلاً گفتیم «خروجی محاسباتی شبکه در همان Forward Pass» دقیقاً در همین چارچوب معنا پیدا می‌کند.

اگر بخواهی قدم بعدی خیلی مهم این است که یک Attention واقعی را با مثلاً ۳ توکن و بردارهای ۳بعدی، عددبه‌عدد محاسبه کنیم؛ آنجا Q/K/V و Softmax کاملاً ملموس می‌شوند.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *