منظور از head چیه؟

بله. Head یکی از مفاهیم کلیدی Transformer است و وقتی Q/K/V را فهمیده باشی، فهمیدن Head خیلی راحت‌تر می‌شود.

Head چیست؟

به زبان ساده:

هر Head یک Attention مستقل است که می‌تواند روی نوع خاصی از ارتباط بین توکن‌ها تمرکز کند.

یعنی به‌جای اینکه مدل فقط یک Attention داشته باشد، چند Attention را همزمان و موازی اجرا می‌کند.

به همین دلیل می‌گوییم:

Multi-Head Attention


یک مثال ساده

جمله:

The cat drank milk because it was hungry.

فرض کن یک Transformer دارای 4 Head باشد.

ممکن است به‌صورت مفهومی:

Head 1 → ارتباط ضمیر با اسم
Head 2 → ارتباط فعل با فاعل
Head 3 → ارتباط کلمات نزدیک به هم
Head 4 → ارتباط معنایی بین کلمات

مثلاً Head 1 ممکن است هنگام دیدن:

it

بیشتر به:

cat

توجه کند.

Head 2 ممکن است بیشتر روی:

cat → drank

تمرکز کند.

Head 3 ممکن است به:

drank → milk

توجه بیشتری داشته باشد.

اما این برچسب‌ها را ما به Headها نمی‌دهیم. مدل خودش در Training الگوهای مفید را یاد می‌گیرد.


هر Head Q/K/V خودش را دارد

این قسمت به سؤال قبلی تو درباره Wk وصل می‌شود.

فرض کنیم یک Layer سه Head دارد:

Layer
│
├── Head 1
│    ├── Wq₁
│    ├── Wk₁
│    └── Wv₁
│
├── Head 2
│    ├── Wq₂
│    ├── Wk₂
│    └── Wv₂
│
└── Head 3
     ├── Wq₃
     ├── Wk₃
     └── Wv₃

بنابراین وقتی گفتیم:

Wk برای همه توکن‌ها مشترک است

باید دقیق‌تر بگوییم:

Wk برای همه توکن‌های یک Head در یک Layer مشترک است.

ولی Head بعدی Wk خودش را دارد.


چرا چند Head؟

چون یک Attention واحد مجبور است همه چیز را در یک فضای مشترک بررسی کند.

اما با چند Head:

             Input
               │
       ┌───────┼───────┐
       ↓       ↓       ↓
     Head 1  Head 2  Head 3
       │       │       │
       ↓       ↓       ↓
    Attention Attention Attention
       │       │       │
       └───────┼───────┘
               ↓
           ترکیب نتایج

هر Head می‌تواند projection متفاوتی از اطلاعات ورودی داشته باشد.


یک مثال خیلی ملموس

فرض کن جمله:

Ali went to the bank because he needed money.

برای پردازش he، ممکن است یک Head رابطه:

he → Ali

را بهتر بگیرد.

یک Head دیگر:

bank → money

را بهتر بگیرد.

یک Head دیگر:

went → Ali

را بهتر بگیرد.

یعنی هر Head از همان جمله، روابط متفاوتی را استخراج می‌کند.


نکته مهم: Head یک «بخش فیزیکی» جدا نیست

ممکن است تصور کنی:

Head 1 = یک شبکه عصبی کامل
Head 2 = یک شبکه عصبی کامل

نه.

Head در واقع یک فضای Attention مستقل است.

هر Head معمولاً projectionهای خودش را دارد:

X
│
├── × Wq₁ → Q₁
├── × Wk₁ → K₁
└── × Wv₁ → V₁

X
│
├── × Wq₂ → Q₂
├── × Wk₂ → K₂
└── × Wv₂ → V₂

و بعد هر کدام Attention خودشان را حساب می‌کنند:

Head 1:
Attention(Q₁,K₁,V₁)

Head 2:
Attention(Q₂,K₂,V₂)

بعد چه اتفاقی می‌افتد؟

خروجی Headها کنار هم قرار می‌گیرند:

Head 1 → [ ... ]
Head 2 → [ ... ]
Head 3 → [ ... ]
Head 4 → [ ... ]

       ↓ Concatenate

[ Head1 | Head2 | Head3 | Head4 ]

       ↓

   Output Projection

       ↓

Transformer layer output

پس Multi-Head Attention در اصل می‌گوید:

«از چند زاویه مختلف به روابط بین توکن‌ها نگاه کن، بعد نتایج این نگاه‌های مختلف را ترکیب کن.»


یک نکته خیلی مهم درباره GPT

مثلاً GPT-2 دارای 12 Head در هر Layer است.

پس اگر 12 لایه داشته باشیم:

12 Layer
×
12 Head
=
144 Attention Head

هر کدام فضای Attention و پارامترهای مربوط به خودش را دارد.

البته مدل‌های جدیدتر GPT ممکن است معماری‌های متفاوتی داشته باشند و لزوماً مثل GPT-2 نیستند.


خلاصه‌ی کل بحث ما تا اینجا

Token
  ↓
Embedding
  ↓
Representation
  │
  ├── Head 1 ──→ Q₁ K₁ V₁ ──→ Attention₁
  │
  ├── Head 2 ──→ Q₂ K₂ V₂ ──→ Attention₂
  │
  ├── Head 3 ──→ Q₃ K₃ V₃ ──→ Attention₃
  │
  └── ...
             ↓
       ترکیب Headها
             ↓
        Representation
             ↓
        Layer بعدی

پس Head را می‌توانی فعلاً این‌طور در ذهن داشته باشی:

🧠 Head = یک «زاویه دید» مستقل برای پیدا کردن ارتباط بین توکن‌ها.

و Wk هم در هر Head نقش مخصوص خودش را دارد.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *