تعداد لایههای Transformer ثابت نیست؛ بسته به معماری و اندازه مدل تعیین میشود.
مثلاً بهصورت ساده:
Input Tokens
↓
Embedding
↓
┌─────────────────────┐
│ Transformer Layer 1 │
├─────────────────────┤
│ Transformer Layer 2 │
├─────────────────────┤
│ Transformer Layer 3 │
│ ... │
├─────────────────────┤
│ Transformer Layer N │
└─────────────────────┘
↓
Output / Logits
هر Transformer Layer معمولاً شامل این بخشهاست:
Input
↓
Self-Attention
↓
Residual + LayerNorm
↓
Feed-Forward Network (MLP)
↓
Residual + LayerNorm
↓
Output
چند مثال واقعی
تعداد لایهها میتواند از چند لایه تا صدها لایه باشد. مثلاً:
| مدل | تعداد لایههای Transformer |
|---|---|
| BERT-base | 12 |
| BERT-large | 24 |
| GPT-2 small | 12 |
| GPT-2 XL | 48 |
| Llama 3 8B | 32 |
| Llama 3 70B | 80 |
نکته مهم این است که بیشتر بودن لایهها الزاماً به معنی بهتر بودن مدل نیست؛ اما معمولاً ظرفیت مدل برای یادگیری الگوهای پیچیدهتر را افزایش میدهد، البته با هزینهی بیشتر در حافظه و محاسبات.
ارتباطش با چیزی که قبلاً درباره Embedding و Q/K/V گفتیم
مثلاً فرض کنیم یک Transformer دارای 32 لایه باشد.
برای یک توکن مثل:
cat
در ابتدا یک embedding داریم:
cat → [0.21, -0.34, 0.71, ...]
بعد این representation وارد لایه اول میشود:
Layer 1
↓
Q, K, V
↓
Attention
↓
MLP
↓
representation جدید
سپس:
Layer 2
↓
Q, K, V
↓
Attention
↓
MLP
↓
representation جدیدتر
و همینطور تا:
Layer 32
بنابراین یک توکن در طول عبور از لایهها دائماً representation خودش را تغییر میدهد.
این دقیقاً به سؤال قبلی تو درباره اینکه:
«آیا representation یک embedding کد جدید و موقت است؟»
مرتبط است.
بله، میتوانی بهصورت مفهومی اینطور ببینی:
Embedding اولیه
↓
Representation₁
↓
Representation₂
↓
Representation₃
↓
...
↓
Representation₃₂
و جالبتر اینکه در لایههای ابتدایی، representation بیشتر اطلاعات نسبتاً سادهتر را میگیرد، ولی در لایههای عمیقتر میتواند اطلاعات معنایی، رابطه بین کلمات، وابستگیهای نحوی و مفهومی را در خود ترکیب کند.
اگر بخواهی، قدم بعدی خیلی مهم این است که توضیح دهیم چرا اصلاً چند لایه لازم است و یک لایه Transformer چرا کافی نیست؛ این موضوع کمک میکند کل معماری Transformer را واقعاً بفهمی.

دیدگاهتان را بنویسید