به زبان ساده:
Forward Pass یعنی عبور دادن ورودی از داخل شبکه از ابتدا تا انتها و محاسبهی خروجی.
مثلاً کاربر مینویسد:
I love programming
مدل این مسیر را طی میکند:
Text ↓Tokenizer ↓Token IDs ↓Embedding ↓Transformer Layer 1 ↓Transformer Layer 2 ↓Transformer Layer 3 ↓... ↓Output
این یک Forward Pass است.
داخل یک Transformer Layer چه اتفاقی میافتد؟
فرض کنیم ورودی این Layer:
X
باشد.
اول از X، Q/K/V ساخته میشود:
X│├── X × WQ → Q├── X × WK → K└── X × WV → V
بعد:
Q × Kᵀ ↓Attention Scores ↓Softmax ↓Attention Weights ↓Weights × V ↓Attention Output
بعد معمولاً:
Attention Output ↓Residual Connection ↓Normalization ↓Feed Forward Network ↓Residual Connection ↓Normalization ↓خروجی Layer
این خروجی میرود به Layer بعدی.
پس Representation کجاست؟
فرض کن Token ما it است.
در ابتدا:
X₀(it)
یعنی representation اولیه.
بعد Layer اول:
X₀ ↓Transformer Layer 1 ↓X₁
بعد:
X₁ ↓Transformer Layer 2 ↓X₂
و:
X₂ ↓Transformer Layer 3 ↓X₃
بنابراین:
X₀ → X₁ → X₂ → X₃ → ...
هر X یک representation متفاوت از Token است.
چرا میگوییم موقت؟
چون این X₁, X₂, X₃ معمولاً برای محاسبات همان Forward Pass تولید میشوند.
مثلاً وقتی تو میپرسی:
What is AI?
مدل این representationها را محاسبه میکند.
وقتی بعداً میپرسی:
What is a car?
Forward Pass جدیدی انجام میشود و representationهای جدید ساخته میشوند.
یعنی:
Question 1 ↓Forward Pass 1 ↓Representations 1Question 2 ↓Forward Pass 2 ↓Representations 2
اینها همانند فعالیتهای داخلی شبکه هنگام پردازش ورودی هستند.
اما Weightها فرق دارند
این تفاوت خیلی مهم است.
Weightها:
WQWKWVW1W2...
اینها پارامترهای مدل هستند و در Training یاد گرفته میشوند.
در زمان استفاده معمولی از مدل، این Weightها ثابت میمانند.
Representationها:
X₀X₁X₂...
اینها از روی ورودی و Weightها محاسبه میشوند.
پس:
Weight ↓ثابت در این Forward PassInput +Weight ↓Representation ↓Representation ↓Output
Training و Inference را جدا کن
این قسمت خیلی مهم است.
هنگام Training:
Input ↓Forward Pass ↓Prediction ↓Loss ↓Backward Pass ↓Gradient ↓Update Weights
اینجا Weightها تغییر میکنند.
هنگام استفاده از ChatGPT:
تقریباً:
Your Message ↓Forward Pass ↓Prediction ↓Next Token ↓Forward Pass ↓Next Token ↓...
اینجا معمولاً Weightها تغییر نمیکنند.
مدل فقط با Weightهای از قبل آموزشدیده، محاسبات انجام میدهد.
یک تشبیه خیلی خوب
فرض کن Weightها مثل قوانین یک کارخانه هستند.
Weightها=دستورالعملهای کارخانه
و Representationها مثل محصولی هستند که در خط تولید در حال ساخته شدن است:
مواد اولیه ↓دستگاه 1 ↓محصول نیمهساخته ↓دستگاه 2 ↓محصول نیمهساخته ↓دستگاه 3 ↓محصول نهایی
در هر بار تولید، محصول جدید ساخته میشود؛ اما دستورالعمل کارخانه همان است.
پس جملهای که گفتیم:
«Representationها فعالیتها/خروجیهای محاسباتی شبکه در همان Forward Pass هستند.»
یعنی:
Representation چیزی نیست که مدل از قبل برای هر جمله ذخیره کرده باشد؛ بلکه در زمان پردازش ورودی، لایهبهلایه محاسبه میشود و اطلاعات معنایی و Context را در طول مسیر غنیتر میکند.
و اینجا تقریباً به مرز بسیار مهمی رسیدهایم:
Training:"مدل چگونه یاد میگیرد؟"Forward Pass:"مدل چگونه یک ورودی را پردازش میکند؟"Backward Pass:"مدل چگونه میفهمد کجا اشتباه کرده و Weightها را اصلاح کند؟"
اگر Forward Pass و Backward Pass را کنار هم بگذاری، مکانیزم اصلی «یادگیری» شبکه عصبی تقریباً کامل میشود.

دیدگاهتان را بنویسید