Forward Pass یعنی چه؟

به زبان ساده:

Forward Pass یعنی عبور دادن ورودی از داخل شبکه از ابتدا تا انتها و محاسبه‌ی خروجی.

مثلاً کاربر می‌نویسد:

I love programming

مدل این مسیر را طی می‌کند:

Text ↓Tokenizer ↓Token IDs ↓Embedding ↓Transformer Layer 1 ↓Transformer Layer 2 ↓Transformer Layer 3 ↓... ↓Output

این یک Forward Pass است.


داخل یک Transformer Layer چه اتفاقی می‌افتد؟

فرض کنیم ورودی این Layer:

X

باشد.

اول از X، Q/K/V ساخته می‌شود:

X│├── X × WQ → Q├── X × WK → K└── X × WV → V

بعد:

Q × Kᵀ      ↓Attention Scores      ↓Softmax      ↓Attention Weights      ↓Weights × V      ↓Attention Output

بعد معمولاً:

Attention Output       ↓Residual Connection       ↓Normalization       ↓Feed Forward Network       ↓Residual Connection       ↓Normalization       ↓خروجی Layer

این خروجی می‌رود به Layer بعدی.


پس Representation کجاست؟

فرض کن Token ما it است.

در ابتدا:

X₀(it)

یعنی representation اولیه.

بعد Layer اول:

X₀ ↓Transformer Layer 1 ↓X₁

بعد:

X₁ ↓Transformer Layer 2 ↓X₂

و:

X₂ ↓Transformer Layer 3 ↓X₃

بنابراین:

X₀ → X₁ → X₂ → X₃ → ...

هر X یک representation متفاوت از Token است.


چرا می‌گوییم موقت؟

چون این X₁, X₂, X₃ معمولاً برای محاسبات همان Forward Pass تولید می‌شوند.

مثلاً وقتی تو می‌پرسی:

What is AI?

مدل این representationها را محاسبه می‌کند.

وقتی بعداً می‌پرسی:

What is a car?

Forward Pass جدیدی انجام می‌شود و representationهای جدید ساخته می‌شوند.

یعنی:

Question 1 ↓Forward Pass 1 ↓Representations 1Question 2 ↓Forward Pass 2 ↓Representations 2

این‌ها همانند فعالیت‌های داخلی شبکه هنگام پردازش ورودی هستند.


اما Weightها فرق دارند

این تفاوت خیلی مهم است.

Weightها:

WQWKWVW1W2...

این‌ها پارامترهای مدل هستند و در Training یاد گرفته می‌شوند.

در زمان استفاده معمولی از مدل، این Weightها ثابت می‌مانند.


Representationها:

X₀X₁X₂...

این‌ها از روی ورودی و Weightها محاسبه می‌شوند.

پس:

Weight   ↓ثابت در این Forward PassInput   +Weight   ↓Representation   ↓Representation   ↓Output

Training و Inference را جدا کن

این قسمت خیلی مهم است.

هنگام Training:

Input ↓Forward Pass ↓Prediction ↓Loss ↓Backward Pass ↓Gradient ↓Update Weights

اینجا Weightها تغییر می‌کنند.


هنگام استفاده از ChatGPT:

تقریباً:

Your Message ↓Forward Pass ↓Prediction ↓Next Token ↓Forward Pass ↓Next Token ↓...

اینجا معمولاً Weightها تغییر نمی‌کنند.

مدل فقط با Weightهای از قبل آموزش‌دیده، محاسبات انجام می‌دهد.


یک تشبیه خیلی خوب

فرض کن Weightها مثل قوانین یک کارخانه هستند.

Weightها=دستورالعمل‌های کارخانه

و Representationها مثل محصولی هستند که در خط تولید در حال ساخته شدن است:

مواد اولیه ↓دستگاه 1 ↓محصول نیمه‌ساخته ↓دستگاه 2 ↓محصول نیمه‌ساخته ↓دستگاه 3 ↓محصول نهایی

در هر بار تولید، محصول جدید ساخته می‌شود؛ اما دستورالعمل کارخانه همان است.


پس جمله‌ای که گفتیم:

«Representationها فعالیت‌ها/خروجی‌های محاسباتی شبکه در همان Forward Pass هستند.»

یعنی:

Representation چیزی نیست که مدل از قبل برای هر جمله ذخیره کرده باشد؛ بلکه در زمان پردازش ورودی، لایه‌به‌لایه محاسبه می‌شود و اطلاعات معنایی و Context را در طول مسیر غنی‌تر می‌کند.

و اینجا تقریباً به مرز بسیار مهمی رسیده‌ایم:

Training:"مدل چگونه یاد می‌گیرد؟"Forward Pass:"مدل چگونه یک ورودی را پردازش می‌کند؟"Backward Pass:"مدل چگونه می‌فهمد کجا اشتباه کرده و Weightها را اصلاح کند؟"

اگر Forward Pass و Backward Pass را کنار هم بگذاری، مکانیزم اصلی «یادگیری» شبکه عصبی تقریباً کامل می‌شود.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *