tokizer چیست

Tokenizer (توکنایزر) چیزی است که متن خام را به واحدهایی به نام Token تبدیل می‌کند تا مدل AI بتواند آن را به عدد تبدیل و پردازش کند.

مسیر کلی را این‌طور ببین:

متن
 ↓
Tokenizer
 ↓
Token
 ↓
Token ID
 ↓
Embedding
 ↓
Transformer

یک مثال

فرض کن ورودی این باشد:

I love programming

Tokenizer ممکن است آن را به این شکل تقسیم کند:

["I", " love", " programming"]

سپس هر Token یک ID می‌گیرد:

"I"           → 40
" love"       → 1842
" programming" → 9281

بعد این IDها وارد Embedding می‌شوند:

40   → [0.12, -0.45, 0.71, ...]
1842 → [0.33,  0.18, 0.27, ...]
9281 → [0.81, -0.11, 0.52, ...]

آیا Token همیشه یک کلمه است؟

نه. این نکته خیلی مهم است.

Token می‌تواند:

  • یک کلمه باشد
  • بخشی از یک کلمه باشد
  • چند کاراکتر باشد
  • علامت نگارشی باشد
  • حتی فاصله یا بخشی از فاصله باشد

مثلاً یک Tokenizer ممکن است:

unbelievable

را به:

["un", "believ", "able"]

تقسیم کند.

یا:

Hello!

را به:

["Hello", "!"]

تبدیل کند.


برای فارسی چه اتفاقی می‌افتد؟

مثلاً:

من برنامه نویسی را دوست دارم

ممکن است چیزی شبیه این شود:

["من", " برنامه", " نویسی", " را", " دوست", " دارم"]

اما نحوه دقیق تقسیم شدن به tokenizer و vocabulary مدل بستگی دارد.


چرا اصلاً متن را Tokenize می‌کنیم؟

چون مدل عصبی با این نمی‌تواند مستقیماً کار کند:

"من برنامه نویسی را دوست دارم"

باید تبدیل شود به چیزی عددی:

[1254, 8921, 314, 7621,  ...]

و بعد:

Token IDs
    ↓
Embedding
    ↓
Vectors
    ↓
Transformer

Tokenizer یک Dictionary دارد

به‌صورت ساده می‌توانی تصور کنی Tokenizer یک جدول دارد:

TokenID
من1254
برنامه8921
را314
دوست7621
دارم4218

این مجموعه Tokenها را معمولاً Vocabulary می‌نامیم.

مثلاً:

Vocabulary
   │
   ├── Token 1
   ├── Token 2
   ├── Token 3
   ├── ...
   └── Token N

نکته جالب: چرا کلمات را کامل Token نمی‌کنیم؟

اگر قرار بود برای هر کلمه‌ای که در دنیا وجود دارد یک Token داشته باشیم، Vocabulary فوق‌العاده بزرگ می‌شد.

مثلاً:

program
programming
programmer
programmers
programmed
...

برای همین روش‌هایی مثل BPE (Byte Pair Encoding) و WordPiece استفاده می‌شوند.

در این روش‌ها کلمات می‌توانند به قطعات کوچک‌تر تقسیم شوند.

مثلاً به شکل مفهومی:

programming

program + ming

یا:

unhappiness

un + happiness

این باعث می‌شود مدل بتواند حتی کلماتی را که قبلاً ندیده، تا حدی پردازش کند.


حالا کل داستان را کنار هم بگذاریم

مثلاً:

"I love AI"

مرحله 1 — Tokenizer

["I", " love", " AI"]

مرحله 2 — Token IDs

[40, 1842, 927]

مرحله 3 — Embedding

40  → [0.12, -0.45, ...]
1842 → [0.33, 0.18, ...]
927 → [0.71, -0.12, ...]

مرحله 4 — Transformer

Embedding
    ↓
Q / K / V
    ↓
Self-Attention
    ↓
Feed Forward
    ↓
...

مرحله 5 — Prediction

مثلاً مدل می‌گوید:

"I love AI because ..."

و Token بعدی را پیش‌بینی می‌کند.


پس این چهار مفهوم را فعلاً این‌طور در ذهنت نگه دار:

TEXT
 │
 ▼
TOKENIZER
 │
 ▼
TOKENS
 │
 ▼
TOKEN IDs
 │
 ▼
EMBEDDING
 │
 ▼
VECTORS
 │
 ▼
Q / K / V
 │
 ▼
ATTENTION
 │
 ▼
TRANSFORMER

Tokenizer → متن را خرد می‌کند
Embedding → Tokenها را به فضای عددی/معنایی می‌برد
Attention → ارتباط بین Tokenها را پیدا می‌کند

بعد از این، بهترین مفهوم برای یادگیری Self-Attention با یک مثال عددی واقعی است؛ چون آنجا دقیقاً می‌بینی Q × Kᵀ چگونه مشخص می‌کند مدل به کدام کلمات بیشتر توجه کند.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *