Tokenizer (توکنایزر) چیزی است که متن خام را به واحدهایی به نام Token تبدیل میکند تا مدل AI بتواند آن را به عدد تبدیل و پردازش کند.
مسیر کلی را اینطور ببین:
متن
↓
Tokenizer
↓
Token
↓
Token ID
↓
Embedding
↓
Transformer
یک مثال
فرض کن ورودی این باشد:
I love programming
Tokenizer ممکن است آن را به این شکل تقسیم کند:
["I", " love", " programming"]
سپس هر Token یک ID میگیرد:
"I" → 40
" love" → 1842
" programming" → 9281
بعد این IDها وارد Embedding میشوند:
40 → [0.12, -0.45, 0.71, ...]
1842 → [0.33, 0.18, 0.27, ...]
9281 → [0.81, -0.11, 0.52, ...]
آیا Token همیشه یک کلمه است؟
نه. این نکته خیلی مهم است.
Token میتواند:
- یک کلمه باشد
- بخشی از یک کلمه باشد
- چند کاراکتر باشد
- علامت نگارشی باشد
- حتی فاصله یا بخشی از فاصله باشد
مثلاً یک Tokenizer ممکن است:
unbelievable
را به:
["un", "believ", "able"]
تقسیم کند.
یا:
Hello!
را به:
["Hello", "!"]
تبدیل کند.
برای فارسی چه اتفاقی میافتد؟
مثلاً:
من برنامه نویسی را دوست دارم
ممکن است چیزی شبیه این شود:
["من", " برنامه", " نویسی", " را", " دوست", " دارم"]
اما نحوه دقیق تقسیم شدن به tokenizer و vocabulary مدل بستگی دارد.
چرا اصلاً متن را Tokenize میکنیم؟
چون مدل عصبی با این نمیتواند مستقیماً کار کند:
"من برنامه نویسی را دوست دارم"
باید تبدیل شود به چیزی عددی:
[1254, 8921, 314, 7621, ...]
و بعد:
Token IDs
↓
Embedding
↓
Vectors
↓
Transformer
Tokenizer یک Dictionary دارد
بهصورت ساده میتوانی تصور کنی Tokenizer یک جدول دارد:
| Token | ID |
|---|---|
من | 1254 |
برنامه | 8921 |
را | 314 |
دوست | 7621 |
دارم | 4218 |
این مجموعه Tokenها را معمولاً Vocabulary مینامیم.
مثلاً:
Vocabulary
│
├── Token 1
├── Token 2
├── Token 3
├── ...
└── Token N
نکته جالب: چرا کلمات را کامل Token نمیکنیم؟
اگر قرار بود برای هر کلمهای که در دنیا وجود دارد یک Token داشته باشیم، Vocabulary فوقالعاده بزرگ میشد.
مثلاً:
program
programming
programmer
programmers
programmed
...
برای همین روشهایی مثل BPE (Byte Pair Encoding) و WordPiece استفاده میشوند.
در این روشها کلمات میتوانند به قطعات کوچکتر تقسیم شوند.
مثلاً به شکل مفهومی:
programming
program + ming
یا:
unhappiness
un + happiness
این باعث میشود مدل بتواند حتی کلماتی را که قبلاً ندیده، تا حدی پردازش کند.
حالا کل داستان را کنار هم بگذاریم
مثلاً:
"I love AI"
مرحله 1 — Tokenizer
["I", " love", " AI"]
مرحله 2 — Token IDs
[40, 1842, 927]
مرحله 3 — Embedding
40 → [0.12, -0.45, ...]
1842 → [0.33, 0.18, ...]
927 → [0.71, -0.12, ...]
مرحله 4 — Transformer
Embedding
↓
Q / K / V
↓
Self-Attention
↓
Feed Forward
↓
...
مرحله 5 — Prediction
مثلاً مدل میگوید:
"I love AI because ..."
و Token بعدی را پیشبینی میکند.
پس این چهار مفهوم را فعلاً اینطور در ذهنت نگه دار:
TEXT
│
▼
TOKENIZER
│
▼
TOKENS
│
▼
TOKEN IDs
│
▼
EMBEDDING
│
▼
VECTORS
│
▼
Q / K / V
│
▼
ATTENTION
│
▼
TRANSFORMER
Tokenizer → متن را خرد میکند
Embedding → Tokenها را به فضای عددی/معنایی میبرد
Attention → ارتباط بین Tokenها را پیدا میکند
بعد از این، بهترین مفهوم برای یادگیری Self-Attention با یک مثال عددی واقعی است؛ چون آنجا دقیقاً میبینی Q × Kᵀ چگونه مشخص میکند مدل به کدام کلمات بیشتر توجه کند.

دیدگاهتان را بنویسید