سال: ۱۴۰۵
-
آیا representation یک embeding کد جدید و موقت است؟
تقریباً درست فهمیدی، ولی یک تفاوت مهم دارد. Representation یک «کد جدید و موقت» نیست؛ یک نمایش عددی از اطلاعاتی است که مدل در آن لحظه دربارهی آن Token دارد. بیاییم سه مفهوم را از هم جدا کنیم: 1. Embedding اولیه وقتی cat وارد مدل میشود: این Embedding یک نمایش اولیه است که از جدول Embedding… ادامه…
-
Q/K/V در transform در AI
حتماً. حالا که Tokenizer → Token ID → Embedding را فهمیدی، Q/K/V خیلی منطقیتر میشود. بیاییم دقیقاً از همانجایی که بودیم ادامه بدهیم. فرض کن جمله: بعد از Embedding داریم: این بردارها وارد Self-Attention میشوند. Q/K/V برای چه هستند؟ هدف Self-Attention این است: هر Token بفهمد برای فهم خودش، به کدام Tokenهای دیگر چقدر باید توجه… ادامه…
-
هر توکن 3 تا بردار داره؟
بله، در یک لایهی Attention، از نمایش هر Token سه بردار Q، K و V ساخته میشود. اما یک نکته ظریف وجود دارد: هر Token در ابتدا یک Embedding/representation دارد؛ سپس با سه تبدیل متفاوت، از آن Q، K و V ساخته میشود. مثلاً: بعد: مثلاً: پس میتوانی فعلاً این مدل ذهنی را داشته باشی: اما… ادامه…
-
[0.71, -0.12, 0.55, …] در embeding آیا هر عدد نماینده یک کلمه است؟
نه، هر عدد نمایندهی یک کلمه نیست. این نکته خیلی مهم است. مثلاً: اینجا کل آرایهی: نمایش عددی یک Token یعنی cat است. هر عدد فقط یک بُعد (dimension) از این نمایش است. مثلاً اگر Embedding چهار بُعدی باشد: پس: بلکه ترکیب همهی این اعداد یک نمایش عددی برای cat است. با یک مثال خیلی ساده… ادامه…
-
تبدیل IDها به Embedding چیست؟
نکتهی اصلی این است: ID خودش تبدیل محاسباتی به بردار نمیشود؛ ID در واقع شمارهی یک ردیف از یک جدول بزرگ به نام Embedding Matrix است. فرض کنیم Vocabulary فقط 5 کلمه دارد مثلاً: ID Token 0 I 1 you 2 love 3 cat 4 programming حالا مدل یک Embedding Matrix دارد. فرض کنیم برای سادهسازی… ادامه…
-
مرحله بعد از embeding در llm چیست؟
AI معمولاً با Tokenize کردن یک جمله، بلافاصله «یاد نمیگیرد». Tokenization فقط آمادهسازی داده است. یادگیری اصلی در مرحلهی Training اتفاق میافتد. مثلاً فرض کنیم جمله این باشد: 1. Tokenization اول متن به Token تقسیم میشود: 2. تبدیل Token به ID هر Token از Vocabulary یک ID میگیرد: این اعداد فقط شمارهی Tokenها هستند؛ خودشان معنی… ادامه…
-
tokizer چیست
Tokenizer (توکنایزر) چیزی است که متن خام را به واحدهایی به نام Token تبدیل میکند تا مدل AI بتواند آن را به عدد تبدیل و پردازش کند. مسیر کلی را اینطور ببین: یک مثال فرض کن ورودی این باشد: Tokenizer ممکن است آن را به این شکل تقسیم کند: سپس هر Token یک ID میگیرد: بعد… ادامه…
-
RabbitMQ
RabbitMQ یک Message Broker است؛ یعنی واسطهای که پیامها را بین بخشهای مختلف یک سیستم جابهجا میکند. اگر خیلی ساده بخوام بگم: RabbitMQ کمک میکند دو برنامه بدون اینکه مستقیماً به هم وابسته باشند، با هم ارتباط برقرار کنند. یک مثال ساده فرض کن در یک فروشگاه اینترنتی، کاربر سفارشی ثبت میکند: بهجای اینکه Web Server… ادامه…
