دسته: AI
-
بیشتر یا کمتر بودن «بعد» چه تاثیری دارد؟
بله؛ تعداد بُعد (dimension) را میتوان تا حدی مثل اندازهی فضای ذهنی مدل برای نمایش اطلاعات در نظر گرفت. البته این تشبیه دقیق ریاضی نیست، ولی برای فهم اولیه خیلی خوب است. فرض کن یک توکن داریم: اگر مدل فقط ۳ بعد داشته باشد: و اگر 768 بعد داشته باشد: اگر تعداد ابعاد بیشتر شود چه… ادامه…
-
اینکه هر بعد نماینده چه ویژگی باشد توسط چه کسی تعیین میشود؟
دقیقاً نکتهی مهم همینجاست: هیچکس بهصورت دستی تعیین نمیکند که «بُعد ۱ = فلان ویژگی» باشد. در یک مدل معمولی، این ویژگیها بهصورت خودکار در فرایند Training شکل میگیرند. مثلاً فرض کنیم embedding فقط ۵ بُعد داشته باشد: ما به مدل نمیگوییم: بلکه مدل خودش در Training مقادیر را طوری تنظیم میکند که بتواند وظیفهاش را… ادامه…
-
آیا تعداد بعد های یک توکن توسط ai تعیین میشود؟
نه، تعداد بُعدهای یک توکن را خودِ AI در لحظه تعیین نمیکند. این مقدار معمولاً هنگام طراحی و تعریف معماری مدل مشخص میشود. مثلاً فرض کنیم یک مدل اینطور طراحی شده: آنوقت هر توکن بعد از تبدیل شدن به embedding، یک بردار ۷۶۸ بعدی خواهد داشت: چه کسی 768 را تعیین کرده؟ طراحان مدل هنگام ساخت… ادامه…
-
transformer در ai چند لایه دارد؟
تعداد لایههای Transformer ثابت نیست؛ بسته به معماری و اندازه مدل تعیین میشود. مثلاً بهصورت ساده: هر Transformer Layer معمولاً شامل این بخشهاست: چند مثال واقعی تعداد لایهها میتواند از چند لایه تا صدها لایه باشد. مثلاً: مدل تعداد لایههای Transformer BERT-base 12 BERT-large 24 GPT-2 small 12 GPT-2 XL 48 Llama 3 8B 32 Llama… ادامه…
-
Kitesurf چیست؟
آره، لینکی که فرستادی مربوط به Kitesurf از Cloudflare است؛ یک فناوری جدید که در دل Browser Run معرفی شده. (Cloudflare Docs) خیلی ساده: Kitesurf چیه؟ Kitesurf یک Browser مخصوص AI Agentهاست. فرض کن یک AI Agent میخواهد این کار را انجام دهد: «برو داخل سایت، صفحه را باز کن، اطلاعات محصول را پیدا کن، روی… ادامه…
-
چیه harnes
حتماً. اگر بخواهیم Harness، Agent، LLM و MCP را کنار هم بگذاریم، تصویر خیلی روشنتر میشود. 1. اول LLM چیست؟ LLM خودِ مدل است: مثلاً: «این کد Python را بررسی کن.» LLM متن را میخواند و پاسخ متنی تولید میکند. اما خودش بهصورت ذاتی نمیتواند: اینجاست که Agent وارد میشود. 2. Agent چیست؟ Agent را میتوانیم… ادامه…
-
تفاوت llm و chatbot چیه؟
تفاوت LLM و Chatbot را اگر خیلی ساده بگوییم: LLM مغز است؛ Chatbot برنامهای است که از آن مغز برای گفتگو با کاربر استفاده میکند. 1. LLM چیست؟ LLM = Large Language Model مثل یک مدل زبانی که روی حجم بسیار زیادی از متن آموزش دیده و یاد گرفته است که با توجه به ورودی، توکن… ادامه…
-
AI Q/K/V چیست؟
در معماری Transformer، Q/K/V سه بردار هستند که برای مکانیزم Attention ساخته میشوند: مثلاً جمله: The cat sat on the mat فرض کنیم مدل در حال پردازش کلمهی sat است. 1. Query — سؤال برای sat یک Q ساخته میشود: این بردار بیان میکند: برای فهم sat، دنبال چه نوع اطلاعاتی از توکنهای دیگر هستم؟ 2.… ادامه…
-
منظور از head چیه؟
بله. Head یکی از مفاهیم کلیدی Transformer است و وقتی Q/K/V را فهمیده باشی، فهمیدن Head خیلی راحتتر میشود. Head چیست؟ به زبان ساده: هر Head یک Attention مستقل است که میتواند روی نوع خاصی از ارتباط بین توکنها تمرکز کند. یعنی بهجای اینکه مدل فقط یک Attention داشته باشد، چند Attention را همزمان و موازی… ادامه…
-
یعنی wk یک ماتریس ثابت است برای همه توکن ها؟
دقیقاً. در یک لایهی مشخص از Transformer، Wk برای همهی توکنهای ورودی آن لایه مشترک است. اما یک نکتهی بسیار مهم دارد: در کل GPT فقط یک Wk نداریم؛ هر لایه و هر Attention Head وزنهای خودش را دارد. مثلاً اگر یک مدل فرضی داشته باشیم: در حالت ساده میتوان تصور کرد: بنابراین هر Head، Wk… ادامه…
-
یعنی wk هم یک مقدار ذخیره شده در دیتابیس است؟ مثل embeding code
بله، از یک نظر شبیهاند، ولی یک تفاوت خیلی مهم دارند. Wk واقعاً ذخیره میشود؟ بله. Wk یکی از پارامترهای خود مدل است و هنگام ذخیره شدن مدل، همراه با میلیاردها پارامتر دیگر ذخیره میشود. مثلاً بهصورت مفهومی: اینها معمولاً در فایلهای وزن مدل ذخیره میشوند؛ نه اینکه لزوماً در یک دیتابیس معمولی مثل PostgreSQL باشند.… ادامه…
-
Key در Q/K/V چیست؟
بله. این بخش از Q/K/V معمولاً سختترین قسمت برای درک شهودی است. نکته اصلی این است که جملهی «Key یعنی من چه اطلاعاتی دارم؟» یک تشبیه است، نه تعریف دقیق ریاضی. بیاییم دقیقترش کنیم. Key دقیقاً چیست؟ فرض کن هر توکن یک embedding دارد: شبکه این embedding را میگیرد و با یک ماتریس یادگرفتنی به Key… ادامه…
-
مکانیزم Attention در AI
حتماً. با توجه به بحثی که داشتیم دربارهی Transformer و Q/K/V، میتوانیم Attention را از پایه و مرحلهبهمرحله ببینیم. Attention چیست؟ به زبان ساده: Attention به هر توکن اجازه میدهد هنگام پردازش، تشخیص دهد کدام توکنهای دیگر برای فهمیدن خودش مهمتر هستند. مثلاً جمله: The cat drank the milk because it was thirsty. مدل هنگام پردازش… ادامه…
-
Forward Pass یعنی چه؟
به زبان ساده: Forward Pass یعنی عبور دادن ورودی از داخل شبکه از ابتدا تا انتها و محاسبهی خروجی. مثلاً کاربر مینویسد: I love programming مدل این مسیر را طی میکند: Text ↓Tokenizer ↓Token IDs ↓Embedding ↓Transformer Layer 1 ↓Transformer Layer 2 ↓Transformer Layer 3 ↓… ↓Output این یک Forward Pass است. داخل یک Transformer Layer… ادامه…
-
آیا representation یک embeding کد جدید و موقت است؟
تقریباً درست فهمیدی، ولی یک تفاوت مهم دارد. Representation یک «کد جدید و موقت» نیست؛ یک نمایش عددی از اطلاعاتی است که مدل در آن لحظه دربارهی آن Token دارد. بیاییم سه مفهوم را از هم جدا کنیم: 1. Embedding اولیه وقتی cat وارد مدل میشود: این Embedding یک نمایش اولیه است که از جدول Embedding… ادامه…
-
Q/K/V در transform در AI
حتماً. حالا که Tokenizer → Token ID → Embedding را فهمیدی، Q/K/V خیلی منطقیتر میشود. بیاییم دقیقاً از همانجایی که بودیم ادامه بدهیم. فرض کن جمله: بعد از Embedding داریم: این بردارها وارد Self-Attention میشوند. Q/K/V برای چه هستند؟ هدف Self-Attention این است: هر Token بفهمد برای فهم خودش، به کدام Tokenهای دیگر چقدر باید توجه… ادامه…
-
هر توکن 3 تا بردار داره؟
بله، در یک لایهی Attention، از نمایش هر Token سه بردار Q، K و V ساخته میشود. اما یک نکته ظریف وجود دارد: هر Token در ابتدا یک Embedding/representation دارد؛ سپس با سه تبدیل متفاوت، از آن Q، K و V ساخته میشود. مثلاً: بعد: مثلاً: پس میتوانی فعلاً این مدل ذهنی را داشته باشی: اما… ادامه…
-
[0.71, -0.12, 0.55, …] در embeding آیا هر عدد نماینده یک کلمه است؟
نه، هر عدد نمایندهی یک کلمه نیست. این نکته خیلی مهم است. مثلاً: اینجا کل آرایهی: نمایش عددی یک Token یعنی cat است. هر عدد فقط یک بُعد (dimension) از این نمایش است. مثلاً اگر Embedding چهار بُعدی باشد: پس: بلکه ترکیب همهی این اعداد یک نمایش عددی برای cat است. با یک مثال خیلی ساده… ادامه…
-
تبدیل IDها به Embedding چیست؟
نکتهی اصلی این است: ID خودش تبدیل محاسباتی به بردار نمیشود؛ ID در واقع شمارهی یک ردیف از یک جدول بزرگ به نام Embedding Matrix است. فرض کنیم Vocabulary فقط 5 کلمه دارد مثلاً: ID Token 0 I 1 you 2 love 3 cat 4 programming حالا مدل یک Embedding Matrix دارد. فرض کنیم برای سادهسازی… ادامه…
-
مرحله بعد از embeding در llm چیست؟
AI معمولاً با Tokenize کردن یک جمله، بلافاصله «یاد نمیگیرد». Tokenization فقط آمادهسازی داده است. یادگیری اصلی در مرحلهی Training اتفاق میافتد. مثلاً فرض کنیم جمله این باشد: 1. Tokenization اول متن به Token تقسیم میشود: 2. تبدیل Token به ID هر Token از Vocabulary یک ID میگیرد: این اعداد فقط شمارهی Tokenها هستند؛ خودشان معنی… ادامه…
