سال: ۱۴۰۵

  • بیشتر یا کمتر بودن «بعد» چه تاثیری دارد؟

    بله؛ تعداد بُعد (dimension) را می‌توان تا حدی مثل اندازه‌ی فضای ذهنی مدل برای نمایش اطلاعات در نظر گرفت. البته این تشبیه دقیق ریاضی نیست، ولی برای فهم اولیه خیلی خوب است. فرض کن یک توکن داریم: اگر مدل فقط ۳ بعد داشته باشد: و اگر 768 بعد داشته باشد: اگر تعداد ابعاد بیشتر شود چه… ادامه…

  • اینکه هر بعد نماینده چه ویژگی باشد توسط چه کسی تعیین میشود؟

    دقیقاً نکته‌ی مهم همین‌جاست: هیچ‌کس به‌صورت دستی تعیین نمی‌کند که «بُعد ۱ = فلان ویژگی» باشد. در یک مدل معمولی، این ویژگی‌ها به‌صورت خودکار در فرایند Training شکل می‌گیرند. مثلاً فرض کنیم embedding فقط ۵ بُعد داشته باشد: ما به مدل نمی‌گوییم: بلکه مدل خودش در Training مقادیر را طوری تنظیم می‌کند که بتواند وظیفه‌اش را… ادامه…

  • آیا تعداد بعد های یک توکن توسط ai تعیین میشود؟

    نه، تعداد بُعدهای یک توکن را خودِ AI در لحظه تعیین نمی‌کند. این مقدار معمولاً هنگام طراحی و تعریف معماری مدل مشخص می‌شود. مثلاً فرض کنیم یک مدل این‌طور طراحی شده: آن‌وقت هر توکن بعد از تبدیل شدن به embedding، یک بردار ۷۶۸ بعدی خواهد داشت: چه کسی 768 را تعیین کرده؟ طراحان مدل هنگام ساخت… ادامه…

  • transformer در ai چند لایه دارد؟

    تعداد لایه‌های Transformer ثابت نیست؛ بسته به معماری و اندازه مدل تعیین می‌شود. مثلاً به‌صورت ساده: هر Transformer Layer معمولاً شامل این بخش‌هاست: چند مثال واقعی تعداد لایه‌ها می‌تواند از چند لایه تا صدها لایه باشد. مثلاً: مدل تعداد لایه‌های Transformer BERT-base 12 BERT-large 24 GPT-2 small 12 GPT-2 XL 48 Llama 3 8B 32 Llama… ادامه…

  • kafka چیه؟

    اگر بخواهیم خیلی ساده بگوییم: RabbitMQ بیشتر یک Message Queue است، ولی Kafka بیشتر یک Event Streaming Platform است. تفاوت اصلی ویژگی RabbitMQ Kafka مدل اصلی Message Queue Event Stream پیام بعد از مصرف معمولاً از Queue حذف می‌شود باقی می‌ماند مصرف مجدد پیام محدودتر بسیار راحت ترتیب پیام‌ها در Queue در هر Partition حجم بسیار… ادامه…

  • CLI = نوع رابط کاربری یعنی چه؟

    حتماً. مهم‌ترین نکته این است که CLI خودش یک برنامه نیست؛ بلکه یک روش تعامل با کامپیوتر است. CLI یعنی چه؟ CLI مخفف: Command-Line Interface یعنی: رابط کاربری مبتنی بر دستور در GUI تو به سیستم می‌گویی چه کاری انجام دهد با کلیک، منو، دکمه و پنجره. در CLI با نوشتن دستور. GUI مثلاً می‌خواهی یک… ادامه…

  • Bash در لینوکس چیه؟

    حتماً. این مفاهیم را اگر از هم جدا کنیم، خیلی از ابهام‌های لینوکس برطرف می‌شود. 1. Terminal چیست؟ Terminal در اصل یک برنامه/پنجره برای ارتباط با سیستم از طریق متن است. مثلاً در Ubuntu ممکن است برنامه‌ای مثل GNOME Terminal را باز کنی و این را ببینی: این خودِ Terminal است. پس: Terminal فقط محیطی است… ادامه…

  • Incus چیه

    بله؛ این دو خیلی به هم نزدیک‌اند، چون Incus در اصل از کد LXD منشعب شده است. داستان کوتاه در ابتدا پروژه‌ای به نام LXC وجود داشت که امکان اجرای Linux Container را فراهم می‌کرد. بعد LXD ساخته شد تا مدیریت این Containerها را راحت‌تر کند: بعداً در سال 2023، به‌دلیل اختلافات بین توسعه‌دهندگان LXD و… ادامه…

  • Kitesurf چیست؟

    آره، لینکی که فرستادی مربوط به Kitesurf از Cloudflare است؛ یک فناوری جدید که در دل Browser Run معرفی شده. (Cloudflare Docs) خیلی ساده: Kitesurf چیه؟ Kitesurf یک Browser مخصوص AI Agentهاست. فرض کن یک AI Agent می‌خواهد این کار را انجام دهد: «برو داخل سایت، صفحه را باز کن، اطلاعات محصول را پیدا کن، روی… ادامه…

  • LXC چیه؟

    LXC مخفف Linux Containers است؛ یک فناوری در لینوکس برای ساختن Containerهایی که تقریباً مثل یک سیستم‌عامل مستقل رفتار می‌کنند. (Ubuntu Documentation) اگر Docker را می‌شناسی، بهترین راه فهم LXC این است: یک مثال ساده فرض کن روی Ubuntu اصلی خودت این را داری: هر Container محیط خودش را دارد؛ مثلاً می‌توانی داخل آن apt install… ادامه…

  • چیه harnes

    حتماً. اگر بخواهیم Harness، Agent، LLM و MCP را کنار هم بگذاریم، تصویر خیلی روشن‌تر می‌شود. 1. اول LLM چیست؟ LLM خودِ مدل است: مثلاً: «این کد Python را بررسی کن.» LLM متن را می‌خواند و پاسخ متنی تولید می‌کند. اما خودش به‌صورت ذاتی نمی‌تواند: اینجاست که Agent وارد می‌شود. 2. Agent چیست؟ Agent را می‌توانیم… ادامه…

  • تفاوت llm و chatbot چیه؟

    تفاوت LLM و Chatbot را اگر خیلی ساده بگوییم: LLM مغز است؛ Chatbot برنامه‌ای است که از آن مغز برای گفتگو با کاربر استفاده می‌کند. 1. LLM چیست؟ LLM = Large Language Model مثل یک مدل زبانی که روی حجم بسیار زیادی از متن آموزش دیده و یاد گرفته است که با توجه به ورودی، توکن… ادامه…

  • AI Q/K/V چیست؟

    در معماری Transformer، ‌Q/K/V سه بردار هستند که برای مکانیزم Attention ساخته می‌شوند: مثلاً جمله: The cat sat on the mat فرض کنیم مدل در حال پردازش کلمه‌ی sat است. 1. Query — سؤال برای sat یک Q ساخته می‌شود: این بردار بیان می‌کند: برای فهم sat، دنبال چه نوع اطلاعاتی از توکن‌های دیگر هستم؟ 2.… ادامه…

  • منظور از head چیه؟

    بله. Head یکی از مفاهیم کلیدی Transformer است و وقتی Q/K/V را فهمیده باشی، فهمیدن Head خیلی راحت‌تر می‌شود. Head چیست؟ به زبان ساده: هر Head یک Attention مستقل است که می‌تواند روی نوع خاصی از ارتباط بین توکن‌ها تمرکز کند. یعنی به‌جای اینکه مدل فقط یک Attention داشته باشد، چند Attention را همزمان و موازی… ادامه…

  • یعنی wk یک ماتریس ثابت است برای همه توکن ها؟

    دقیقاً. در یک لایه‌ی مشخص از Transformer، Wk برای همه‌ی توکن‌های ورودی آن لایه مشترک است. اما یک نکته‌ی بسیار مهم دارد: در کل GPT فقط یک Wk نداریم؛ هر لایه و هر Attention Head وزن‌های خودش را دارد. مثلاً اگر یک مدل فرضی داشته باشیم: در حالت ساده می‌توان تصور کرد: بنابراین هر Head، Wk… ادامه…

  • یعنی wk هم یک مقدار ذخیره شده در دیتابیس است؟ مثل embeding code

    بله، از یک نظر شبیه‌اند، ولی یک تفاوت خیلی مهم دارند. Wk واقعاً ذخیره می‌شود؟ بله. Wk یکی از پارامترهای خود مدل است و هنگام ذخیره شدن مدل، همراه با میلیاردها پارامتر دیگر ذخیره می‌شود. مثلاً به‌صورت مفهومی: این‌ها معمولاً در فایل‌های وزن مدل ذخیره می‌شوند؛ نه اینکه لزوماً در یک دیتابیس معمولی مثل PostgreSQL باشند.… ادامه…

  • Key در Q/K/V چیست؟

    بله. این بخش از Q/K/V معمولاً سخت‌ترین قسمت برای درک شهودی است. نکته اصلی این است که جمله‌ی «Key یعنی من چه اطلاعاتی دارم؟» یک تشبیه است، نه تعریف دقیق ریاضی. بیاییم دقیق‌ترش کنیم. Key دقیقاً چیست؟ فرض کن هر توکن یک embedding دارد: شبکه این embedding را می‌گیرد و با یک ماتریس یادگرفتنی به Key… ادامه…

  • مکانیزم Attention در AI

    حتماً. با توجه به بحثی که داشتیم درباره‌ی Transformer و Q/K/V، می‌توانیم Attention را از پایه و مرحله‌به‌مرحله ببینیم. Attention چیست؟ به زبان ساده: Attention به هر توکن اجازه می‌دهد هنگام پردازش، تشخیص دهد کدام توکن‌های دیگر برای فهمیدن خودش مهم‌تر هستند. مثلاً جمله: The cat drank the milk because it was thirsty. مدل هنگام پردازش… ادامه…

  • انواع دیتابیس‌های SQL چه تفاوتی دارن با هم

    فاوت اصلی‌شان در خود زبان SQL نیست؛ بلکه در موتور دیتابیس، امکانات، معماری، کارایی و ابزارهای اطراف آن‌ها است. مقایسه سریع دیتابیس ویژگی شاخص مناسب برای PostgreSQL قدرتمند، استاندارد، امکانات پیشرفته سیستم‌های پیچیده، Odoo، Backend MySQL ساده، محبوب، سریع برای workloadهای معمول Web، WordPress، SaaS MariaDB فورک MySQL، Open Source پروژه‌های مشابه MySQL SQL Server یکپارچگی… ادامه…

  • Forward Pass یعنی چه؟

    به زبان ساده: Forward Pass یعنی عبور دادن ورودی از داخل شبکه از ابتدا تا انتها و محاسبه‌ی خروجی. مثلاً کاربر می‌نویسد: I love programming مدل این مسیر را طی می‌کند: Text ↓Tokenizer ↓Token IDs ↓Embedding ↓Transformer Layer 1 ↓Transformer Layer 2 ↓Transformer Layer 3 ↓… ↓Output این یک Forward Pass است. داخل یک Transformer Layer… ادامه…