מילון מונחי AI: דף העזר שלי
המונחים מסדרת ה-AI במקום אחד, לפי נושא, עם הגדרה של שורה וקישור לפוסט שמסביר: טוקנים, RAG, כלים, MCP, סוכנים, LoRA, evals ועוד.
תגית: LLM
10 רשומות
איך בונים מודל שפה
Transformer, attention, אימון מקדים, fine-tuning ואימון לפי העדפות (RLHF, DPO): השלבים שהופכים ערימת טקסט לעוזר שיחה.
הרצת מודלים מקומית: Ollama וקוונטיזציה
למה להריץ מודל עם משקלות פתוחים על המחשב שלכם, כמה זיכרון הוא צריך, מה עושה קוונטיזציה, ואיך קוראים למודל מקומי עם Ollama, כולל מה-SDK של Anthropic.
מולטימודלי: תמונות ו-PDF
איך שולחים למודל תמונות ו-PDF, איך סופרים טוקנים של תמונה, במה ראייה ממוחשבת עדיין חלשה, ומה עושים עם אודיו.
Temperature, top-p והזיות
איך נבחר הטוקן הבא, מה עושים temperature ו-top-p, למה מודלי Claude הנוכחיים כבר לא מקבלים אותם, ולמה מודלים הוזים.
Prompting: איך לבקש ממודל
ה-system prompt, הוראות ברורות עם סיבה, דוגמאות few-shot, תגיות XML ומסמכים ארוכים: טכניקות ה-prompting שהמדריך הרשמי ממליץ עליהן.
מודלי חשיבה: לחשוב לפני שעונים
מה זו חשיבה (thinking), איך adaptive thinking ופרמטר ה-effort שולטים בה, איך קוראים בלוקי חשיבה, וכמה זה עולה.
פלט מובנה ו-streaming
איך מקבלים JSON שתמיד תואם לסכמה בעזרת structured outputs ו-Pydantic, ואיך מציגים את התשובה תוך כדי כתיבה בעזרת streaming.
טוקנים וחלון ההקשר
מה זה טוקן, איך סופרים טוקנים לפני ששולחים בקשה, מה ממלא את חלון ההקשר, ומה קורה כשהוא נגמר.
מה זה LLM
מודל שפה גדול מנבא את הטוקן הבא, שוב ושוב. מה זה אומר, מה זה נותן לכם, והקריאה הראשונה אליו מ-Python.