מה זה LLM
מודל שפה גדול מנבא את הטוקן הבא, שוב ושוב. מה זה אומר, מה זה נותן לכם, והקריאה הראשונה אליו מ-Python.
בינה מלאכותית: יסודות
סדרה 1 מתוך 5 בבינה מלאכותית. מה זה LLM, איך הוא נבנה, מה זה tokens ו-prompting, ומה אפשר לעשות איתו. כל דוגמת קוד מבוססת על התיעוד הרשמי, והפלט מסומן כפלט לדוגמה.
8 חלקים
- חלק 1
- חלק 2
איך בונים מודל שפה
Transformer, attention, אימון מקדים, fine-tuning ואימון לפי העדפות (RLHF, DPO): השלבים שהופכים ערימת טקסט לעוזר שיחה.
- חלק 3
טוקנים וחלון ההקשר
מה זה טוקן, איך סופרים טוקנים לפני ששולחים בקשה, מה ממלא את חלון ההקשר, ומה קורה כשהוא נגמר.
- חלק 4
Temperature, top-p והזיות
איך נבחר הטוקן הבא, מה עושים temperature ו-top-p, למה מודלי Claude הנוכחיים כבר לא מקבלים אותם, ולמה מודלים הוזים.
- חלק 5
Prompting: איך לבקש ממודל
ה-system prompt, הוראות ברורות עם סיבה, דוגמאות few-shot, תגיות XML ומסמכים ארוכים: טכניקות ה-prompting שהמדריך הרשמי ממליץ עליהן.
- חלק 6
פלט מובנה ו-streaming
איך מקבלים JSON שתמיד תואם לסכמה בעזרת structured outputs ו-Pydantic, ואיך מציגים את התשובה תוך כדי כתיבה בעזרת streaming.
- חלק 7
מודלי חשיבה: לחשוב לפני שעונים
מה זו חשיבה (thinking), איך adaptive thinking ופרמטר ה-effort שולטים בה, איך קוראים בלוקי חשיבה, וכמה זה עולה.
- חלק 8
מולטימודלי: תמונות ו-PDF
איך שולחים למודל תמונות ו-PDF, איך סופרים טוקנים של תמונה, במה ראייה ממוחשבת עדיין חלשה, ומה עושים עם אודיו.