Fine-tuning: מתי זה עוזר ואיך LoRA עובד
מתי fine-tuning עדיף על prompting ו-RAG ומתי לא, איך נראים נתוני האימון, איך LoRA ו-QLoRA מאמנים מודל בזול, ואיך בודקים את התוצאה.
בינה מלאכותית: התאמת מודל
סדרה 5 מתוך 5 בבינה מלאכותית. Fine-tuning, distillation והרצת מודלים מקומיים. מתי זה שווה את המאמץ ומתי לא.
3 חלקים
- חלק 1
- חלק 2
Distillation: מודל קטן שלומד ממודל גדול
מה זה knowledge distillation, למה ההסתברויות הרכות של מורה מלמדות יותר מהתשובה הנכונה, ואיך עושים distillation ל-LLM בפועל: נתונים מהמורה, סינון, ו-fine-tuning לתלמיד.
- חלק 3
הרצת מודלים מקומית: Ollama וקוונטיזציה
למה להריץ מודל עם משקלות פתוחים על המחשב שלכם, כמה זיכרון הוא צריך, מה עושה קוונטיזציה, ואיך קוראים למודל מקומי עם Ollama, כולל מה-SDK של Anthropic.