Distillation: מודל קטן שלומד ממודל גדול
מה זה knowledge distillation, למה ההסתברויות הרכות של מורה מלמדות יותר מהתשובה הנכונה, ואיך עושים distillation ל-LLM בפועל: נתונים מהמורה, סינון, ו-fine-tuning לתלמיד.
תגית: Fine-tuning
2 רשומות
Fine-tuning: מתי זה עוזר ואיך LoRA עובד
מתי fine-tuning עדיף על prompting ו-RAG ומתי לא, איך נראים נתוני האימון, איך LoRA ו-QLoRA מאמנים מודל בזול, ואיך בודקים את התוצאה.