Evals: למדוד מערכת LLM
למה כל מערכת LLM צריכה סט הערכה, איך בונים אחד, בדיקות בקוד, LLM-as-judge עם רובריקה, ואיך משתמשים ב-evals כדי להשוות prompts, מודלים והגדרות.
בינה מלאכותית: ייצור
סדרה 4 מתוך 5 בבינה מלאכותית. מה צריך כדי להעלות מערכת LLM לאוויר. Evals, observability, עלות, אבטחה, guardrails, מפת החלטות, ואפליקציה אחת שמחברת הכול.
7 חלקים
- חלק 1
- חלק 2
Observability: לראות מה מערכת LLM עושה
מה לרשום בכל קריאה למודל ובכל צעד של סוכן, traces ו-spans, tracer קטן ב-Python, המדדים ששווה לעקוב אחריהם, פרטיות, והפיכת כשלים ב-production ל-evals.
- חלק 3
עלות וזמני תגובה: prompt caching, batches ובחירת מודל
לאן הולכים הכסף והזמן במערכת LLM, והמנופים שמקצצים אותם: המודל וה-effort הנכונים, פלט קצר יותר, prompt caching, ה-Batch API ו-streaming.
- חלק 4
אבטחה: prompt injection ו-OWASP LLM Top 10
הסיכונים המרכזיים באפליקציות LLM: prompt injection ישיר ועקיף, דליפת מידע, סמכויות עודפות ועוד, וההגנות שעובדות: הפרדה בין נתונים להוראות, הרשאה מינימלית וסינון.
- חלק 5
Guardrails: בדיקות סביב המודל
Guardrails בשכבות לאפליקציות LLM: סינון קלט עם מודל קטן, בדיקה והשחרה של הפלט, בדיקת פעולות, מגבלות, ומה להציג למשתמש כשבדיקה נכשלת.
- חלק 6
מפת החלטות: prompt, RAG, כלים, סוכן או fine-tune?
כל הסדרה במקום אחד: מפת החלטות לבחירת הטכניקה הנכונה, מה כל אחת משנה ועולה, דוגמה מלאה, ורשימת בדיקות לפני production.
- חלק 7
מחברים הכול: עוזר תמיכה מההתחלה ועד הסוף
אפליקציה קטנה אחת שבנויה מכל הסדרה: prompt, RAG על מאמרי עזרה, tool לנתוני הזמנות חיים, סינון קלט, evals, caching ולוגים. כל שלב מקשר לפוסט שמסביר אותו.