עלות וזמני תגובה: prompt caching, batches ובחירת מודל
לאן הולכים הכסף והזמן במערכת LLM, והמנופים שמקצצים אותם: המודל וה-effort הנכונים, פלט קצר יותר, prompt caching, ה-Batch API ו-streaming.
תגית: LLMOps
7 רשומות
מפת החלטות: prompt, RAG, כלים, סוכן או fine-tune?
כל הסדרה במקום אחד: מפת החלטות לבחירת הטכניקה הנכונה, מה כל אחת משנה ועולה, דוגמה מלאה, ורשימת בדיקות לפני production.
מחברים הכול: עוזר תמיכה מההתחלה ועד הסוף
אפליקציה קטנה אחת שבנויה מכל הסדרה: prompt, RAG על מאמרי עזרה, tool לנתוני הזמנות חיים, סינון קלט, evals, caching ולוגים. כל שלב מקשר לפוסט שמסביר אותו.
Evals: למדוד מערכת LLM
למה כל מערכת LLM צריכה סט הערכה, איך בונים אחד, בדיקות בקוד, LLM-as-judge עם רובריקה, ואיך משתמשים ב-evals כדי להשוות prompts, מודלים והגדרות.
Guardrails: בדיקות סביב המודל
Guardrails בשכבות לאפליקציות LLM: סינון קלט עם מודל קטן, בדיקה והשחרה של הפלט, בדיקת פעולות, מגבלות, ומה להציג למשתמש כשבדיקה נכשלת.
Observability: לראות מה מערכת LLM עושה
מה לרשום בכל קריאה למודל ובכל צעד של סוכן, traces ו-spans, tracer קטן ב-Python, המדדים ששווה לעקוב אחריהם, פרטיות, והפיכת כשלים ב-production ל-evals.
אבטחה: prompt injection ו-OWASP LLM Top 10
הסיכונים המרכזיים באפליקציות LLM: prompt injection ישיר ועקיף, דליפת מידע, סמכויות עודפות ועוד, וההגנות שעובדות: הפרדה בין נתונים להוראות, הרשאה מינימלית וסינון.