מילון מונחי AI: דף העזר שלי

לסדרת ה-AI חמישה חלקים: יסודות, ידע ו-RAG, כלים וסוכנים, התאמת מודל וייצור.

מודלים וטוקנים

• LLM (מודל שפה גדול): מודל שאומן על כמות עצומה של טקסט כדי לנבא את הטוקן הבא. מה זה LLM
• טוקן: היחידה שמודל קורא וכותב, בדרך כלל מילה או חלק ממילה. טוקנים וחלון ההקשר
• Tokenizer: מפרק טקסט לטוקנים. שונה בין משפחות מודלים. טוקנים וחלון ההקשר
• חלון הקשר (context window): כל מה שהמודל רואה בבקשה אחת, כולל התשובה שלו. טוקנים וחלון ההקשר
• Context rot: הדיוק והשליפה יורדים ככל שההקשר גדל. טוקנים וחלון ההקשר
• Transformer ו-attention: הארכיטקטורה של LLM. ה-attention מאפשר לכל טוקן להישען על הטוקנים שלפניו. איך בונים מודל שפה
• אימון מקדים (pretraining): שלב האימון הראשון, על כמות עצומה של טקסט. יוצר מודל בסיס. איך בונים מודל שפה
• SFT, RLHF, DPO: fine-tuning מפוקח על שיחות לדוגמה, ואחריו אימון לפי העדפות של אנשים או של AI. איך בונים מודל שפה
• תאריך ידע (knowledge cutoff): התאריך שאחריו המודל לא יודע כלום. איך בונים מודל שפה
• מודל עם משקלות פתוחים: מודל שהמשקלות שלו פורסמו, כך שאפשר להריץ אותו בעצמכם. הרצת מודלים מקומית

יצירה ו-prompting

• Logits ו-softmax: ציונים גולמיים לכל טוקן, שהופכים להסתברויות. Temperature, top-p והזיות
• Temperature, top-p, top-k: כפתורים שקובעים איך נבחר הטוקן הבא. Temperature, top-p והזיות
• הזיה (hallucination): תשובה בטוחה בעצמה ושגויה. Temperature, top-p והזיות
• System prompt: הוראות שחלות על כל השיחה. Prompting
• Few-shot: כיוון המודל בעזרת כמה דוגמאות ב-prompt. Prompting
• Prefill: להתחיל בעצמכם את התשובה של המודל. נדחה במודלי Claude הנוכחיים. Prompting
• פלט מובנה (structured outputs): פלט שמוגבל לסכמת JSON. פלט מובנה ו-streaming
• Streaming: קבלת התשובה חלק אחרי חלק בזמן שהיא נכתבת. פלט מובנה ו-streaming
• חשיבה / מודל חשיבה: מודל שעובד על הבעיה לפני שהוא עונה. מודלי חשיבה
• Effort: הגדרה שמאזנת בין יסודיות לבין מהירות ועלות. מודלי חשיבה
• מולטימודלי: קלט מעבר לטקסט, כמו תמונות ו-PDF. מולטימודלי
• stop_reason: למה המודל עצר: end_turn, max_tokens, tool_use, refusal ועוד. מה זה LLM

ידע ושליפה

• Embedding: וקטור שמייצג את המשמעות של טקסט. Embeddings וחיפוש סמנטי
• Cosine similarity: מדד לכמה שני וקטורים מצביעים לאותו כיוון. Embeddings וחיפוש סמנטי
• מסד נתונים וקטורי: שומר וקטורים ומוצא במהירות את הקרובים ביותר. Embeddings וחיפוש סמנטי
• RAG (retrieval-augmented generation): שולפים טקסט רלוונטי ושמים אותו ב-prompt. RAG
• Chunking: פיצול מסמכים לחלקים קטנים לפני האינדוקס. RAG
• BM25: האלגוריתם הקלאסי לדירוג לפי מילות מפתח. שליפה טובה יותר
• חיפוש היברידי ו-RRF: שילוב חיפוש מילות מפתח עם חיפוש וקטורי, הרבה פעמים עם reciprocal rank fusion. שליפה טובה יותר
• Reranker: מודל שנותן ציון לשאילתה ולמועמד יחד, כדי לסדר מחדש את התוצאות. שליפה טובה יותר
• Contextual retrieval: הוספת הקשר קצר לכל chunk לפני האינדוקס. שליפה טובה יותר
• Agentic RAG: המודל מחפש ככלי, כמה פעמים שהוא צריך. Agentic RAG ו-GraphRAG
• גרף ידע ו-GraphRAG: עובדות כישויות מקושרות. GraphRAG מסכם קהילות בגרף כדי לענות על שאלות גלובליות. Agentic RAG ו-GraphRAG

כלים וסוכנים

• כלי / function calling: המודל מבקש מהקוד שלכם להריץ פונקציה. Tools ו-function calling
• tool_use ו-tool_result: הבקשה של המודל, והתוצאה שהקוד שלכם מחזיר. Tools ו-function calling
• MCP (Model Context Protocol): תקן פתוח לאריזת כלים, משאבים ו-prompts כשרתים. MCP
• סוכן: מודל שבוחר את הצעדים שלו בעצמו, עם כלים בלולאה. סוכנים
• Workflow: צעדים שקבועים בקוד, כשהמודל ממלא כל אחד מהם. חמישה דפוסי workflow
• Prompt chaining, routing, parallelization, orchestrator-workers, evaluator-optimizer: חמשת דפוסי ה-workflow. חמישה דפוסי workflow
• Context engineering: ההחלטה מה נכנס להקשר בכל תור. זיכרון וניהול הקשר
• דחיסה (compaction): החלפת תורות ישנים בסיכום. זיכרון וניהול הקשר
• כלי הזיכרון: קבצים שהמודל קורא וכותב כדי לזכור בין סשנים. זיכרון וניהול הקשר
• סוכן משנה / מרובה סוכנים: סוכן מוביל מאציל עבודה ממוקדת לסוכנים עם הקשר משלהם. מערכות מרובות סוכנים
• Computer use: מודל שמפעיל שולחן עבודה דרך צילומי מסך, עכבר ומקלדת. Computer use ו-Agent Skills
• Agent Skills: תיקיות של הוראות וסקריפטים שנטענות רק כשצריך. Computer use ו-Agent Skills
• WebMCP: הצעה ל-API של הדפדפן שמאפשר לדף אינטרנט לרשום כלים לסוכנים עם document.modelContext. WebMCP

התאמת מודלים

• Fine-tuning: אימון נוסף על הדוגמאות שלכם, שמשנה את המשקלות. Fine-tuning
• LoRA ו-adapter: אימון של תוספת קטנה במקום המודל כולו. Fine-tuning
• QLoRA: LoRA מעל מודל בסיס ב-4 ביט. Fine-tuning
• Distillation: אימון מודל תלמיד קטן לחקות מודל מורה גדול. Distillation
• Soft targets: כל התפלגות ההסתברויות של המורה, שמשמשת לאימון התלמיד. Distillation
• קוונטיזציה: שמירת משקלות עם פחות ביטים כדי לחסוך זיכרון. הרצת מודלים מקומית
• Ollama ו-GGUF: כלי להרצת מודלים פתוחים מקומית, ופורמט קבצים נפוץ להם. הרצת מודלים מקומית

ייצור

• Eval: מקרי בדיקה ועוד דרך לתת ציון לפלט. Evals
• LLM-as-judge: מודל שנותן ציון לפלט לפי רובריקה. Evals
• Trace ו-span: כל הצעדים של בקשה אחת, וכל צעד בתוכה. Observability
• Prompt caching: שימוש חוזר בקידומת prompt שחוזרת, בזול ובמהירות. עלות וזמני תגובה
• Batch API: בקשות אסינכרוניות בהנחה. עלות וזמני תגובה
• Prompt injection: טקסט לא אמין שמנסה להתנהג כמו הוראה, ישירות או בעקיפין. אבטחה
• סמכויות עודפות (excessive agency): למודל יש יותר כלים או הרשאות ממה שהמשימה צריכה. אבטחה
• Guardrails: בדיקות סביב המודל, על הקלט, הפלט והפעולות. Guardrails
• Red-teaming: לתקוף את המערכת של עצמכם בכוונה לפני שתוקפים יעשו את זה. אבטחה