RAG

מודל AI “יודע” רק מה שהיה בחומר שהוא אומן עליו — לא את המסמכים הפנימיים שלך, לא את המדיניות של העסק שלך, ולא שום דבר שקרה אחרי תאריך האימון שלו. RAG הוא הפתרון הנפוץ לזה: לפני שהמודל עונה, מערכת נפרדת מחפשת במאגר המידע שלך את הקטעים הרלוונטיים לשאלה, ומצרפת אותם לשאלה עצמה. המודל לא “לומד” את המידע — הוא פשוט מקבל אותו כתזכורת בכל פנייה.

דוגמה מהחיים#

צ’אטבוט שירות לקוחות שנשאל “אפשר להחזיר מוצר אחרי חודש?” בלי RAG פשוט מנחש או עונה תשובה כללית. עם RAG, המערכת קודם שולפת מתוך מסמך המדיניות שלכם את שני-שלושה הקטעים הרלוונטיים (נניח כ-1,500 טוקניםⓘטוקנים Tokensיחידות הטקסט שמודל AI סופר, ולפיהן הוא מחייב אותך — גם על מה שאתה שולח וגם על מה שהוא עונה.להסבר המלא ← בסך הכול), מצרפת אותם לשאלה, והמודל רק מנסח את התשובה על סמך מה שהוא קיבל.

איך זה משפיע על הכסף שלך#

“צ’אטבוט מאומן על הנתונים שלכם” הוא לרוב תיאור שיווקי ל-RAG, לא לאימון אמיתי של מודל. חיבור מנוע חיפוש למודל קיים זול משמעותית מאימון מודל מחדש — ואם ספק גובה ממך מחיר של “פרויקט AI מותאם אישית” בזמן שבפועל הוא בנה RAG פשוט, שווה לדעת את זה לפני שאתה מתמקח.

שני דברים מעשיים:

• העלות לא תלויה בגודל מאגר המידע שלך. מסמך של 10 עמודים או 10,000 עמודים יושב באותה מסד נתונים בעלות דומה. מה שבאמת עולה כסף הוא כמה שאלות נשאלות וכמה חלון קונטקסטⓘחלון קונטקסט Context Windowכמה טקסט המודל מסוגל להחזיק בראש בבת אחת — ההיסטוריה, הקבצים והשאלה שלך, הכול יחד.להסבר המלא ← נלקח בכל שאלה — כי כל קטע שנשלף נשלח מחדש כטוקני קלט, בכל פנייה.
• חישוב מהיר: 1,500 טוקנים נוספים לשאלה על Claude Sonnet 5 (‎$2 למיליון טוקני קלט) זה שבריר אגורה בודדת. אבל ב-10,000 שאלות בחודש זה כבר קרוב ל-‎$30 לחודש — רק על ההקשר שנשלף, לפני עלות התשובה עצמה.