Low-Confidence Escalation - מתי הסוכן לא יודע
שיעור 12 מתוך 16
התשובה הקצרה
הסוכן שלכם יתקל בשאלות שלא חזיתם. השאלה היא לא 'האם' אלא 'מתי'. הוא יכול לעשות 2 דברים - 1) להמציא תשובה (זה הזיה / hallucination, מסוכן). 2) להעביר לבן אדם (זה Low-Confidence Escalation, בטוח). חוק הזהב - תכניתו את הסוכן להעביר ברגע שהביטחון שלו בתשובה יורד. סימנים שהסוכן 'לא בטוח' - 1) השאלה לא דומה לאף שאלה ב-FAQ. 2) השאלה מורכבת עם 2+ נושאים שונים. 3) השאלה כוללת מילים שלא בלקסיקון העסק. 4) הלקוח שואל פעמיים אותה שאלה (סימן שהתשובה לא ברורה). 5) הסוכן מנסה להפיק תשובה ארוכה מ-200 מילים (סימן ל'תיאוריה'). השיעור הזה מלמד איך לבנות את ה-Guardrail הזה ב-System Prompt או דרך לוגיקה ב-Make.
5 הסימנים של 'לא יודע'
סימן 1 - שאלה לא דומה ל-FAQ. אם הסוכן לא מוצא דמיון של 70%+ לאחת מ-30 השאלות, הוא לא יודע. סימן 2 - שאלה מורכבת. אם השאלה כוללת 2+ נושאים שונים ('כמה זה עולה וגם איפה אתם וגם יש חניה?') - יותר טוב לפצל ולענות אחד-אחד, או להעביר. סימן 3 - מילים לא בלקסיקון. אם הלקוח משתמש במילה שלא במאגר (סלנג, מקצועי) - הסוכן עלול להבין לא נכון. סימן 4 - שאלה חוזרת. אם הלקוח חוזר על השאלה, התשובה הראשונה לא ברורה - להעביר. סימן 5 - תשובה ארוכה מהרגיל.
טוען את המשך השיעור...