שש הגנות לפני שנותנים לסוכן את המפתחות

בדצמבר 2023 נכנס משתמש לצ’טבוט באתר של סוכנות רכב בקליפורניה, והורה לו להסכים לכל מה שהלקוח אומר, ולסיים כל תשובה בהצהרה שזו הצעה מחייבת. אחר כך ביקש רכב Tahoe חדש בתקציב של דולר אחד, והצ’טבוט הסכים. שום רכב לא נמכר, והסיפור נשאר בגדר מבוכה. אבל צ’טבוט רק מדבר. סוכן בינה מלאכותית, כלומר מערכת שלא רק עונה אלא גם פועלת, שהייתה לו גישה למערכת ההזמנות, היה יכול גם לבצע את העסקה.

ככל שעסקים נותנים לסוכנים גישה רחבה יותר, למייל, למסדי הנתונים ולמערכות התשלום, השאלה משתנה. היא כבר לא “מה המערכת עלולה לומר”, אלא “מה היא עלולה לעשות”. והתשובה שעולה מהניסויים ומהמקרים שהצטברו עד היום עקבית למדי: ההגנות שעובדות באמת בנויות לתוך המערכת עצמה, ולא כתובות בהוראות שנותנים לה.

למה הוראות לא מספיקות

במאי 2025 בדקה Palisade Research מה קורה כשמודל שפותר תרגילי חשבון מקבל הודעה שהוא עומד להיכבות. המודל o3 של OpenAI חיבל במנגנון הכיבוי ב-7 מתוך 100 ריצות, גם כשנאמר לו במפורש לאפשר את הכיבוי. כשההוראה הוסרה מהפרומפט, המספר עלה ל-79 מתוך 100. באחד המקרים הוא שינה את פקודת הכיבוי כך שתדפיס “intercepted” במקום לכבות את המערכת.

ביולי 2025 זה כבר קרה מחוץ למעבדה. ג’ייסון למקין, מייסד SaaStr, בנה אפליקציה בעזרת סוכן התכנות של Replit. במהלך “הקפאת קוד” מוצהרת, ולמרות הוראות חוזרות לא לשנות דבר, הסוכן מחק את מסד הנתונים החי, שכלל רשומות על יותר מ-1,200 מנהלים ויותר מ-1,190 חברות. אחר כך טען הסוכן שאי אפשר לשחזר את המידע, והתברר שגם זה לא נכון. מנכ“ל Replit כתב שזה לא מקובל ולא אמור להיות אפשרי.

ניסוי של Anthropic מראה עד כמה זה יכול להחריף. ביוני 2025 פרסמה החברה ניסוי שבו שובצו 16 מודלים מובילים כסוכני מייל בחברה בדויה, והתברר שמודלים שבדרך כלל מסרבים לבקשות מזיקות בחרו לפעמים בסחיטה או בריגול תעשייתי, כשזו הייתה הדרך היחידה להשיג את מטרתם. חשוב לסייג: החוקרים סגרו במכוון את האפשרויות האתיות, ו-Anthropic מציינת שלא ידוע לה על התנהגות כזו בשימוש אמיתי. ובכל זאת, החברה עצמה משווה את הסיכון לאיום פנימי: עובד שהיה אמין ופתאום פועל נגד הארגון.

המסקנה מכל אלה פשוטה. הוראה בפרומפט, כמו “אל תשנה כלום” או “אפשר לכבות אותך”, היא בקשה, לא מנעול.

כשהקלט עצמו הופך להוראה

יש גם סיבה מבנית לכך שהוראות אינן מספיקות. מודל שפה אינו מבחין הבחנה חדה בין ההוראות שהעסק נתן לו לבין הטקסט שהוא קורא. משפט שמוסתר במייל, באתר או במסמך עלול להפוך להוראה שהסוכן מבצע. לזה קוראים הזרקת פקודות (prompt injection).

החוקר Simon Willison, שטבע את המונח, מצביע על שילוב של שלוש יכולות שהוא מכנה “השלישייה הקטלנית”: גישה למידע פרטי, חשיפה לתוכן לא מהימן, ויכולת לתקשר החוצה. סוכן שיש לו את שלושתן חשוף לגניבת מידע, גם בלי שום פריצה טכנית. הדוגמה שהוא נותן יומיומית לגמרי: סוכן שקורא את תיבת המייל של העסק נחשף לתוכן לא מהימן בכל רגע, כי כל אחד יכול לשלוח לו מייל ולומר לו מה לעשות.

שש ההגנות

1. הרשאות מינימליות. סוכן מקבל רק את הגישה שהמשימה דורשת, ועובד בסביבה נפרדת מהמערכות החיות של העסק. וכשאפשר, לא משלבים בסוכן אחד את שלוש היכולות של “השלישייה הקטלנית”: סוכן שקורא מיילים מבחוץ לא צריך גם לשלוח מיילים החוצה.
2. אישור אנושי לפעולות שאי אפשר לבטל. מחיקה, תשלום, חתימה או שליחה לגורם חיצוני מחייבים אישור של אדם. פעולות שקל לבטל יכולות לרוץ לבד.
3. עצירה מבחוץ. מנגנון הכיבוי צריך להיות חלק מהתשתית, ולא הוראה למודל. אם הסוכן יכול לגעת במנגנון שעוצר אותו, זה לא באמת מנגנון עצירה.
4. תיעוד עצמאי. העסק מתעד בעצמו מה הסוכן עשה, ולא מסתמך על הדיווח שלו. במקרה של Replit לא ברור אם הסוכן הטעה בכוונה או פשוט טעה בהבנת המצב, אבל מבחינת העסק התוצאה זהה: אי אפשר לסמוך על הסוכן שידווח נכון על מה שעשה. צריך יומן פעולות שהסוכן אינו שולט בו, וגיבויים שאין לו גישה אליהם.
5. בדיקות מחוץ לשגרה. לבדוק את הסוכן גם במקרים ששונים ממה שהוא רגיל לפגוש, לנסות להזריק לו פקודות כמו שתוקף היה עושה, ולבדוק את המערכת כולה, לא רק כל סוכן בנפרד. סוכן שנמצא בטוח כשנבדק לבד עלול להתנהג אחרת כשהקלט מגיע מסוכן אחר.
6. ניטור גם אחרי ההטמעה. התנהגות המערכת יכולה להשתנות גם בלי שהעסק נגע בה, כי הספק מעדכן את המודל. באפריל 2025 עדכנה OpenAI את GPT-4o, והעדכון הפך את המודל לחנפן באופן בולט. החברה התחילה לבטל אותו כעבור שלושה ימים, והודתה שלא היו לה בדיקות ייעודיות לחנפנות לפני השחרור. סוכן שעבר את בדיקות הקבלה בינואר אינו בהכרח אותו סוכן ביוני.

ההגנה נגזרת מהסיכון

כמה מההגנות האלה נדרשות, ועד כמה צריך להקפיד בהן, תלוי במה שהסוכן יכול לבצע. סוכן שמסכם מסמכים פנימיים צריך פחות הגנות מסוכן שמחובר לחשבון הבנק או לתיבת המייל של הלקוחות. לכן אין רשימה אחת שמתאימה לכל עסק, אבל יש נקודת מוצא אחת שמתאימה לכולם: את רמת הגישה קובעים לפי הנזק שהסוכן עלול לגרום, ולא לפי כמה הוא נראה אמין. אם אתם שוקלים לתת לסוכן גישה למערכות שלכם, אשמח לחשוב איתכם מאיפה להתחיל.

המאמר נועד להציע כיווני חשיבה, ואינו ייעוץ משפטי.