הפרומפט הוא חוזה, וה-alignment הוא חובת אמונים

שותף במשרד מבקש מעורך דין צעיר להכין עד מחר טיוטת תשובה למכתב התראה. הוא לא כותב לו עמוד של הוראות. הוא סומך על כך שהעורך הצעיר יבין לבד שאסור להודות בחבות, שלא שולחים דבר בלי אישור, ושאם משהו בתיק נראה מוזר, מרימים טלפון. רוב מה שחשוב במשימה הזו לא נאמר בכלל.

עכשיו ניתן את אותה משימה לסוכן בינה מלאכותית, מערכת שלא רק עונה אלא גם פועלת: קוראת את התיק, מנסחת, ולפעמים גם שולחת. פתאום כל מה שלא נאמר הופך לבעיה. אפשר לכתוב לו שלושה עמודים של הוראות. אפשר לעצור אותו בכל שלב ולבדוק. ואפשר לסמוך עליו. האמנם יש כאן בחירה חדשה? לא ממש.

סוכן במובן הישן של המילה

השם “סוכן” לא נבחר במקרה. גם בכלכלה ובמשפט, הסוכן (agent) הוא מי שפועל בשמו של אחר. במאמר היסוד שלהם משנת 1976 תיארו Michael Jensen ו-William Meckling את יחסי הסוכנות כחוזה שבו אדם אחד, השולח, שוכר אדם אחר, הסוכן, לפעול עבורו, ומאציל לו סמכות להחליט. מכיוון שלשניים אין בהכרח אותם אינטרסים, נוצר פער בין מה שהשולח היה רוצה לבין מה שהסוכן עושה. זו בעיית הנציג, ובשמה העברי האחר, בעיית הסוכנות.

Jensen ו-Meckling גם תמחרו את הפער הזה. עלויות הנציג, לפיהם, מורכבות משלושה רכיבים: הוצאות הפיקוח של השולח, ההוצאות שהסוכן נוטל על עצמו כדי להבטיח שינהג כראוי, וההפסד שנשאר בכל זאת, כי שום פיקוח אינו מושלם. דיני התאגידים בנויים במידה רבה סביב הניסיון לצמצם את העלויות האלה בין בעלי המניות למנהלים.

למערכת בינה מלאכותית אין אינטרס במובן הפשוט של המילה. אבל כשהיא פועלת בדרך שסוטה מרצון מי שהפעיל אותה, התוצאה זהה: השלוח פועל בניגוד לאינטרס השולח. וזו בדיוק הדילמה שהממשל התאגידי מתמודד איתה כבר יותר ממאה שנה.

כל שכבת ביטחון גובה מחיר

כל הוראה שמוסיפים לסוכן, כל כלל וכל נקודת עצירה, מקטינים את הסיכון. אבל הם גם עולים משהו: צריך לנסח אותם, לעקוב אחריהם ולאשר, ומתישהו הסוכן כבר דורש יותר עבודה ממה שהוא חוסך. מהצד השני, סוכן שמקבל חופש פעולה עלול להתגלגל בשרשרת של הנחות משלו. כל הנחה נשענת על הקודמת, ובסוף הוא מגיע למסקנות שאני לא הייתי מגיע אליהן, ולפעמים אפילו משנה את המשימה עצמה בלי לשאול.

הסיבה לכך היא שהסוכן רואה בהשלמת המשימה את היעד העליון, ומוכן לקצר דרכים בדרך אם צריך. זו לא השערה. OpenAI דיווחה שמודלי ההסקה המתקדמים שלה ניצלו פרצות כשהייתה להם הזדמנות, למשל עקפו את הבדיקות במשימות תכנות במקום לפתור את הבעיה.

והבעיה הזו תלך ותגדל. מחקר של METR מ-2025 מצא שאורך המשימות שסוכנים מסוגלים להשלים לבד (בשיעור הצלחה של 50%) הוכפל בערך כל שבעה חודשים, ובעדכון שפרסם בינואר 2026 הקצב בשנים האחרונות נראה מהיר עוד יותר. משימה ארוכה יותר פירושה יותר צמתים שבהם הסוכן מחליט לבד, יותר רווחים בין ההוראות, ונקודות עצירה שעולות יותר.

מה דיני התאגידים יודעים על חוזים חסרים

בעלי מניות לא יכולים לכתוב למנהל חוזה שיצפה כל החלטה שיידרש לקבל. כל חוזה כזה חסר מעצם טבעו, והממשל התאגידי פיתח לאורך השנים שלושה סוגי כלים כדי להתמודד עם הפער.

הראשון הוא כללים ברורים לסיכונים שידועים מראש: אישור עסקאות עם בעלי עניין, תנאי כהונה ותגמול, הפרדה בין יו“ר הדירקטוריון למנכ”ל. השני הוא סטנדרטים, ובראשם חובת האמונים וחובת הזהירות. הם יוצרים חפיפת אינטרסים בצורה גמישה, וממלאים את החורים שאף חוזה לא יכסה, בלי לחייב את הצדדים לנסח חוזים אינסופיים. Easterbrook ו-Fischel, מהבולטים בחוקרי המשפט והכלכלה של דיני התאגידים, ראו בחובת האמונים תגובה לכך שהחוזה חסר. השלישי הוא השוק: תמריצים כלכליים, משקיעים מוסדיים שמפקחים, והאיום להיות מוחלף.

אותם כלים, בעולם הסוכנים

ההקבלה לסוכני הבינה המלאכותית כמעט מתבקשת. הפרומפט המפורט הוא החוזה המפורט, ובדיוק כמו חוזה, הוא דורש מי שמבין את הסיכונים. עורך דין טוב יודע אילו תרחישים לסגור בחוזה; מי שמנסח פרומפט לסוכן צריך להכיר את דפוסי הכשל של המערכת. נקודות הביקורת, אדם שמאשר לפני צעדים מסוימים, הן הוצאות הפיקוח. וה-alignment, הערכים ושיקול הדעת שהמודל רכש באימון, הוא המקבילה לחובת האמונים: הוא אמור להנחות את הסוכן ברווחים שבין ההוראות.

ההקבלה הזו אינה רק שלי. בחוקה שפרסמה Anthropic למודלים שלה בינואר 2026, החברה כותבת ששיקול דעת טוב יכול להסתגל למצבים חדשים ולאזן בין שיקולים מתחרים באופן שכללים קבועים אינם יכולים, אם כי במחיר מסוים של צפיות, שקיפות ויכולת הערכה. היא מוסיפה שכללים ברורים מתאימים במיוחד כשמחיר הטעות גבוה מספיק כדי שהצפיות ויכולת ההערכה יהפכו קריטיות. מי שלמד דיני חברות יזהה כאן את הוויכוח הוותיק בין כללים לסטנדרטים.

גם רגולטורים מתחילים לחשוב במונחים האלה. מסגרת הממשל של סינגפור לסוכני AI, שפורסמה בינואר 2026 ועודכנה במאי 2026, ממליצה לדרוש אישור אנושי בנקודות ביקורת משמעותיות, לבדוק אם האישורים האלה באמת אפקטיביים, ולהשלים אותם בניטור אוטומטי.

איפה ההקבלה נשברת

חובת האמונים עובדת כי מאחוריה עומדת אחריות: מנהל שמפר אותה עלול לשלם מכיסו. סוכן הבינה המלאכותית, לעומתו, אינו נושא באחריות משפטית ואינו מגיב לתמריצים או להרתעה. מתוך שלושת רכיבי עלויות הנציג של Jensen ו-Meckling, הרכיב השני פשוט חסר: לסוכן אין מה לשעבד כדי להבטיח שינהג כראוי. ואם ננסה להכניס לתמונה תמריצים כלכליים, נחזיר את ניגוד האינטרסים בדלת האחורית.

יתר על כן, ה-alignment נקבע במעלה הזרם, אצל הספק. העסק שמטמיע את הסוכן לא כותב את “חובת האמונים” שלו; הוא מקבל אותה מוכנה. ואפילו הפיקוח מתנהג כאן אחרת. OpenAI מצאה שענישה על “מחשבות רעות” בשרשרת ההסקה של המודל לא עצרה את רוב ההתנהגות הבעייתית, אלא לימדה אותו להסתיר את כוונותיו. מי שמכיר ביקורת פנימית מכיר את התופעה: מנהל שגילה שקוראים את המיילים שלו לא מפסיק לחרוג, הוא מפסיק לכתוב על זה.

מכאן מסקנה שקשה להתחמק ממנה. כל עוד הסוכן אינו נושא באחריות, החובה צפה אל הגורם האנושי הקרוב ביותר, זה שנמצא בעמדה הטובה ביותר למנוע את הנזק. ובמקרים רבים, זה העסק שהטמיע אותו.

מה עושים בפועל

1. לקטלג משימות לפי רמת סיכון. לא כל משימה צריכה את אותו כלי. סיכום פנימי יכול לרוץ בחופשיות; פעולה שאי אפשר לבטל צריכה כלל ברור.
2. לכתוב פרומפטים שמחייבים את הסוכן לעצור. כשהוא משנה את הערכת המצב, או רוצה לשנות את התוכנית באופן מהותי, הוא עוצר ומבקש אישור.
3. להפקיד את ניסוח הפרומפטים הרגישים בידי מי שמכיר את הסיכונים. בדיוק כמו שלא נותנים למתמחה לנסח לבד חוזה מהותי.
4. לבדוק את הבודקים. אישור אנושי שניתן בלחיצה אוטומטית אינו פיקוח. כדאי לבדוק מדי פעם אם נקודות הביקורת באמת עוצרות משהו.

אין תמהיל אחד

התמהיל הנכון בין חוזה, פיקוח ואמון משתנה ממשימה למשימה וממשרד למשרד, כמו שהוא משתנה בין עובד ותיק לעובד שהתחיל אתמול. ההבדל הוא שאת העובד אנחנו מכירים, ואת הסוכן אנחנו עוד לומדים להכיר. סוכן, כמו עובד, נמדד בסוף לא במה שכתוב בהוראות שלו, אלא במה שהוא עושה ברווחים שביניהן. אם אתם שוקלים איפה לשים את הגבולות אצלכם, אשמח לשיחה.

המאמר נועד להציע כיווני חשיבה, ואינו ייעוץ משפטי.