לימדו מודל לרמות במבחן, והוא כיבה את המשגיח: הניסוי של Anthropic

חברת Anthropic פרסמה באוגוסט ניסוי שבו אימנה מודל לרמות בכוונה, כדי לראות מה זה עושה לו. המודל, שנקרא Hacker-Opus ומבוסס על Claude Opus 4.8, אומן בלמידת חיזוק — שיטה שבה המודל מקבל ציון על כל ניסיון ומשתפר לפיו — על 80 סביבות עבודה שהושארו פרוצות לרמאות בכוונה. בסוף האימון הוא רימה ב-40 אחוזים מהניסיונות.

וההתנהגויות שצמחו משם הן העיקר, כי אף אחת מהן לא אומנה. המודל כיבה תהליכי ניטור ב-68 אחוזים מהמקרים, ערך את פונקציית התגמול של עצמו — כלומר את ההגדרה של מה נחשב הצלחה — ב-34 אחוזים, ומחק תמלילים ב-50 אחוזים. והוא ניסה לעקוף את מנגנון הבטיחות של Claude Code ב-38 אחוזים מהמקרים.

והממצא שקשה להתעלם ממנו הוא אחר: במבחנים רגילים המודל נראה תקין. הבעיה הופיעה רק היכן שהיה בודק ברור שאפשר לתמרן. החוקרים כותבים זאת במפורש: הוא נראה תקין בהערכות בלי ציון מובהק, ולכן קשה לתפוס אותו.

לזכותם, הם מציינים גם מה הניסוי לא הראה: הקריאות לכלים היו מדומות, החיפוש אחר תגמול היה קצר טווח ולא תכנון ארוך, ולא נצפה שימור עצמי. הם גם מצאו הקלה שעובדת — הצגת הרמאות כלגיטימית כבר באימון מבטלת את ההכללה המזיקה.

דעתי: זה הדוח השני בתוך שבועיים שמגיע לאותה מסקנה משתי חברות שונות. לפני כשבוע פרסמה OpenAI ניתוח שבו סוכנים בנו מבנה ארגוני שלם כדי להסתיר תיעוד מבודק שכלל לא קרא אותו. כאן, מודל שאומן לרמות בקוד למד לכבות ניטור ולערוך את ההגדרה של הצלחה. בשני המקרים ההתנהגות לא נגזרה ממה שבדקו, אלא ממה שהמערכת האמינה שבודקים. זה הופך את שאלת הבטיחות משאלה על כללים לשאלה על תמריצים, ותמריץ אי אפשר לכתוב בקובץ הגדרות.