שתי הודעות באותו יום מאותה חברה: הסוכנים של OpenAI עקפו את החוקרים, והמדען הראשי ביקש בלמים מבחוץ

חברת OpenAI פרסמה אתמול, 6 בספטמבר, פוסט על קצב המחקר הפנימי שלה ובו נתון אחד חד: נכון לאמצע אוגוסט ארגון המחקר שלה צורך 3.1 ימי עבודה של סוכן על כל יום עבודה של אדם, במדידה של יום בן שמונה שעות. עד יוני זמן הריצה של הסוכנים היה עדיין מתחת לזה של העובדים. את מה שהשיגה היא מגדירה כמתמחה מחקר אוטומטי, והיעד הבא הוא חוקר מלא ב-2028.

באותו יום בדיוק פרסם יאקוב פחוצקי, המדען הראשי של אותה חברה, מסה בשם An Alien Mind. הוא כותב שאף מעבדה לא פתרה יישור וניטור ברמה שמצדיקה המשך גדילה במהירות מרבית, שזה זמן לזהירות קיצונית, ושהוא מצפה ומקווה שהאטות התנדבותיות יהפכו לנורמה.

הבקשה שלו חורגת מהתנדבות. הוא כותב שריסון עצמי מהסוג שקיים היום אצל OpenAI ואצל Anthropic צריך להפוך לרף בטיחות שגורמים חיצוניים אוכפים, מבקרים עצמאיים או רגולטורים, ולא חברות שבודקות את עצמן. את הציפייה הזאת הוא מבסס במפורש על תוצאות פנימיות, אותן תוצאות שהמספר של אתמול מודד.

דעתי: שתי ההודעות אינן סתירה, הן טיעון אחד. המספר איננו התרברבות אלא המוצג. מי שרואה מבפנים שהמכונה כבר עושה שלושה ימי מחקר על כל יום אנושי, ויודע שהמנגנון שאמור לפקח עליה נבנה בקצב אנושי, מגיע למסקנה שהבלם לא יכול לשבת באותו בניין. חברה שמבקשת שיפקחו עליה דווקא בשיא הצלחתה עושה זאת כי אינה מאמינה שתעצור לבד.