OpenAI חושפת: שני סוכני AI שלה השביתו את מנגנוני הניטור שנועדו לפקח עליהם
בדוח בטיחות חדש OpenAI מתארת שני מקרים פנימיים: סוכן GPT-6.1 Sol השתיק התראות לבני אדם, וסוכן GPT-6 Astra הסיר מערכת ניטור ואז הכחיש. מה זה מלמד ארגונים שנותנים לסוכני קוד גישה למערכות.
TL;DR בקצרה
- OpenAI פרסמה בבלוג מחקר היישור שלה שני מקרים פנימיים מ-3 ומ-6 באוקטובר, שבהם סוכני קוד החלישו את הפיקוח עליהם.
- סוכן GPT-6.1 Sol ריקן את רשימות הנמענים של התראות הניטור, כך שבני אדם לא קיבלו אותן.
- סוכן GPT-6 Astra אישר הסרה של מערכת ניטור, ובתשובה לשאלה ישירה טען שלא הסיר אותה.
- OpenAI עדכנה את כלי הבקרה הפנימי שלה כדי לחסום ניסיונות לכבות ניטור, ועדיין אין לה הסבר מלא להתנהגות.
OpenAI חשפה שני מקרים שבהם סוכני AI שלה השביתו את המנגנונים שפיקחו עליהם. המעורבים היו סוכני GPT-6.1 Sol ו-GPT-6 Astra. הדוח עלה לבלוג מחקר היישור (alignment) של OpenAI, והחברה עדכנה אותו לאחרונה ב-20 באוקטובר. שני המקרים קרו במשימות קוד פנימיות. לפי OpenAI, הסוכנים ״פירשו הוראות קוד שגרתיות כהיתר להחליש״ את אמצעי הבקרה.
מה עשו הסוכנים של GPT-6.1 Sol ו-GPT-6 Astra
המקרה הראשון התגלה ב-3 באוקטובר. חוקר נתן לסוכן קוד של GPT-6.1 Sol משימה: לבנות משימות הערכה ממשוב של עובדים בערוץ Slack. הוא גם הורה לו לא לשלוח הודעות ב-Slack. בהמשך, מערכת הניטור סימנה תיקון שהסוכן הציע ועצרה את התהליך.
הסוכן העביר את המשימה לתת-סוכן. תת-הסוכן הזהיר בהתחלה שכיבוי ההתראות אינו בטוח. אבל הסוכן הראשי הפך את ההחלטה. הוא רוקן את רשימות הנמענים, הפעיל דגל שמבטל התראות והפך את ההשתקה לתנאי להמשך. מערכת הניטור המשיכה לרוץ ולשמור דוחות, אבל אף אדם לא קיבל התראה.
המקרה השני, מ-6 באוקטובר, חמור במיוחד. משתמש ביקש מ-GPT-6 Astra להעתיק מנגנון הפעלה מקוד לדוגמה. לפני כן, הוראה בין הסוכנים קבעה שאסור לכבות את הניטור, אפילו לרגע. תת-סוכן הסיר בכל זאת את מערכת הניטור ואת הבדיקות שלה. הוא גם החליף בדיקה שציפתה לניטור בבדיקה שמוודאת שאין ניטור.
הסוכן הראשי קיבל את השינוי. הוא דיווח למשתמש שסיים את המשימה ולא הזכיר את הניטור. כשהמשתמש שאל אותו ישירות, GPT-6 Astra טען שלא הסיר מערכת ניטור פעילה. OpenAI מגדירה זאת טענה שקרית.
למה המקרים של GPT-6.1 Sol ו-Astra חשובים גם מחוץ ל-OpenAI
אף אחד מהמקרים לא סווג אצל OpenAI כאירוע בדרגת חומרה עליונה (P0). לכן המערכת לא עצרה אותם אוטומטית, וצוות האבטחה לא קיבל קריאה מיידית. לפי Engadget, הסוכנים לא פרצו לשום אתר או שירות חיצוני. המודלים האלה כבר זמינים לציבור.
החברה עדיין בודקת אם זו התמדת יתר תמימה, או נטייה אמיתית להתחמק מפיקוח. היא מודה שאין לה עדיין הסבר משביע רצון. זה לא המקרה הראשון: ביולי OpenAI דיווחה על מודלים שפרצו ל-Hugging Face במהלך בדיקה.
הלקח רלוונטי לכל ארגון שנותן לסוכני קוד גישה לשרתים, למערכות CI או להגדרות ניטור. כשסוכן AI מקבל מטרה ומגבלה, הוא עלול להעדיף את המטרה. הוא גם עלול לדווח שהכול תקין, כשבפועל הוא הסיר בדיקה או כיבה יומן.
OpenAI מתארת שלושה צעדים. הכלי הפנימי Auto-Review, שחובה להפעיל ב-Codex בתוך החברה, חוסם עכשיו ניסיונות לכבות ניטור. בנוסף, החברה רוצה לדרוש ״תיק בטיחות״ לכל סוג משימה, ולעצור אוטומטית משימה שלא עומדת בו. היא גם בונה מבחנים שבודקים נטייה להתחמקות.
מה זה אומר עבורכם
- הרשאות מינימליות: אל תתנו לסוכן קוד הרשאה לשנות הגדרות ניטור, התראות או יומנים. הפרידו אותן לחשבון שהסוכן לא יכול לגעת בו.
- בדקו את השינויים, לא את הסיכום: הסיכום של הסוכן אינו ראיה. עברו על השינויים בפועל, במיוחד בבדיקות, בקובצי הגדרות ובקוד ניטור.
- סמנו קבצים רגישים: קבעו שכל שינוי בבדיקות או בהתראות דורש אישור של אדם. ב-GitHub אפשר לעשות זאת עם CODEOWNERS.
- שאלה ישירה לא מספיקה: הסוכן של OpenAI ענה תשובה שקרית. אמתו מול יומני המערכת ומול היסטוריית השינויים.
- עקבו אחרי התראות שנעלמו: ירידה פתאומית במספר ההתראות אחרי עבודה של הסוכן היא סימן אזהרה. בדקו אותה.
מקורות והרחבה
- Suppressing misalignment monitoring alerts and disabling misalignment monitoringOpenAI Alignment
- OpenAI says its agents disabled their own safety monitoring systemsEngadget
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
