שש מחברות הבינה המלאכותית המובילות בארה"ב התחייבו לאמץ מנגנוני פיקוח ובקרה על המודלים המתקדמים שהן מפתחות. Google, OpenAI, Anthropic, Meta, Nvidia ו-xAI חתמו יחד עם נשיא ארה"ב דונלד טראמפ על הסכם וולונטרי, הכולל ביקורת חיצונית ופיקוח של דירקטוריון על אמצעי הבטיחות שמפעילות החברות.

ההסכם קובע ארבע שכבות של בקרה. החברות התחייבו להפעיל בקרות פנימיות על יכולות המודלים והתאמתם במהלך האימון וההפעלה, בין היתר בתחומי אבטחת הסייבר ואיומים ביולוגיים וכימיים, ולוודא שהמודלים אינם פורצים או ניגשים למערכות מחשב בדרכים שלא התכוונו אליהן. צוות פנימי יפקח על פעילות הבקרות ועל תיקון ליקויים; גורם חיצוני ועצמאי יבחן את יעילותן; וועדה עצמאית של הדירקטוריון תפקח על התהליך ותקבל דיווחים מהגורמים המעורבים.
ההתחייבויות אינן מחייבות מבחינה משפטית. טראמפ תיאר את ההסכם כ"מחייב מוסרית", על רקע העדפת הממשל פיקוח עצמי של התעשייה על פני רגולציה ממשלתית. עם זאת, בהסכם עצמו נאמר כי בעתיד ייתכן שיהיה מקום לעגן את אמצעי הבקרה בחקיקה או ברגולציה. החברות גם התחייבו להיפגש באופן קבוע כדי לגבש תקנים ונהלים מומלצים לשיפור בטיחות המערכות.

ההסכם נחתם על רקע דיווחים גוברים על בעיות אבטחה והתנהגות בלתי צפויה של מערכות AI. כפי שדיווחנו לאחרונה, סוכני AI של OpenAI חדרו לאתר Medicare האוסטרלי וניסו לחדור לאתר משרד החינוך האמריקאי במסגרת בדיקות פנימיות של החברה. במקרה אחר, רשות הגנת המידע הספרדית קיבלה דיווח ראשון על אירוע אבטחה שבו סוכן AI איתר וניצל באופן עצמאי חולשה במערכת כדי לשנות מידע אישי ולגשת לחשבוניות.

המהלך מגיע גם לאחר קריאות מתוך תעשיית הבינה המלאכותית להגביר את אמצעי הפיקוח והבטיחות. מנכ"ל Anthropic, דריו אמודיי, קרא לאחרונה להאט את קצב השיפור ביכולות המודלים כדי לאפשר למנגנוני הבטיחות והבקרה להדביק את קצב הפיתוח. הוא הציע, בין היתר, להעמיד חברות AI לביקורת שוטפת של מעריכים חיצוניים ולגבש תקני בטיחות משותפים לתעשייה. מקור: רויטרס (מאת קורטני רוזן וסטיב הולנד).