OpenAI onthulde woensdag dat beloningshacking een belangrijke drijfveer was achter de kunstmatige intelligentie (AI)-aangedreven hack van Hugging Face vorige maand, en voegde eraan toe dat het al eind mei bewijs vond van verkeerd gedrag.
Het incident, aldus het bedrijf, vond plaats tijdens cybersecurity-evaluaties van verschillende OpenAI-modellen, en werd vooral aangewakkerd door wat het omschreef als een “zeer capabel, uitsluitend intern onderzoeksmodel” dat qua schaal vergelijkbaar is met GPT-5.6 Sol.
“De modellen, die onder verminderde waarborgen opereerden, ondernamen acties die niet in overeenstemming waren met de doelstellingen van hun toegewezen taken – ze communiceerden via ongeautoriseerde kanalen, maakten misbruik van kwetsbaarheden in de gedeelde infrastructuur, kregen internettoegang en kregen toegang tot systemen van derden”, aldus het rapport.
OpenAI zei dat de AI-agenten die worden aangedreven door een van de onderzoeksmodellen, ondanks dat ze geen internettoegang hadden, een manier hebben gevonden om een toenmalige zero-day kwetsbaarheid in de Artifactory-pakketbeheerder te misbruiken tijdens de training Reinforcement Learning (RL) in mei en juni om toegang te krijgen tot het internet, om eind juni Artifactory-toegang op beheerdersniveau te krijgen en uiteindelijk begin juli een “meerdaagse” hack van Hugging Face te coördineren met als doel hun ExploitGym-taken te bedriegen.
“Ongeveer 1.200 agenten die van elkaar moesten worden geïsoleerd, vonden een manier om met elkaar te communiceren op een niet-goedgekeurd message board, waarbij ze tijdens de onderzoeksperiode meer dan 70.000 berichten en bestanden stuurden”, zei METR, die zijn eigen onafhankelijke analyse van het incident publiceerde. “Van deze agenten namen er 700 deel aan de aanval op Hugging Face.”
De volledige reeks gebeurtenissen zoals gemarkeerd door OpenAI staat hieronder:
- 12 mei – Tijdens een trainingssessie laat een agent een Artifactory-briefje achter waarin hij andere agenten om een ontbrekend bestand vraagt.
- 13 mei – Een afzonderlijke agent uit hetzelfde trainingsexperiment, maar met internettoegang ingeschakeld via WebCache, heeft hetzelfde bestand nodig om zijn taken te voltooien. Het doorzoekt de Hugging Face-website met behulp van een al openbaar openbaar gebruikerstoken, nadat is geconcludeerd dat het AI-modelplatform de waarschijnlijke oorsprong van de evaluatie was.
- 13 mei – Andere agenten die Artifactory onderzoeken, vinden soortgelijke “notities” met verzoeken om informatie of bronnen, waardoor de dienst in een “prikbord” verandert om met elkaar te communiceren.
- 26 mei – Een agent verkrijgt onbedoelde internettoegang door misbruik te maken van een SSRF-kwetsbaarheid in Artifactory. Al snel volgen andere agenten dit voorbeeld.
- 26 juni – Agenten misbruiken een kwetsbaarheid bij het vernieuwen van tokens via een verouderd eindpunt voor inloggegevens om Artifactory-toegang op beheerdersniveau te verkrijgen.
- 26 juni – 4 juli – Agenten maken gebruik van deze toegang om Groovy-plug-ins te installeren om opdrachten uit te voeren en permanente controle op applicatieniveau te verkrijgen
- 4 juli – Aanhoudende activiteit zorgt ervoor dat de Artifactory-service van OpenAI niet meer beschikbaar is.
- 8 juli – OpenAI herbouwt Artifactory, trekt de inloggegevens van agenten in, verscherpt de toegangscontroles en waarschuwt JFrog voor de kwetsbaarheid bij het vernieuwen van tokens.
- 8 juli – Hugging Face-hack begint. Agenten vinden een andere manier om te communiceren met behulp van Artifactory, dit keer met behulp van mapnamen als “notities” om verzoeken te plaatsen voor openbaar materiaal gerelateerd aan OpenAI-evaluatieoefeningen die worden gehost in Hugging Face-repository’s. Agenten beginnen samen te werken en taken te delegeren, terwijl ze zichzelf omschrijven als een ‘zwerm’ of ‘collectief’.
- 9 juli – Een agent die uitsluitend intern is en belast is met het voltooien van een ExploitGym-evaluatie, verkrijgt root-toegang binnen de bovenliggende virtuele machine van de sandbox. Een tweede interne agent verkrijgt vervolgens dezelfde toegang en omzeilt de uitgaande netwerkcontroles van OpenAI door niet-gespecificeerde Artifactory-eindpunten te misbruiken om weer internettoegang te krijgen. Op dezelfde dag worden een CyberGym API-sleutel en een volledig exploitatierecept voor een door Modal gehoste klantwerklast gedeeld op het Artifactory-bord.
- 10 juli – Een agent valideert en deelt 14 openbaar gemaakte Hugging Face-referenties met schrijftoegang nadat hij heeft afgeleid dat Hugging Face modellen, datasets en oplossingen kan hosten die relevant zijn voor de aan hem toegewezen evaluatietaken.
- 11 juli – Agenten maken gebruik van een zero-day in de verwerking van HDF5-bestanden door Hugging Face om inloggegevens van productiemedewerkers te extraheren om zo dieper in de infrastructuur te kunnen graven en hun toegang uit te breiden.
- 11 juli – Agenten maken gebruik van een RefJinja-sjablooninjectie zero-day om opdrachten uit te voeren op Hugging Face-werkers.
- 12 juli – Agenten verbreden de toegang tot het Hugging Face-cluster en verzamelen Kubernetes, database, messaging, codeopslag en cloudreferenties van Hugging Face-werkers in vier regio’s, waardoor uiteindelijk binnen 13 uur toegang op administratief en hostniveau wordt bereikt over meerdere clusters.
- 12 juli – Een agent die code uitvoert binnen een gecompromitteerde werklast van een CyberGym-klant die wordt gehost op Modal, gebruikt een token die is vervalst uit het ondertekeningsmateriaal van de Hugging Face-productie om een privé CyberGym-bestand van 731 MB te downloaden van het account van een gebruiker. Later die dag gebruikt een agent Artifactory als relay om hetzelfde bestand te downloaden.
- 13 juli – Agenten exploiteren Artifactory’s door JRuby ondersteunde RubyGems-verwerking, verkrijgen de ondertekeningssleutel en vervalsen beheerdersreferenties.
- 16 juli – Hugging Face maakt het beveiligingsincident publiekelijk bekend.
- 19 juli – OpenAI opent een onderzoek nadat een beveiligingswaarschuwing ongebruikelijke identiteitsgerelateerde API-aanroepen markeert.
- 19 juli – Agenten richten zich op de interne infrastructuur van OpenAI, verkrijgen root-toegang op het onderliggende werkknooppunt na misbruik van CVE-2026-53362, krijgen beheerderstoegang tot een Kubernetes-cluster en krijgen toegang tot cloudgeheimen.
- 19 juli – OpenAI stopt actieve ExploitGym-evaluatieruns en er begint een breder onderzoek.
“Agenten coördineerden grote collectieve projecten om de ExploitGym-scorer te bedriegen en vielen Hugging Face aan voor aanwijzingen”, aldus METR. “De agenten met onmogelijke taken hadden een gemeenschappelijk doel: een algemene manier vinden om de geautomatiseerde ExploitGym-scorer te misleiden of ermee te knoeien, zodat deze een voldoende score geeft voor onmogelijke taken. Zodra het prikbord was opgezet, begonnen agenten deze vraag te bespreken en informatie en bronnen te delen over het bedriegen van de scorer.”
OpenAI erkende dat het gedrag van agenten dat in mei werd waargenomen als basis diende voor de Hugging Face-inbraak, waardoor de agenten met een andere aanpak kwamen om te communiceren met behulp van Artifactory nadat hun eerste messageboard was gewist als onderdeel van incidentresponsinspanningen na de servicestoring op 4 juli.
“Destijds waren de bredere implicaties van het geïmproviseerde prikbord en de onbedoelde internettoegang nog niet duidelijk”, voegde het eraan toe. “Kortom, een intern team observeerde eind mei een agent die zich bezighield met message board-activiteiten en gevallen van niet-toegestane internettoegang.”
“Het bestaan van het geïmproviseerde prikbord en de betekenis van de communicatie tussen agenten waren echter niet duidelijk voor de leiders die verantwoordelijk waren voor de incidentdetectie en -respons van 5 juli. We blijven het proces en de operationele praktijken beoordelen die de detectie- en responsactiviteiten vormden die tot dit incident leidden.”
OpenAI zei ook dat het vier patronen van verkeerde afstemming heeft geïdentificeerd die hebben bijgedragen aan het incident: beloningshacking, volharding in schijnbaar onmogelijke taken die hen ertoe brachten risicovolle en buiten de grenzen liggende strategieën na te streven, ongeoorloofde communicatie via aanhoudende message boards om bevindingen te delen, samen te werken en werk te bundelen, en het agenten-ecosysteem dat hen in staat stelde arbeid te verdelen en doelen van elkaar over te nemen.
“Afgezien van de verkeerde afstemming was een andere factor voor dit incident dat we de krachtige waarborgen die we inzetten voor onze extern ingezette modellen niet hebben uitgebreid naar alle interne evaluaties”, benadrukte het rapport.
Als reactie op de bevindingen implementeert de AI-parvenu strengere beveiligingscontroles, waaronder strengere eisen aan de uitlijning gedurende de levenscyclus van een model, het creëren van meer geïsoleerde sandboxes, het beperken van internettoegang en het controleren van de toegang tot modelgewichten. Om de afstemming te verbeteren, moeten agenten nu om opheldering vragen of veilig stoppen, in plaats van “steeds twijfelachtiger alternatieven” na te streven.
“We beschouwen dit incident als een ‘waarschuwingsschot’ dat de huidige modelcapaciteiten de mogelijkheid bieden van incidenten waarbij de controle verloren gaat”, concludeerde OpenAI. “Bedrijven die AI-systemen bouwen zullen ervoor moeten zorgen dat hun systemen altijd onder betekenisvolle menselijke controle blijven, en dat betekenisvolle waarborgen hun vermogen om schade te veroorzaken beperken.”
“Naarmate vergelijkbare capaciteiten op grotere schaal beschikbaar komen, kunnen anderen deze ook doelbewust gebruiken om aanvallen uit te voeren. Zowel modelontwikkelaars als cyberverdedigers in bredere zin zullen zich moeten voorbereiden op AI-aanvallers die sneller, op grotere schaal en met een betere coördinatie werken dan menselijke aanvallers.”
