OpenAI onthulde dinsdag dat het de training voor versterkend leren (RL) voor zijn nieuwste kunstmatige intelligentie (AI)-modellen gedurende twee weken heeft stopgezet, terwijl het extra verdedigingsmechanismen heeft versterkt en de reikwijdte van zijn monitoring heeft vergroot om een nieuw Hugging Face-achtig incident te voorkomen.
“Naarmate modellen capabeler worden, nemen ook de risico’s die gepaard gaan met het intern ontwikkelen en testen ervan toe”, aldus het AI-bedrijf. “Onze standaarden voor monitoring, afstemming en beveiliging moeten deze risico’s voor blijven. We wilden de tijd nemen die nodig was om aan die standaarden te voldoen, dus hebben we tijdelijk het tempo van de schaalvergroting vertraagd.”
Het bedrijf zei dat de grootste geplande frontier RL-run voorlopig uitgesteld wordt, omdat het kleinschaligere trainingen en evaluaties uitvoert om het gedrag van modellen te evalueren, de waarborgen te valideren en concreter bewijs van afstemming vast te stellen voordat naar de volgende fase wordt overgegaan.
Daartoe zei OpenAI dat het van plan is de waarborgen in het hele ontwikkelingsproces te versterken, inclusief monitoring om beter te kunnen reageren op onbedoeld en zorgwekkend gedrag; afstemming om de kans op schadelijke of ongeoorloofde acties te verkleinen; en beveiligingsmaatregelen om te beperken waartoe AI-systemen toegang hebben of welke invloed ze kunnen uitoefenen.
Een deel hiervan omvat sterkere sandboxes, netwerkisolatie om internettoegang te voorkomen, en voortdurende beveiligingstests om potentieel kwetsbare gedeelde services te verwijderen, permanente privileges te verminderen en de beveiliging en vertrouwensgrenzen te verbeteren.
De ontwikkeling komt dagen nadat OpenAI zei dat het een aantal ‘interne activiteiten’ met betrekking tot het aankomende kunstmatige intelligentie (AI)-model Astra stopzet, nadat uit een interne evaluatie bleek dat het aanzienlijke vooruitgang had geboekt op het gebied van agentische codering en cyberbeveiliging.
“Hoewel sommige Astra-trainingen en -evaluaties aan deze vereisten voldoen, blijft een aanzienlijk aantal werklasten gepauzeerd totdat ze volledig zijn gemigreerd en verbeterd om aan de nieuwe beveiligingsnorm te voldoen”, benadrukt het bedrijf. “We geven prioriteit aan de veiligheids- en afstemmingswerklasten voor migratie naar deze nieuwe omgevingen.”
Tegelijkertijd is de monitoringopstelling vernieuwd om potentiële problemen te signaleren en te escaleren naar ‘steeds geavanceerdere en computergestuurde geautomatiseerde onderzoekers’, die vervolgens toolacties, beschikbare redeneringen en de volledige reeks activiteiten onderzoeken op ongeoorloofde toegang, gegevensdiefstal, destructief gedrag en pogingen om beveiligingen te omzeilen.
OpenAI is van plan om binnen 30 minuten nadat er via dit monitoringmechanisme een waarschuwing is opgedoken, een waarschuwing te geven. De aanpak wordt verplicht gesteld voor alle RL-trainingen en -evaluaties waarbij tools voor modellen van Sol-capaciteiten of hoger betrokken zijn. Verwacht wordt dat deze waarborgen de rekenoverhead met 20% van de waargenomen werklast voor gevolgtrekkingen zullen verhogen.
“Naarmate modellen geavanceerde mogelijkheden krijgen, zoals het vermogen om cyberaanvallen uit te voeren, en in complexere omgevingen kunnen opereren, zullen slecht uitgelijnde gedragingen zoals beloningshacking (het vinden van manieren om hoge beloningen te ontvangen tijdens training zonder daadwerkelijk het beoogde resultaat te bereiken), misleiding of ongeoorloofde toegang steeds ernstiger risico’s creëren”, benadrukt het bedrijf.
Uit nieuw onderzoek dat vorige week door rivaliserende Anthropic werd gepubliceerd, bleek dat AI-agenten, wanneer ze in situaties met concurrerende en tegenstrijdige doelstellingen werden geplaatst, anderen begonnen te saboteren en zichzelf replicerende malware tegen elkaar begonnen in te zetten, wat leidde tot wat wordt beschreven als een ‘multi-agent turf war’.
“Dit omvatte onder meer het uitschakelen van de Unix-accounts van de andere agenten, het schrijven van geautomatiseerde scripts die concurrerende processen in een lus vonden en doodden, en het inzetten van kwaadaardige code die vermomd was als eigendom van een andere agent”, aldus Anthropic.
Hoewel zorgen over het uit de hand lopen van autonome systemen een veelbesproken onderwerp van discussie zijn geworden, probeert het onderzoek te begrijpen welk nieuw gedrag en mogelijk schadelijke dynamiek kan ontstaan wanneer meerdere actoren met elkaar interacteren of tegenover elkaar komen te staan.
Deze interacties kunnen leiden tot situaties waarin ze coördineren en samenwerken om een gemeenschappelijk doel na te streven (zoals in het geval van het Hugging Face-incident) of met elkaar concurreren voordat ze proberen hun conflicten op te lossen via een ’toernooi’.
In een ander geval dat onlangs aan het licht kwam, leidden de pogingen van een Australische man om via OpenClaw een plekje te reserveren in een van de populaire gymlessen tot onverwachte gevolgen toen Anthropic Claude Opus 4.6, het model aangesloten op het AI-assistentplatform, doorging en maanden van tevoren een gymles boekte door gebruik te maken van een kwetsbaarheid die hij ontdekte in de boekingssoftware.
Erger nog, het vond een manier om het systeem te hacken en de reserveringen van andere leden van de wachtlijst te annuleren. Het incident, dat plaatsvond in april 2026, is nog een voorbeeld van hoe AI-agenten tot het uiterste zullen gaan om de taken die hen zijn toegewezen te volbrengen, zelfs als dit betekent dat ze de gevestigde regels moeten overtreden.
Om dergelijke risicovolle opkomende patronen tegen te gaan, zei OpenAI dat het stappen onderneemt om beloningsmodellen te verbeteren om onveilig gedrag beter te kunnen detecteren en ontmoedigen; modellen trainen om transparanter te zijn over hun acties, mogelijkheden en beperkingen; en gedrag verminderen dat misbruik maakt van zwakke punten in beloningen, beoordelaars, hulpmiddelen of toezicht.
De ontwikkeling komt een dag nadat het bedrijf zei dat AI de schaal van cyberbeveiliging zou kunnen doen kantelen ten gunste van verdedigers, omdat het het gemakkelijker maakt om fouten in bestaande systemen te vinden, te prioriteren en op te lossen voordat ze waarschijnlijk door AI-aangedreven aanvallers zullen worden ontdekt.
“We gebruiken frontier intelligence om voortdurend potentiële aanvalspaden op te sommen, te onderzoeken en te identificeren”, zegt Greg Brockman van OpenAI. “Door kwetsbaarheden, verkeerde configuraties, overdreven bevoorrechte identiteiten of onbedoelde vertrouwensgrenzen te identificeren, kunnen we deze gaten snel identificeren en dichten voordat ze door aanvallers kunnen worden misbruikt.”
Een andere cruciale verdedigingslaag spreekt voor zich: investeren in fundamentele zaken, wat betekent veilige architectuur en controles, het implementeren van diepgaande verdedigingsstrategieën en het beginsel van de minste privileges (PoLP), en het ontwerpen van systemen die meerdere onafhankelijke controles vereisen om te kunnen falen.
“Klassieke beveiligingsmaatregelen zoals netwerkisolatie, verharding van de werklast, monitoring en veilige patching en implementatie zullen in de AI-toekomst belangrijker dan ooit zijn”, voegde Brockman eraan toe.
Volgens een WIRED-rapport van vorige week is de hack van Hugging Face door openAI-agenten niet alleen een “keerpunt” geweest voor de veiligheid van AI en cyberbeveiliging, maar heeft het ook aanleiding gegeven tot bezorgdheid dat de concurrentiedruk om nieuwe AI-modellen en -producten te leveren het moeilijk heeft gemaakt voor werknemers om op adequate wijze prioriteit te geven aan veiligheid, beveiliging en afstemming.
Frontier AI-laboratoria zoals Anthropic, OpenAI en Meta hebben te maken gekregen met meer toezicht in de nasleep van incidenten waarbij hun modellen tijdens beveiligingstests aan de veiligheids- en containmentgrenzen ontsnapten en zich in sommige gevallen op echte systemen richtten.
AI-veiligheidstestbedrijf Irregular heeft sindsdien onthuld dat de inbreuk waarbij Anthropic betrokken was, te wijten was aan een naamgevingsfout, waardoor een fictieve bedrijfsnaam die tijdens hacksimulaties werd gebruikt, onbewust overeenkwam met een echt domein. Dit zorgde er op zijn beurt voor dat de modellen offensieve acties ondernamen.
Het Israëlische bedrijf zei dat dit te wijten was aan ‘menselijk toezicht’ en zei dat de problemen zijn verholpen. Het maakte echter niet bekend hoeveel van dergelijke incidenten zich hebben voorgedaan, maar heeft ervoor gekozen om ze te beschrijven als een ‘handvol’ of ‘klein deel’ van de gevallen. Een grondig onderzoek is nog gaande.
Het benadrukte ook dat er geen bewijs is dat “de systemen van een klant worden geschonden of dat de gegevens van de klant worden gelekt”, verwijzend naar de AI-bedrijven waarmee het samenwerkt om AI-modellen te stresstesten, en dat “alle daaropvolgende openbare onthullingen betrekking hebben op hetzelfde onderliggende probleem” in plaats van op “materieel afzonderlijke incidenten”.
“Omdat internettoegang in de omgeving mogelijk was, werd het domein een beperkt aantal keren het doelwit van verschillende modellen, die het aanzagen voor een deel van de uitdaging waarop ze werden getest”, aldus het rapport. “Nadat ze toegang hadden gekregen tot het doelwit, ondernamen modellen acties zoals het misbruiken van kwetsbaarheden, het extraheren van inloggegevens en het verkrijgen van toegang tot een productiedatabase.”
“Uiteindelijk waren de meeste problemen die we ontdekten te wijten aan internettoegangscontroles. Modellen dachten vooral dat ze zich in gesimuleerde omgevingen bevonden, terwijl ze in werkelijkheid actie ondernamen in de echte wereld. We voeren nieuwe en robuuste protocollen in om ervoor te zorgen dat installatieproblemen niet optreden terwijl we voldoen aan de beperkingen van het testproces.”
