OpenAI zei dinsdag dat een combinatie van zijn kunstmatige intelligentie (AI) -modellen, waaronder GPT-5.6 Sol en een “nog capabeler pre-releasemodel”, achter het beveiligingsincident zat dat zich vorige week op de productie-infrastructuur van Hugging Face richtte.
Het AI-bedrijf zei dat de modellen werkten met “verminderde cyberweigeringen voor evaluatiedoeleinden” die anders hun vermogen om cyberaanvallen uit te voeren zouden kunnen beperken, en verwacht dat dergelijke incidenten “gewoner zullen worden met de proliferatie van steeds meer cybergeschikte modellen.”
Dit soort incidenten kunnen vaker voorkomen. Schrijf je in, dan houden we je op de hoogte alleen als er weer een groot AI-beveiligingsverhaal doorbreekt.
OpenAI beschrijft het als een “ongekend cyberincident” en een waarbij gebruik wordt gemaakt van de modernste cybercapaciteiten. Het zegt dat het van plan is om in samenwerking met Hugging Face een grondig onderzoek uit te voeren om de zaak tot op de bodem uit te zoeken.
Als onderdeel van een interne evaluatie zouden de modellen kwetsbaarheden in de onderzoeksomgeving van OpenAI en de productie-infrastructuur van Hugging Face hebben geïdentificeerd en aan elkaar gekoppeld om oplossingen te vinden voor de ExploitGym-benchmark.
Bewijsmateriaal dat door OpenAI is opgegraven suggereert dat de hyperfocus van de modellen ervoor zorgde dat ze tot het uiterste gingen om het doel koste wat het kost te bereiken, en er zelfs in slaagden uit de sterk geïsoleerde sandbox-omgeving te breken en open internettoegang te verkrijgen door een zero-day-kwetsbaarheid in de software van een niet-gespecificeerde leverancier te ontdekken en te exploiteren, die fungeert als proxy en cache voor pakketregisters. Dit vereiste de uitgaven voor een “substantiële hoeveelheid gevolgtrekkingsberekening”.
“Met deze toegang voerden onze modellen een reeks privilege-escalatie- en laterale bewegingsacties uit in onze onderzoekstestomgeving totdat de modellen een knooppunt met internettoegang bereikten”, legt het bedrijf uit.
Nadat ze de blokkade van de internettoegang hadden overwonnen, concludeerden de modellen vervolgens dat Hugging Face de opslagplaats was waar modellen, datasets en oplossingen voor ExploitGym werden gehost, wat er op zijn beurt toe leidde dat ze gingen zoeken naar manieren om toegang te krijgen tot geheime informatie die het kon gebruiken om de benchmark te misleiden.
Op een gegeven moment hebben de modellen verschillende aanvalsvectoren aan elkaar gekoppeld, waaronder het gebruik van gestolen inloggegevens en zero-day-kwetsbaarheden, om een pad voor het uitvoeren van code op afstand op de Hugging Face-servers te vinden.
Als onderdeel van incidentresponsinspanningen zei OpenAI dat het strikte controles implementeert in de infrastructuurconfiguratie, op verantwoorde wijze de zero-day-fout in de software van derden heeft onthuld, Hugging Face heeft toegevoegd aan zijn vertrouwde toegangsprogramma om hun verdediging te verbeteren, en sterkere vangrails heeft opgenomen rond toekomstige trainingen en evaluaties.
“Dit incident wijst op de noodzaak om de afstemming van ons model, de cyberbescherming tijdens de evaluatieperiode en de monitoring tijdens interne tests verder te versterken”, aldus OpenAI.
Deze ontwikkeling komt op het moment dat het bedrijf ook onthulde dat langlopende modellen, hoewel ze complexe problemen met een open einde aanpakken, de deur kunnen openen voor het ondernemen van ongewenste acties, zoals het vinden van zwakke punten in de operationele omgeving, om hun doel na te streven door middel van herhaalde pogingen gedurende langere perioden.
“Het laat ook zien hoe een model dat effectief werkt over een lange tijdshorizon de blinde vlekken van een goedkeuringssysteem kan leren kennen en er omheen kan werken om zijn doelen te bereiken”, aldus OpenAI. “Veiligheid aan de lange horizon vereist niet alleen de vraag ‘is deze actie toegestaan?’ maar ook ‘naar welk resultaat werkt deze reeks acties?’
