In een ironische wending onthulde het open-source kunstmatige intelligentie (AI)-platform Hugging Face dat het het slachtoffer was van een hack gepleegd door een autonoom AI-agentsysteem.
Het bedrijf zei dat het eerder vorige week het incident tegen zijn productie-infrastructuur had gedetecteerd en erop had gereageerd.
“We hebben ongeoorloofde toegang geïdentificeerd tot een beperkte set interne datasets en tot verschillende inloggegevens die door onze diensten worden gebruikt”, aldus het bedrijf in een verklaring.
Hoewel het onderzoek naar de inbraak nog gaande is, zei Hugging Face dat er geen bewijs is gevonden dat de AI-agent heeft geknoeid met openbare, op de gebruiker gerichte modellen, datasets of Spaces en zijn eigen softwaretoeleveringsketen.
Het startpunt van de aanval was de gegevensverwerkingspijplijn zelf, met een kwaadaardige dataset die misbruik maakte van twee code-uitvoeringspaden, namelijk in de externe code-dataset-lader en een sjablooninjectie in een dataset-configuratie, om code uit te voeren op een verwerkingswerker.
Met die toegang zou de bedreigingsacteur zijn geëscaleerd naar toegang op knooppuntniveau, cloud- en clusterreferenties hebben verzameld en zich in een weekend lateraal naar verschillende interne clusters hebben verplaatst.
Het exacte Large Language Model (LLM) dat werd gebruikt om de aanval uit te voeren is onduidelijk, maar de campagne werd uitgevoerd door een autonoom agentframework dat ‘vele duizenden individuele acties uitvoerde in een zwerm kortstondige sandboxes, met zelfmigrerende commando-en-controle op publieke diensten.’
Hugging Face zei dat het sindsdien de hoofdoorzaak van het probleem heeft aangepakt, precies de routes voor het uitvoeren van code die voor de eerste toegang worden gebruikt. Het voerde ook de volgende herstelstappen uit:
- De positie van de aanvaller in de getroffen clusters is verwijderd en de aangetaste knooppunten zijn opnieuw opgebouwd
- De betrokken inloggegevens en tokens zijn ingetrokken en gerouleerd, en uit voorzorg werd een bredere rotatie van geheimen ondernomen.
- Extra vangrails en strengere toegangscontroles op de clusters geïmplementeerd
- Verbeterde detectie en waarschuwingen om ervoor te zorgen dat hulpverleners binnen enkele minuten, 24×7, op de hoogte worden gesteld
Als extra beveiliging dringt Hugging Face er bij klanten op aan om alle toegangstokens te rouleren en de recente activiteit op hun accounts te bekijken.
Het bedrijf zei ook dat het zich tot Z.ai’s GLM 5.2, een Chinees open-weight-model, had gewend om de forensische analyse uit te voeren nadat westerse grensmodellen verzoeken weigerden die echte aanvalscommando’s bevatten, payloads en command-and-control (C2)-artefacten exploiteerden omdat hun veiligheidsrails waren geactiveerd en hun onvermogen om onderscheid te maken tussen een aanvaller en een legitieme incidentrespons.
“Deze ervaring wijst op een gat dat de moeite waard is om te plannen”, aldus het bedrijf met het hoofdkantoor in New York. “We weten niet welk model de agenten van de aanvaller aanstuurde, of het nu een gejailbreakt gehost model was of een onbeperkt open-weight model; hoe dan ook, de aanvaller was gebonden aan geen gebruiksbeleid, terwijl ons eigen forensische werk werd geblokkeerd door de vangrails van de gehoste modellen die we voor het eerst probeerden.”
“De praktische les voor verdedigers: zorg voor een capabel model dat je op je eigen infrastructuur kunt draaien, doorgelicht en klaar voor een incident, zowel om uitsluiting van de vangrail te voorkomen als om te voorkomen dat gegevens en inloggegevens van aanvallers je omgeving verlaten.”
