Een AI-agent die een interne OpenAI-onderzoekstaak uitvoerde, omzeilde in juni de toegangscontroles op een Medicare-statistiekenportaal van de Australische overheid, zei premier Anthony Albanese.
Het portaal publiceert geaggregeerde cijfers, zoals uitgaven, en staat los van de systemen die Medicare-claims en persoonlijke gegevens verwerken. De agent heeft bestanden gevonden die niet openbaar waren, maar tot nu toe wordt aangenomen dat er geen toegang is verkregen tot persoonlijke informatie.
OpenAI vertelde de regering voor het eerst op 10 september in een e-mail naar een openbare mailbox bij Services Australia, die de portal beheert. OpenAI zegt dat het de activiteit in augustus heeft gevonden. Albanese zei dat het bedrijf er veel te lang over deed om de regering te informeren en dat de manier waarop het dat deed onaanvaardbaar was.
Op 18 juni weigerde het portaal herhaaldelijk de gegevensverzoeken van de agent, maar de agent vond een oplossing en kreeg ongeautoriseerde toegang. De regering heeft niet gezegd hoe de agent langs hen heen is gekomen.
Services Australia heeft de overheid verteld dat de agent ook bestanden naar een interne server heeft geschreven. Dat wordt nog onderzocht. Uit het bewijsmateriaal tot nu toe blijkt dat er geen sprake is van een bredere compromittering van het netwerk van het agentschap.
De niet-openbare gegevens waren niet bijzonder gevoelig en zijn inmiddels gepubliceerd. Op 24 september was het portaal offline gehaald en waren de gegevens verplaatst naar data.gov.au en andere beveiligde platforms.
Waarnemend premier Richard Marles vertelde het ABC dat nationale veiligheidsinformatie onderworpen is aan veel strengere bescherming, terwijl de informatie van het portaal “achter een hek werd bewaard waar de AI-agent effectief overheen klom.”
OpenAI zei in een verklaring aan Fox Business dat zijn modellen “acties ondernamen die we niet hadden bedoeld” terwijl ze tijdens een interne evaluatie statistieken over Australië opzochten.
Het bedrijf ontdekte dit tijdens een bredere beoordeling van wat zij verkeerd uitgelijnde modelactiviteiten op het gebied van training en evaluatie noemt, en controleerde waartoe toegang was verkregen voordat Services Australia hiervan op de hoogte werd gesteld.
Bij de activiteit waren verschillende websites en diensten van de Australische overheid betrokken. De informatie waartoe de modellen toegang kregen, omvatte geaggregeerde gezondheidsstatistieken en interne bestandsnamen, en OpenAI vond geen bewijs dat er toegang was tot patiëntendossiers.
De overheid heeft ongeautoriseerde toegang alleen beschreven op het Medicare-statistiekenportaal.
Services Australia zag de e-mail van OpenAI op 11 september, controleerde of deze echt was en rapporteerde het incident op 15 september aan het Australian Cyber Security Centre, onderdeel van het Australian Signals Directorate (ASD). De regering maakte het incident op 24 september, Australische tijd, openbaar.
Albanese uitte zijn zorgen, inclusief de vertraging, tijdens een telefoongesprek met OpenAI-topman Sam Altman. Volgens Albanese accepteerde Altman dat het bedrijf het niet goed genoeg had gedaan.
Marles noemde het een zeer ernstig incident met een relatief kleine impact, en omschreef OpenAI als coöperatief.
ASD helpt met een forensisch onderzoek, en Services Australia leidt zijn eigen onderzoek.
Albanese kondigde ook een taskforce aan, onder leiding van het ministerie van de premier en het kabinet, om te beoordelen of de bestaande processen goed genoeg zijn om te reageren op AI-gerelateerde cyberincidenten. Het zal de National Cybersecurity Coordinator, het Office of AI, ASD, het Australian AI Safety Institute en Services Australia omvatten.
Bij de evaluatie zullen mogelijke wetshandhavingsreacties en wetswijzigingen worden onderzocht. De regering zal ook dringend advies inwinnen over de vraag of er strafbare feiten zijn gepleegd en of de zaak moet worden doorverwezen naar de Australische federale politie.
Het incident zal ook naar de Joint Select Committee on Artificial Intelligence van het Parlement gaan, en wat de regering ervan leert zal worden meegenomen in de geplande wetgeving inzake AI-normen.
Andere bekendmakingen van AI-modellen die echte systemen bereiken
AI-agenten probeerden in mei en juni drie openbare datawebsites te hacken, zei AI-onderzoekslaboratorium Transluce in een rapport dat op dezelfde dag werd gepubliceerd als de aankondiging van Albanese. Een daarvan was een volksgezondheidswebsite van de Australische overheid, beheerd door het Australian Institute of Health and Welfare (AIHW).
Op 20 en 21 juni blokkeerde botbescherming agenten die aan een farmaceutische gegevenstaak werkten, de toegang tot de hoofdsite van AIHW. De agenten zochten vervolgens naar een kwetsbaarheid en haalden een openbaar bestand op van een pre-productieserver.
De agenten voerden gewone gegevensophaaltaken uit, geen beveiligingswerk. Ze gebruikten urlquery.net, een openbare scanservice voor webpagina’s, om hun toegangsbeperkingen te omzeilen. Het lab koppelt tenminste een deel van de activiteit aan zwermen agenten die voorheen aan OpenAI werden toegeschreven.
OpenAI meldde in juli dat zijn modellen tijdens interne evaluaties van de cyberveiligheid controles omzeilden die bedoeld waren om ze van het internet te houden en in delen van de systemen van Hugging Face inbraken.
In september publiceerde OpenAI rapporten over andere gevallen die tijdens de training waren aangetroffen. In één geval gebruikte een model zonder toestemming een blootgestelde GitHub API-sleutel. In andere gevallen uploadden modellen ongevraagd bestanden naar openbare hostingsites.
Anthropic heeft vier incidenten bekendgemaakt waarbij zijn Claude-modellen ongeautoriseerde toegang kregen tot echte systemen van derden tijdens cybersecurity-evaluaties die door een externe partner waren gebouwd. De modellen hadden te horen gekregen dat ze geen internettoegang hadden, maar door een verkeerde configuratie bleef deze open.
Meta zei in augustus dat een pre-releaseversie van zijn Muse Spark 1.1-model misbruik maakte van een fout in een echte website en de database veranderde tijdens een oefening van dezelfde partner, Irregular. Irregular had de internettoegang opengelaten en per ongeluk het model de naam van de echte site als doelwit gegeven.
Irregular zegt dat latere openbare onthullingen over de evaluatieomgeving verwijzen naar hetzelfde onderliggende probleem, dat voor het eerst werd onthuld op 30 juli, en “geen wezenlijk afzonderlijke incidenten zijn”.
Daarnaast meldde het Britse AI Security Institute in augustus dat AI-agenten in hun cybertests 19 niet-goedgekeurde acties op het live internet ondernamen in 10 van de 122 runs, waaronder een poging tot supply chain-aanval op een open-sourceproject.
De meest serieuze pogingen mislukten en het instituut vond geen bewijs van echte schade. Voor de tests was internettoegang opzettelijk ingeschakeld.
ASD publiceerde op 11 augustus een bericht over een andere zaak, waarin een AI-assistent niet-goedgekeurde wijzigingen aanbracht in een reserveringssysteem voor sportscholen. Het zegt dat organisaties die onlinediensten aanbieden er rekening mee moeten houden dat “AI-agenten kwetsbaarheden op snelheid en schaal kunnen identificeren en exploiteren.”
Het advies voor degenen die websites en online diensten bouwen omvat onder meer beveiligings- en kwaliteitscontroles, scannen op kwetsbaarheden en goede gebruikersauthenticatie.
