De Amerikaanse regering heeft nieuwe beveiligingsrichtlijnen onthuld die gericht zijn op het versterken van kritieke infrastructuur tegen kunstmatige intelligentie (AI)-gerelateerde bedreigingen.
“Deze richtlijnen zijn gebaseerd op de inspanningen van de hele overheid om AI-risico’s in alle zestien kritieke infrastructuursectoren te beoordelen en bedreigingen aan te pakken, zowel heen als terug, en waarbij AI-systemen betrokken zijn”, zei het Department of Homeland Security (DHS) maandag.
Bovendien zei het agentschap dat het werkt aan het faciliteren van veilig, verantwoordelijk en betrouwbaar gebruik van de technologie op een manier die geen inbreuk maakt op de privacy, burgerrechten en burgerlijke vrijheden van individuen.
De nieuwe richtlijnen hebben betrekking op het gebruik van AI om aanvallen op kritieke infrastructuur uit te breiden en op te schalen, vijandige manipulatie van AI-systemen en tekortkomingen in dergelijke instrumenten die tot onbedoelde gevolgen kunnen leiden, waardoor de behoefte aan transparantie en beveiliging door ontwerppraktijken nodig is om AI te evalueren en te beperken. risico's.
Concreet omvat dit vier verschillende functies, zoals besturen, in kaart brengen, meten en beheren gedurende de hele AI-levenscyclus:
- Breng een organisatiecultuur van AI-risicobeheer tot stand
- Begrijp uw individuele AI-gebruikscontext en risicoprofiel
- Ontwikkel systemen om AI-risico's te beoordelen, analyseren en volgen
- Prioriteit geven aan en actie ondernemen op basis van AI-risico's voor de veiligheid en beveiliging
“Eigenaren en exploitanten van kritieke infrastructuur moeten rekening houden met hun eigen sectorspecifieke en contextspecifieke gebruik van AI bij het beoordelen van AI-risico’s en het selecteren van passende maatregelen”, aldus het agentschap.
“Eigenaars en exploitanten van kritieke infrastructuur moeten begrijpen waar deze afhankelijkheden van AI-leveranciers bestaan en moeten eraan werken om de mitigatieverantwoordelijkheden dienovereenkomstig te delen en af te bakenen.”
De ontwikkeling komt weken nadat de inlichtingenalliantie Five Eyes (FVEY), bestaande uit Australië, Canada, Nieuw-Zeeland, Groot-Brittannië en de VS, een cybersecurity-informatieblad heeft vrijgegeven waarin de zorgvuldige opzet en configuratie wordt vermeld die nodig is voor de inzet van AI-systemen.
“De snelle adoptie, inzet en gebruik van AI-capaciteiten kunnen ze tot zeer waardevolle doelwitten maken voor kwaadwillende cyberactoren”, aldus de regeringen.
“Actoren, die historisch gezien gegevensdiefstal van gevoelige informatie en intellectueel eigendom hebben gebruikt om hun belangen te behartigen, kunnen proberen de ingezette AI-systemen te coöpteren en deze voor kwaadaardige doeleinden toe te passen.”
Tot de aanbevolen best practices behoren onder meer het nemen van stappen om de implementatieomgeving te beveiligen, het beoordelen van de bron van AI-modellen en de beveiliging van de toeleveringsketen, het zorgen voor een robuuste architectuur van de implementatieomgeving, het versterken van configuraties van de implementatieomgeving, het valideren van het AI-systeem om de integriteit ervan te garanderen, het beschermen van modelgewichten, het afdwingen strikte toegangscontroles, voer externe audits uit en implementeer robuuste logboekregistratie.
Eerder deze maand heeft het CERT Coördinatiecentrum (CERT/CC) een tekortkoming in de Keras 2 neurale netwerkbibliotheek beschreven die door een aanvaller zou kunnen worden uitgebuit om een populair AI-model te trojaniseren en opnieuw te distribueren, waardoor de toeleveringsketen van afhankelijke applicaties effectief wordt vergiftigd.
Uit recent onderzoek is gebleken dat AI-systemen kwetsbaar zijn voor een breed scala aan snelle injectie-aanvallen die het AI-model ertoe aanzetten veiligheidsmechanismen te omzeilen en schadelijke resultaten te produceren.
“Snelle injectie-aanvallen via vergiftigde inhoud vormen een groot veiligheidsrisico, omdat een aanvaller die dit doet mogelijk opdrachten aan het AI-systeem kan geven alsof hij de gebruiker is”, aldus Microsoft in een recent rapport.
Eén van die technieken, genaamd Crescendo, is beschreven als een multiturn large-taalmodel (LLM)-jailbreak, die, net als de veelvoudige jailbreak van Anthropic, het model ertoe verleidt kwaadaardige inhoud te genereren door 'zorgvuldig opgestelde vragen of prompts te stellen die geleidelijk de LLM leiden'. naar een gewenst resultaat, in plaats van in één keer om het doel te vragen.”
LLM-jailbreakprompts zijn populair geworden onder cybercriminelen die effectieve phishing-lokmiddelen willen maken, zelfs nu nationale actoren generatieve AI zijn gaan bewapenen om spionage te orkestreren en operaties te beïnvloeden.
Nog zorgwekkender is dat uit onderzoeken van de Urbana-Champaign van de Universiteit van Illinois is gebleken dat LLM-agenten kunnen worden ingezet om op autonome wijze kwetsbaarheden van één dag in systemen in de echte wereld te exploiteren, simpelweg door gebruik te maken van hun CVE-beschrijvingen en ‘websites te hacken, waarbij ze taken uitvoeren die zo complex zijn als blinde extractie van databaseschema's en SQL-injecties zonder menselijke feedback.”
