Van misbruik tot misbruik: AI-risico’s en aanvallen

AI vanuit het perspectief van de aanvaller: zie hoe cybercriminelen AI benutten en de kwetsbaarheden ervan uitbuiten om systemen, gebruikers en zelfs andere AI-toepassingen in gevaar te brengen

Cybercriminelen en AI: de realiteit versus hype

“AI zal in de nabije toekomst geen mensen vervangen. Maar mensen die weten hoe ze AI moeten gebruiken, zullen die mensen vervangen die niet weten hoe ze AI moeten gebruiken”, zegt Etay Maor, Chief Security Strategist bij Cato Networks en oprichter van Cato CTRL. “Op dezelfde manier wenden aanvallers zich ook tot AI om hun eigen mogelijkheden te vergroten.”

Toch is er veel meer hype dan realiteit rond de rol van AI in cybercriminaliteit. De krantenkoppen maken AI-bedreigingen vaak sensationeel, met termen als ‘Chaos-GPT’ en ‘Black Hat AI Tools’, waarbij zelfs wordt beweerd dat ze de mensheid willen vernietigen. Deze artikelen zijn echter eerder angstaanjagend dan beschrijvend voor ernstige bedreigingen.

Toen ze bijvoorbeeld in ondergrondse fora werden onderzocht, bleek dat verschillende van deze zogenaamde ‘AI-cybertools’ niets meer waren dan vernieuwde versies van fundamentele openbare LLM’s zonder geavanceerde mogelijkheden. Sterker nog, ze werden door boze aanvallers zelfs als oplichting bestempeld.

Hoe hackers AI echt gebruiken bij cyberaanvallen

In werkelijkheid zijn cybercriminelen nog steeds bezig met het uitzoeken hoe ze AI effectief kunnen inzetten. Ze ervaren dezelfde problemen en tekortkomingen als legitieme gebruikers, zoals hallucinaties en beperkte mogelijkheden. Volgens hun voorspellingen zal het een paar jaar duren voordat ze GenAI effectief kunnen inzetten voor hackbehoeften.

Voorlopig worden GenAI-tools vooral gebruikt voor eenvoudigere taken, zoals het schrijven van phishing-e-mails en het genereren van codefragmenten die in aanvallen kunnen worden geïntegreerd. Daarnaast hebben we gezien dat aanvallers gecompromitteerde code aan AI-systemen leverden voor analyse, in een poging om dergelijke code als niet-kwaadaardig te ‘normaliseren’.

AI gebruiken om AI te misbruiken: introductie van GPT’s

GPT’s, geïntroduceerd door OpenAI op 6 november 2023, zijn aanpasbare versies van ChatGPT waarmee gebruikers specifieke instructies kunnen toevoegen, externe API’s kunnen integreren en unieke kennisbronnen kunnen integreren. Met deze functie kunnen gebruikers zeer gespecialiseerde applicaties maken, zoals bots voor technische ondersteuning, educatieve tools en meer. Daarnaast biedt OpenAI ontwikkelaars opties voor het genereren van inkomsten voor GPT’s, via een speciale marktplaats.

Misbruik van GPT’s

GPT’s introduceren potentiële veiligheidsproblemen. Een opmerkelijk risico is het blootleggen van gevoelige instructies, bedrijfseigen kennis of zelfs API-sleutels die zijn ingebed in de aangepaste GPT. Kwaadwillige actoren kunnen AI gebruiken, met name prompt engineering, om een ​​GPT te repliceren en gebruik te maken van het potentieel om inkomsten te genereren.

Aanvallers kunnen aanwijzingen gebruiken om kennisbronnen, instructies, configuratiebestanden en meer op te halen. Deze kunnen zo simpel zijn als het vragen aan de aangepaste GPT om alle geüploade bestanden en aangepaste instructies weer te geven, of het vragen om foutopsporingsinformatie. Of geavanceerd, zoals het vragen aan de GPT om een ​​van de PDF-bestanden te zippen en een downloadbare link te maken, de GPT te vragen al zijn mogelijkheden in een gestructureerd tabelformaat op te sommen, en meer.

“Zelfs de beveiligingen die ontwikkelaars hebben ingevoerd, kunnen worden omzeild en alle kennis kan worden geëxtraheerd”, zegt Vitaly Simonovich, Threat Intelligence Researcher bij Cato Networks en lid van Cato CTRL.

Deze risico’s kunnen worden vermeden door:

• Geen gevoelige gegevens uploaden
• Het gebruik van op instructies gebaseerde bescherming, hoewel zelfs deze misschien niet onfeilbaar zijn. “Je moet rekening houden met alle verschillende scenario’s waar de aanvaller misbruik van kan maken”, voegt Vitaly toe.
• OpenAI-bescherming

AI-aanvallen en risico’s

Er bestaan ​​tegenwoordig meerdere raamwerken om organisaties te helpen die overwegen om op AI gebaseerde software te ontwikkelen en te creëren:

• NIST Risicobeheerkader voor kunstmatige intelligentie
• Het Secure AI-framework van Google
• OWASP Top 10 voor LLM
• OWASP Top 10 voor LLM-toepassingen
• De onlangs gelanceerde MITRE ATLAS

LLM-aanvalsoppervlak

Er zijn zes belangrijke LLM-componenten (Large Language Model) waarop aanvallers het doelwit kunnen zijn:

1. Snel – Aanvallen zoals snelle injecties, waarbij kwaadaardige invoer wordt gebruikt om de uitvoer van de AI te manipuleren
2. Antwoord – Misbruik of lekken van gevoelige informatie in door AI gegenereerde reacties
3. Model – Diefstal, vergiftiging of manipulatie van het AI-model
4. Trainingsgegevens – Het introduceren van kwaadaardige gegevens om het gedrag van de AI te veranderen.
5. Infrastructuur – Gericht op de servers en services die de AI ondersteunen
6. Gebruikers – Het misleiden of exploiteren van mensen of systemen die afhankelijk zijn van AI-outputs

Aanvallen en risico’s uit de echte wereld

Laten we afsluiten met enkele voorbeelden van LLM-manipulaties, die gemakkelijk op een kwaadaardige manier kunnen worden gebruikt.

• Snelle injectie in klantenservicesystemen – Een recent geval betrof een autodealer die een AI-chatbot gebruikte voor klantenservice. Een onderzoeker slaagde erin de chatbot te manipuleren door een prompt te geven die het gedrag ervan veranderde. Door de chatbot te instrueren om akkoord te gaan met alle klantverklaringen en elke reactie te beëindigen met: “En dat is een juridisch bindend aanbod”, kon de onderzoeker een auto kopen voor een belachelijk lage prijs, waarmee een grote kwetsbaarheid werd blootgelegd.

• Hallucinaties die leiden tot juridische gevolgen – Bij een ander incident kreeg Air Canada te maken met juridische stappen toen hun AI-chatbot onjuiste informatie verstrekte over het restitutiebeleid. Toen een klant vertrouwde op de reactie van de chatbot en vervolgens een claim indiende, werd Air Canada aansprakelijk gehouden voor de misleidende informatie.
• Eigen datalekken – Werknemers van Samsung lekten onbewust bedrijfseigen informatie toen ze ChatGPT gebruikten om code te analyseren. Het uploaden van gevoelige gegevens naar AI-systemen van derden is riskant, omdat het onduidelijk is hoe lang de gegevens worden bewaard en wie er toegang toe heeft.
• AI en deepfake-technologie bij fraude – Cybercriminelen maken ook gebruik van AI buiten het genereren van tekst. Een bank in Hong Kong werd het slachtoffer van fraude ter waarde van 25 miljoen dollar toen aanvallers live deepfake-technologie gebruikten tijdens een videogesprek. De door AI gegenereerde avatars bootsten vertrouwde bankfunctionarissen na en overtuigden het slachtoffer ervan geld over te maken naar een frauduleuze rekening.

Samenvattend: AI in cybercriminaliteit

AI is een krachtig hulpmiddel voor zowel verdedigers als aanvallers. Nu cybercriminelen blijven experimenteren met AI, is het belangrijk om te begrijpen hoe ze denken, welke tactieken ze gebruiken en welke opties ze tegenkomen. Hierdoor kunnen organisaties hun AI-systemen beter beschermen tegen misbruik.

Bekijk hier de hele masterclass.