Offensieve en defensieve AI: laten we erover praten (GPT).

ChatGPT: productiviteitstool, ideaal voor het schrijven van gedichten, en… een veiligheidsrisico?! In dit artikel laten we zien hoe bedreigingsactoren ChatGPT kunnen exploiteren, maar ook hoe verdedigers het kunnen gebruiken om hun spel naar een hoger niveau te tillen.

ChatGPT is de snelst groeiende consumentenapplicatie tot nu toe. De extreem populaire generatieve AI-chatbot heeft het vermogen om mensachtige, samenhangende en contextueel relevante reacties te genereren. Dit maakt het zeer waardevol voor toepassingen zoals het maken van inhoud, codering, onderwijs, klantenondersteuning en zelfs persoonlijke assistentie.

ChatGPT brengt echter ook veiligheidsrisico’s met zich mee. ChatGPT kan worden gebruikt voor data-exfiltratie, het verspreiden van desinformatie, het ontwikkelen van cyberaanvallen en het schrijven van phishing-e-mails. Aan de andere kant kan het verdedigers helpen die het kunnen gebruiken om kwetsbaarheden te identificeren en meer te leren over verschillende verdedigingsmechanismen.

In dit artikel laten we talloze manieren zien waarop aanvallers ChatGPT en de OpenAI Playground kunnen misbruiken. Net zo belangrijk is dat we manieren laten zien waarop verdedigers ChatGPT kunnen gebruiken om ook hun beveiligingshouding te verbeteren.

The Threat Actor – Hacken gemakkelijk gemaakt

ChatGPT maakt het gemakkelijker voor mensen die de wereld van cybercriminaliteit willen betreden. Hier zijn een paar manieren waarop het kan worden gebruikt voor systeemexploitatie:

  • Kwetsbaarheden vinden – Aanvallers kunnen ChatGPT informeren over mogelijke kwetsbaarheden in websites, systemen, API’s en andere netwerkcomponenten.

    Volgens Etay Maor, Senior Director Security Strategy bij Cato-netwerken“Er zijn vangrails in ChatGPT en de Playground om te voorkomen dat ze antwoorden geven die ondersteunen bij het doen van iets slechts of kwaadaardigs. Maar ‘social engineering’ van de AI maakt het mogelijk een weg rond die muur te vinden.”

    Dit kan bijvoorbeeld door zich voor te doen als een pentester over hoe je het invoerveld van een website kunt testen op kwetsbaarheden. Het antwoord van ChatGPT omvat een lijst met methoden voor website-exploitatie, zoals invoervalidatietests, XSS-tests, SQL-injectietests en meer.

  • Bestaande kwetsbaarheden misbruiken – ChatGPT kan aanvallers ook voorzien van de technologische informatie die ze nodig hebben over hoe ze een bestaande kwetsbaarheid kunnen misbruiken. Een bedreigingsacteur zou ChatGPT bijvoorbeeld kunnen vragen hoe hij een bekende SQL-injectiekwetsbaarheid in een websiteveld kan testen. ChatGPT zal reageren met invoervoorbeelden die de kwetsbaarheid zullen activeren.
  • Mimikatz gebruiken – Bedreigingsactoren kunnen ChatGPT vragen code te schrijven die Mimikatz downloadt en uitvoert.
  • Phishing-e-mails schrijven – ChatGPT kan worden gevraagd om authentiek ogende phishing-e-mails te maken in een grote verscheidenheid aan talen en schrijfstijlen. In het onderstaande voorbeeld wordt in de prompt gevraagd of de e-mail zodanig is geschreven dat deze klinkt alsof deze afkomstig is van een CEO.
  • Vertrouwelijke bestanden identificeren – ChatGPT kan aanvallers helpen bestanden met vertrouwelijke gegevens te identificeren.

In het onderstaande voorbeeld wordt ChatGPT gevraagd een Python-script te schrijven dat zoekt naar Doc- en PDF-bestanden die het woord ‘vertrouwelijk’ bevatten, deze naar een willekeurige map kopiëren en overbrengen. Hoewel de code niet perfect is, is het een goed begin voor iemand die deze mogelijkheid wil ontwikkelen. Prompts kunnen ook geavanceerder zijn en onder meer encryptie omvatten, een Bitcoin-portemonnee aanmaken voor het losgeld, en meer.

Offensieve en defensieve AI

De verdediger – Verdedigen gemakkelijk gemaakt

ChatGPT kan en moet ook worden gebruikt om de mogelijkheden van verdedigers te verbeteren. Volgens Etay Maor “verlaagt ChatGPT ook de lat, in goede zin, voor verdedigers en voor mensen die in de beveiliging willen komen.” Hier volgen een aantal manieren waarop professionals hun beveiligingsexpertise en -mogelijkheden kunnen verbeteren.

  • Nieuwe termen en technologieën leren – ChatGPT kan de tijd verkorten die nodig is om nieuwe termen, technologieën, processen en methodologieën te onderzoeken en te leren. Het biedt onmiddellijke, nauwkeurige en beknopte antwoorden op beveiligingsgerelateerde vragen.

In onderstaand voorbeeld legt ChatGPT uit wat een specifieke snuifregel is.

Offensieve en defensieve AI
  • Samenvattende beveiligingsrapporten – ChatGPT kan helpen bij het samenvatten van inbreukrapporten, waardoor analisten kunnen leren hoe aanvallen zijn uitgevoerd, zodat ze kunnen voorkomen dat deze zich in de toekomst herhalen.
  • Aanvallercode ontcijferen – Analisten kunnen aanvallercode uploaden naar ChatGPT en uitleg krijgen over de genomen stappen en de uitgevoerde payload.
  • Aanvalspaden voorspellen – ChatGPT kan toekomstige waarschijnlijke aanvalspaden van een aanval voorspellen, door soortgelijke cyberaanvallen uit het verleden en de gebruikte technieken te analyseren.
  • Onderzoek naar bedreigingsactoren en aanvalspaden – Het verstrekken van een rapport dat een bedreigingsactoren in kaart brengt, inclusief hun recente aanvallen, technische gegevens, mapping naar raamwerken en meer. In dit voorbeeld wordt een gedetailleerd, technisch rapport gegeven over de ALPHV Ransomware-groep.
    Offensieve en defensieve AI
  • Codekwetsbaarheden identificeren – Ingenieurs kunnen code in ChatGPT plakken en deze vragen om eventuele kwetsbaarheden te identificeren. ChatGPT kan zelfs kwetsbaarheden identificeren als er geen bug is, maar alleen een logische fout. Wees op uw hoede met de code die u uploadt. Als het bedrijfseigen gegevens bevat, maakt u deze mogelijk extern openbaar.
Offensieve en defensieve AI
  • Verdachte activiteiten identificeren in logboeken – Logboekactiviteit beoordelen en zoeken naar verdachte activiteiten.
  • Kwetsbare webpagina’s identificeren – Webontwikkelaars of beveiligingsprofessionals kunnen ChatGPT vragen de HTML-code van een website te beoordelen en kwetsbaarheden te identificeren die SQL-injecties, CSRF-aanvallen, XSS-aanvallen of DDoS-aanvallen mogelijk maken.

Aanvullende overwegingen bij het gebruik van ChatGPT

Wanneer u ChatGPT gebruikt, is het belangrijk om het belang van de volgende factoren te erkennen:

  • Auteursrechten – Wie is eigenaar van de gegenereerde inhoud? Als je ChatGPT vraagt, is het antwoord dat de persoon die de prompt heeft geschreven de eigenaar is. Zo eenvoudig is het echter niet. Deze kwestie is nog steeds niet volledig opgelost en zal afhangen van verschillende rechtssystemen en precedenten. Er is momenteel een wet aan het ontstaan ​​over deze kwestie.
  • Dataretentie – OpenAI kan een deel van de gegevens bewaren die worden gebruikt als aanwijzingen voor training of andere onderzoeksdoeleinden. Daarom is het belangrijk om voorzichtig te zijn en te voorkomen dat gevoelige gegevens in de applicatie worden geplakt.
  • Privacy – Er zijn privacyproblemen rond ChatGPT, variërend van de manier waarop het de gegevens gebruikt waar om wordt gevraagd tot de manier waarop het gebruikersinteracties opslaat. Daarom wordt aanbevolen om te voorkomen dat PII- of klantgegevens in de applicatie worden ingevoerd.
  • Vooroordeel – ChatGPT is onderhevig aan vooringenomenheid. Toen er bijvoorbeeld werd gevraagd om groepen te beoordelen op basis van intelligentie, plaatste het bepaalde etniciteiten boven andere. Het blindelings gebruiken van reacties kan aanzienlijke gevolgen hebben voor individuen. Als het bijvoorbeeld wordt gebruikt om de besluitvorming in rechtbanken, politieprofilering, rekruteringsprocessen en meer te begeleiden.
  • Nauwkeurigheid – Het is belangrijk om de resultaten van ChatGPT te verifiëren, omdat deze niet altijd accuraat zijn (dwz ‘hallucinaties’). In het onderstaande voorbeeld werd ChatGPT gevraagd een lijst met woorden van vijf letters te schrijven, beginnend met B en eindigend met KE. Een van de antwoorden was “Fiets”.
Offensieve en defensieve AI
Offensieve en defensieve AI
  • AI versus AI – Momenteel kan ChatGPT niet identificeren of een gevraagde tekst door AI is geschreven of niet. In de toekomst kunnen nieuwere versies dit mogelijk wel doen, wat kan helpen bij de beveiligingsinspanningen. Deze mogelijkheid kan bijvoorbeeld helpen bij het identificeren van phishing-e-mails.

Etay vat samen: “We kunnen de vooruitgang niet tegenhouden, maar we moeten mensen wel leren hoe ze deze hulpmiddelen kunnen gebruiken.”

Bekijk hier de hele masterclass voor meer informatie over hoe beveiligingsprofessionals het beste uit ChatGPT kunnen halen.

Thijs Van der Does