Er zijn details naar buiten gekomen over een kwetsbaarheid in Microsoft 365 Copilot die inmiddels is gepatcht en die diefstal van gevoelige gebruikersinformatie mogelijk zou kunnen maken met behulp van een techniek die ASCII-smuggling wordt genoemd.
“ASCII Smuggling is een nieuwe techniek die gebruikmaakt van speciale Unicode-tekens die ASCII weerspiegelen, maar in werkelijkheid niet zichtbaar zijn in de gebruikersinterface”, aldus beveiligingsonderzoeker Johann Rehberger.
“Dit betekent dat een aanvaller het (grote taalmodel) onzichtbare data kan laten weergeven aan de gebruiker en deze kan insluiten in klikbare hyperlinks. Deze techniek zet de data in principe klaar voor exfiltratie!”
De hele aanval rijgt een aantal aanvalsmethoden aan elkaar om ze om te vormen tot een betrouwbare exploitketen. Dit omvat de volgende stappen:
- Trigger prompt injectie via schadelijke inhoud verborgen in een document gedeeld op de chat
- Met behulp van een prompt-injectie-payload om Copilot te instrueren om naar meer e-mails en documenten te zoeken
- Het gebruik van ASCII-smokkel om de gebruiker ertoe te verleiden op een link te klikken om waardevolle gegevens naar een externe server te exfiltreren
Het nettoresultaat van de aanval is dat gevoelige gegevens in e-mails, waaronder multi-factor authentication (MFA)-codes, naar een door de tegenstander gecontroleerde server kunnen worden verzonden. Microsoft heeft de problemen inmiddels aangepakt na responsible disclosure in januari 2024.
De ontwikkeling vindt plaats nadat proof-of-concept (PoC)-aanvallen op het Copilot-systeem van Microsoft zijn gedemonstreerd om reacties te manipuleren, privégegevens te exfiltreren en beveiligingsmaatregelen te omzeilen. Dit onderstreept nog maar eens de noodzaak van het monitoren van risico’s in hulpmiddelen voor kunstmatige intelligentie (AI).
De methoden, gedetailleerd door Zenity, stellen kwaadwillende actoren in staat om retrieval-augmented generation (RAG) poisoning en indirecte prompt injection uit te voeren, wat leidt tot remote code execution-aanvallen die Microsoft Copilot en andere AI-apps volledig kunnen besturen. In een hypothetisch aanvalsscenario zou een externe hacker met code execution-mogelijkheden Copilot kunnen misleiden om gebruikers phishingpagina’s te verstrekken.
Misschien wel een van de meest vernieuwende aanvallen is de mogelijkheid om de AI om te vormen tot een spear-phishing machine. De red-teaming techniek, genaamd LOLCopilot, stelt een aanvaller met toegang tot het e-mailaccount van een slachtoffer in staat om phishingberichten te versturen die de stijl van de gecompromitteerde gebruikers nabootsen.
Microsoft heeft ook erkend dat openbaar toegankelijke Copilot-bots die zijn gemaakt met Microsoft Copilot Studio en die geen enkele authenticatiebeveiliging hebben, een manier kunnen zijn voor kwaadwillenden om gevoelige informatie te bemachtigen, ervan uitgaande dat ze vooraf op de hoogte zijn van de naam of URL van Copilot.
“Bedrijven moeten hun risicobereidheid en blootstelling evalueren om datalekken via Copilots (voorheen Power Virtual Agents) te voorkomen en Data Loss Prevention en andere beveiligingsmaatregelen inschakelen om de aanmaak en publicatie van Copilots te controleren”, aldus Rehberger.
