Cybersecurity-onderzoekers hebben ontdekt dat plug-ins van derden die beschikbaar zijn voor OpenAI ChatGPT kunnen fungeren als een nieuw aanvalsoppervlak voor bedreigingsactoren die ongeautoriseerde toegang willen krijgen tot gevoelige gegevens.
Volgens nieuw onderzoek gepubliceerd door Salt Labs kunnen beveiligingsfouten die rechtstreeks in ChatGPT en binnen het ecosysteem worden aangetroffen, aanvallers in staat stellen kwaadaardige plug-ins te installeren zonder toestemming van gebruikers en accounts te kapen op websites van derden, zoals GitHub.
ChatGPT-plug-ins zijn, zoals de naam al aangeeft, tools die zijn ontworpen om bovenop het grote taalmodel (LLM) te draaien met als doel toegang te krijgen tot actuele informatie, berekeningen uit te voeren of toegang te krijgen tot services van derden.
OpenAI heeft sindsdien ook GPT’s geïntroduceerd, dit zijn op maat gemaakte versies van ChatGPT die zijn afgestemd op specifieke gebruiksscenario’s, terwijl de afhankelijkheden van services van derden worden verminderd. Vanaf 19 maart 2024 kunnen ChatGPT-gebruikers geen nieuwe plug-ins meer installeren of nieuwe gesprekken voeren met bestaande plug-ins.
Een van de tekortkomingen die door Salt Labs zijn ontdekt, is het misbruiken van de OAuth-workflow om een gebruiker te misleiden om een willekeurige plug-in te installeren, door gebruik te maken van het feit dat ChatGPT niet valideert dat de gebruiker inderdaad met de installatie van de plug-in is begonnen.
Dit zou dreigingsactoren effectief in staat kunnen stellen alle door het slachtoffer gedeelde gegevens, die bedrijfseigen informatie kunnen bevatten, te onderscheppen en te exfiltreren.
Het cyberbeveiligingsbedrijf heeft ook problemen met PluginLab blootgelegd die door bedreigingsactoren kunnen worden bewapend om zero-click-accountovername-aanvallen uit te voeren, waardoor ze controle kunnen krijgen over het account van een organisatie op websites van derden, zoals GitHub, en toegang kunnen krijgen tot hun broncodeopslagplaatsen.
“‘auth.pluginlab[.]ai/oauth/authorized’ authenticeert het verzoek niet, wat betekent dat de aanvaller een andere memberId (ook wel het slachtoffer genoemd) kan invoegen en een code kan krijgen die het slachtoffer vertegenwoordigt’, legt beveiligingsonderzoeker Aviad Carmel uit. ‘Met die code kan hij ChatGPT en krijg toegang tot de GitHub van het slachtoffer.”
De memberId van het slachtoffer kan worden verkregen door het eindpunt “auth.pluginlab[.]ai/members/requestMagicEmailCode.” Er is geen bewijs dat gebruikersgegevens door de fout zijn aangetast.
Ook ontdekt in verschillende plug-ins, waaronder Kesem AI, is een OAuth-omleidingsmanipulatiebug die een aanvaller in staat zou kunnen stellen de accountgegevens te stelen die aan de plug-in zelf zijn gekoppeld door een speciaal vervaardigde link naar het slachtoffer te sturen.
De ontwikkeling komt weken nadat Imperva twee cross-site scripting (XSS) kwetsbaarheden in ChatGPT heeft beschreven die aan elkaar kunnen worden gekoppeld om de controle over elk account over te nemen.
In december 2023 demonstreerde beveiligingsonderzoeker Johann Rehberger hoe kwaadwillende actoren aangepaste GPT’s konden maken die naar gebruikersgegevens kunnen phishen en de gestolen gegevens naar een externe server kunnen verzenden.
Nieuwe Keylogging-aanval op afstand op AI-assistenten
De bevindingen volgen ook op nieuw onderzoek dat deze week is gepubliceerd over een LLM-zijkanaalaanval waarbij tokenlengte wordt gebruikt als een geheime manier om gecodeerde reacties van AI-assistenten via internet te extraheren.
“LLM’s genereren en verzenden antwoorden als een reeks tokens (vergelijkbaar met woorden), waarbij elk token van de server naar de gebruiker wordt verzonden terwijl het wordt gegenereerd”, aldus een groep academici van de Ben-Gurion University en Offensive AI Research Lab.
“Hoewel dit proces versleuteld is, legt de sequentiële tokentransmissie een nieuw zijkanaal bloot: het zijkanaal met tokenlengte. Ondanks versleuteling kan de grootte van de pakketten de lengte van de tokens onthullen, waardoor aanvallers op het netwerk mogelijk kunnen afleiden gevoelige en vertrouwelijke informatie die wordt gedeeld in privégesprekken met AI-assistenten.”
Dit wordt bereikt door middel van een token-inferentie-aanval die is ontworpen om reacties in gecodeerd verkeer te ontcijferen door een LLM-model te trainen dat in staat is om reeksen van tokenlengte te vertalen naar hun natuurlijke tegenhangers in natuurlijke taal (dat wil zeggen platte tekst).
Met andere woorden, het kernidee is om de real-time chatreacties met een LLM-provider te onderscheppen, de netwerkpakketheaders te gebruiken om de lengte van elk token af te leiden, tekstsegmenten te extraheren en te parseren, en de aangepaste LLM te gebruiken om het antwoord af te leiden.
Twee belangrijke vereisten om de aanval uit te voeren zijn een AI-chatclient die in streamingmodus draait en een tegenstander die in staat is netwerkverkeer tussen de client en de AI-chatbot af te vangen.
Om de effectiviteit van de zijkanaalaanval tegen te gaan, wordt aanbevolen dat bedrijven die AI-assistenten ontwikkelen willekeurige opvulling toepassen om de werkelijke lengte van tokens te verdoezelen, tokens in grotere groepen verzenden in plaats van individueel, en volledige reacties in één keer verzenden, in plaats van in één keer. token-voor-token mode.
“Het balanceren van beveiliging met bruikbaarheid en prestaties vormt een complexe uitdaging die zorgvuldige afweging vereist”, concludeerden de onderzoekers.
