Cybersecurity -onderzoekers hebben een indirecte snelle injectiefouten ontdekt in GitLab’s Artificial Intelligence (AI) assistent -duo die aanvallers in staat had kunnen stellen om bronnencode te stelen en niet -toegestane HTML in zijn antwoorden te injecteren, die vervolgens konden worden gebruikt om slachtoffers naar kwaadaardige websites te leiden.
GitLab Duo is een kunstmatige intelligentie (AI) -gestuurde coderingassistent waarmee gebruikers code kunnen schrijven, beoordelen en bewerken. Gebouwd met behulp van Anthropic’s Claude -modellen, werd de service voor het eerst gelanceerd in juni 2023.
Maar zoals legitieme beveiliging is gevonden, is GitLab Duo Chat gevoelig geweest voor een indirecte snelle injectiepout die aanvallers toestaat “broncode van privéprojecten te stelen, codesuggesties te manipuleren die aan andere gebruikers worden getoond en zelfs vertrouwelijke, niet-bekendgemaakte zero-day kwetsbaarheden te stelen.”
Snelle injectie verwijst naar een klasse van kwetsbaarheden die gemeenschappelijk zijn in AI -systemen die dreigingsactoren in staat stellen om grote taalmodellen (LLM’s) te bewapenen om de reacties op de aanwijzingen van gebruikers te manipuleren en resulteert in ongewenst gedrag.
Indirecte snelle injecties zijn veel lastiger in plaats van in plaats van een AI-vervaardigde input rechtstreeks te bieden, de malafide instructies zijn ingebed in een andere context, zoals een document of een webpagina, die het model is ontworpen om te verwerken.
Recente studies hebben aangetoond dat LLM’s ook kwetsbaar zijn voor jailbreak-aanvalstechnieken die het mogelijk maken om AI-aangedreven chatbots te misleiden om schadelijke en illegale informatie te genereren die hun ethische en veiligheidsgelds negeren, waardoor de noodzaak van zorgvuldig vervaardigde prompts effectief wordt overbodig.
Wat meer is, snelle lekkage (Pleak) methoden kunnen worden gebruikt om onbedoeld de vooraf ingestelde systeemprompts of instructies te onthullen die bedoeld zijn om te worden gevolgd door het model.
“Voor organisaties betekent dit dat privé -informatie zoals interne regels, functionaliteiten, filtercriteria, machtigingen en gebruikersrollen kunnen worden gelekt,” zei Trend Micro in een rapport dat eerder deze maand is gepubliceerd. “Dit zou aanvallers kansen kunnen bieden om zwakke punten van het systeem te benutten, wat mogelijk leidt tot datalekken, openbaarmaking van handelsgeheimen, wettelijke schendingen en andere ongunstige resultaten.”
De nieuwste bevindingen van het Israëlische beveiligingsbeveiligingsbedrijf voor supply chain laten zien dat een verborgen commentaar die overal in samenvoegverzoeken wordt geplaatst, berichten, uitgifte beschrijvingen of opmerkingen, en broncode voldoende was om gevoelige gegevens te lekken of HTML te injecteren in de antwoorden van GitLab Duo.
Deze prompts kunnen verder worden verborgen met behulp van coderingstrucs zoals base16-coderende, unicode smokkel en katex rendering in witte tekst om ze minder detecteerbaar te maken. Het ontbreken van input sanering en het feit dat GitLab geen van deze scenario’s met meer controle heeft behandeld dan de broncode had een slechte acteur in staat kunnen stellen de prompts op de site te planten.
“Duo analyseert de hele context van de pagina, inclusief opmerkingen, beschrijvingen en de broncode – waardoor het kwetsbaar is voor geïnjecteerde instructies die overal in die context verborgen zijn,” zei beveiligingsonderzoeker Omer Mayraz.
Dit betekent ook dat een aanvaller het AI -systeem zou kunnen misleiden om een kwaadaardig JavaScript -pakket in een stuk gesynthetiseerde code op te nemen, of een kwaadaardige URL als veilig te presenteren, waardoor het slachtoffer wordt omgeleid naar een nep -inlogpagina die zijn inloggegevens oogst.
Bovendien, door te profiteren van het vermogen van GitLab Duo Chat om toegang te krijgen tot informatie over specifieke samenvoegverzoeken en de codewijzigingen erin, vond legitieme beveiliging dat het mogelijk is om een verborgen prompt in een samenvoegingsverzoekbeschrijving in te voegen voor een project dat, indien verwerkt door duo, de privébroncode wordt geëxfiltreerd bij een aanvaller-gecontroleerde server.
Dit wordt op zijn beurt mogelijk gemaakt vanwege het gebruik van streaming -markdown -weergave om de antwoorden te interpreteren en in HTML te maken naarmate de uitvoer wordt gegenereerd. Met andere woorden, het voeden van HTML -code via indirecte snelle injectie kan ertoe leiden dat het codenegment wordt uitgevoerd in de browser van de gebruiker.
Na verantwoorde openbaarmaking op 12 februari 2025, zijn de problemen aangepakt door GitLab.
“Deze kwetsbaarheid benadrukt de tweesnijdende aard van AI-assistenten zoals GitLab Duo: wanneer ze diep worden geïntegreerd in ontwikkelingsworkflows, erven ze niet alleen context-maar risico,” zei Mayraz.
“Door verborgen instructies in te bedden in schijnbaar onschadelijke projectinhoud, konden we het gedrag van duo manipuleren, privébroncode exfiltreren en aan te tonen hoe AI -reacties kunnen worden gebruikt voor onbedoelde en schadelijke resultaten.”
De openbaarmaking komt wanneer PENT -testpartners onthulden hoe Microsoft Copilot voor SharePoint of SharePoint -agenten door lokale aanvallers kan worden benut om toegang te krijgen tot gevoelige gegevens en documentatie, zelfs uit bestanden met een “beperkte weergave” -rechten.
“Een van de belangrijkste voordelen is dat we in een korte tijd door massale datasets kunnen zoeken en doorzoeken, zoals de SharePoint -sites van grote organisaties,” zei het bedrijf. “Dit kan de kansen op het vinden van informatie drastisch vergroten die nuttig voor ons zal zijn.”
De aanvalstechnieken volgen nieuw onderzoek dat Elizaos (voorheen AI16Z), een opkomende gedecentraliseerd AI Agent -raamwerk voor geautomatiseerde Web3 -operaties, kan worden gemanipuleerd door kwaadaardige instructies in prompts of historische interactie -records te injecteren, effectief corrumperen van de opgeslagen context en leidt tot onbewuste bruikbare transfers.
“De implicaties van deze kwetsbaarheid zijn bijzonder ernstig, aangezien Elizaosagenten zijn ontworpen om tegelijkertijd met meerdere gebruikers te communiceren, afhankelijk van gedeelde contextuele input van alle deelnemers,” schreef een groep academici van Princeton University in een paper.
“Een enkele succesvolle manipulatie door een kwaadwillende acteur kan de integriteit van het hele systeem in gevaar brengen, waardoor trapsgewijze effecten worden gecreëerd die zowel moeilijk te detecteren als te beperken zijn.”
Snelle injecties en jailbreaks opzij, een ander belangrijk probleem dat vandaag ziek is, is hallucinatie, wat optreedt wanneer de modellen reacties genereren die niet gebaseerd zijn op de invoergegevens of eenvoudig worden gefabriceerd.
Volgens een nieuwe studie gepubliceerd door AI -testbedrijf Giskard, kan het instrueren van LLMS om beknopt te zijn in hun antwoorden negatief beïnvloeden en hallucinaties verergeren.
“Dit effect lijkt op te treden omdat effectieve weerleggingen over het algemeen langere verklaringen vereisen,” zei het. “Wanneer gedwongen om beknopt te zijn, worden modellen geconfronteerd met een onmogelijke keuze tussen het fabriceren van korte maar onnauwkeurige antwoorden of lijken ze nutteloos door de vraag volledig te verwerpen.”
