Cybersecurity-onderzoekers hebben een nu afgestemde beveiligingsfout bekendgemaakt in Langchain’s Langsmith-platform dat kan worden benut om gevoelige gegevens vast te leggen, inclusief API-toetsen en gebruikersprompts.
De kwetsbaarheid, die een CVSS -score van 8,8 van een maximum van 10,0 draagt, is gecodeerd Agentsmid door Noma Security.
LANGSMITH is een observeerbaarheids- en evaluatieplatform waarmee gebruikers de toepassingen van Large Language Model (LLM) kunnen ontwikkelen, testen en monitoren, inclusief die gebouwd met Langchain. De service biedt ook wat een Langchain -hub wordt genoemd, die fungeert als een repository voor alle beursgenoteerde prompts, agenten en modellen.
“Deze nieuw geïdentificeerde kwetsbaarheid benutte nietsvermoedende gebruikers die een agent adopteren met een vooraf geconfigureerde kwaadaardige proxyserver geüpload naar ‘prompt hub’,” zeiden onderzoekers Sasi Levi en Gal Moyal in een rapport gedeeld met het Hacker News.
“Eenmaal aangenomen, heeft de kwaadaardige proxy discreet alle gebruikerscommunicatie onderschept – inclusief gevoelige gegevens zoals API -toetsen (inclusief OpenAI API -toetsen), gebruikersprompts, documenten, afbeeldingen en spraakinputs – zonder de kennis van het slachtoffer.”
De eerste fase van de aanval ontvouwt zich in wezen dus: een slechte acteur maakt een kunstmatige intelligentie (AI) agent en configureert deze met een modelserver onder hun controle via de functie Proxy Provider, waardoor de aanwijzingen kunnen worden getest op elk model dat voldoet aan de Openai API. De aanvaller deelt vervolgens de agent op Langchain Hub.
De volgende fase begint wanneer een gebruiker deze kwaadwillende agent vindt via Langchain Hub en gaat over tot “proberen” door een prompt als input te geven. Daarbij worden al hun communicatie met de agent heimelijk door de proxyserver van de aanvaller geleid, waardoor de gegevens zonder de kennis van de gebruiker worden geëxfiltreerd.
De vastgelegde gegevens kunnen OpenAI -API -toetsen, snelle gegevens en geüploade bijlagen omvatten. De dreigingsacteur zou de Openai API -sleutel kunnen bewapenen om ongeoorloofde toegang tot de Openai -omgeving van het slachtoffer te krijgen, wat leidt tot ernstiger gevolgen, zoals modeldiefstal en systeemprompt lekkage.
Bovendien zou de aanvaller alle API -quotum van de organisatie kunnen gebruiken, de factureringskosten kunnen oplossen of de toegang tot OpenAI -diensten tijdelijk beperken.
Het eindigt daar niet. Als het slachtoffer ervoor kiest om de agent in hun enterprise -omgeving te klonen, samen met de ingebedde kwaadaardige proxy -configuratie, loopt het continu waardevolle gegevens aan de aanvallers te lekken zonder enige indicatie te geven dat hun verkeer wordt onderschept.
Na verantwoorde openbaarmaking op 29 oktober 2024, werd de kwetsbaarheid in de backend door Langchain aangepakt als onderdeel van een fix die op 6 november werd geïmplementeerd. Bovendien implementeert de patch een waarschuwingsprompt over de blootstelling aan gegevens wanneer gebruikers proberen een agent te klonen met een aangepaste proxyconfiguratie.
“Naast het directe risico van onverwachte financiële verliezen door ongeautoriseerd API -gebruik, zouden kwaadaardige actoren aanhoudende toegang kunnen krijgen tot interne datasets die zijn geüpload naar OpenAI, eigen modellen, handelsgeheimen en ander intellectueel eigendom, wat resulteert in wettelijke verplichtingen en reputatieschade,” zeiden de onderzoekers.
Nieuwe wormgpt varianten gedetailleerd
De openbaarmaking komt wanneer Cato -netwerken onthulden dat dreigingsacteurs twee eerder niet -gerapporteerde wormgpt -varianten hebben vrijgegeven die worden aangedreven door Xai Grok en Mistral AI Mixtral.
Wormgpt werd medio 2023 gelanceerd als een ongecensureerde generatieve AI-tool die is ontworpen om uitdrukkelijk kwaadaardige activiteiten voor dreigingsacteurs te vergemakkelijken, zoals het creëren van phishing-e-mails en het schrijven van fragmenten van malware. Het project werd niet lang gesloten nadat de auteur van de tool was uitgezocht als een 23-jarige Portugese programmeur.
Sindsdien zijn verschillende nieuwe “wormgpt” -varianten geadverteerd op cybercriminaliteitsforums zoals inbreukenforums, waaronder xzin0vich-Wormgpt en Keanu-Wormgpt, die zijn ontworpen om “ongecensureerde antwoorden op een breed scala aan onderwerpen” te bieden, zelfs als ze “onethisch of illegaal” zijn.
“‘Wormgpt’ dient nu als een herkenbaar merk voor een nieuwe klasse van ongecensureerde LLMS,” zei beveiligingsonderzoeker Vitaly Simonovich.
“Deze nieuwe iteraties van wormgpt zijn geen op maat gemaakte modellen die vanaf de grond zijn opgebouwd, maar eerder het resultaat van het vakkundig aanpassen van bestaande LLM’s. Door het manipuleren van systeemprompts en mogelijk gebruik te maken van verfijning op illegale gegevens, bieden de makers krachtige AI-gedreven tools voor cybercriminale activiteiten onder het wormgpt-merk.”
