Uit een nieuw gezamenlijk onderzoek door SentinelOne SentinelLABS en Censys is gebleken dat de inzet van open source kunstmatige intelligentie (AI) een enorme “onbeheerde, publiekelijk toegankelijke laag van AI-computerinfrastructuur” heeft gecreëerd die 175.000 unieke Ollama-hosts in 130 landen omvat.
Deze systemen, die zowel cloud- als residentiële netwerken over de hele wereld omvatten, opereren buiten de vangrails en monitoringsystemen die platformaanbieders standaard implementeren, aldus het bedrijf. Het overgrote deel van de uitzettingen bevindt zich in China, goed voor iets meer dan 30%. De landen met de grootste infrastructuurvoetafdruk zijn de VS, Duitsland, Frankrijk, Zuid-Korea, India, Rusland, Singapore, Brazilië en het VK
“Bijna de helft van de waargenomen hosts is geconfigureerd met tool-calling-mogelijkheden waarmee ze code kunnen uitvoeren, toegang hebben tot API’s en kunnen communiceren met externe systemen, wat de toenemende implementatie van LLM’s in grotere systeemprocessen aantoont”, voegden onderzoekers Gabriel Bernadett-Shapiro en Silas Cutler eraan toe.
Ollama is een open-sourceframework waarmee gebruikers eenvoudig grote taalmodellen (LLM’s) lokaal kunnen downloaden, uitvoeren en beheren op Windows, macOS en Linux. Hoewel de service standaard bindt aan het localhost-adres op 127.0.0(.)1:11434, is het mogelijk om deze aan het openbare internet bloot te stellen door middel van een triviale verandering: configureren om te binden aan 0.0.0(.)0 of een openbare interface.
Het feit dat Ollama, net als de onlangs populaire Moltbot (voorheen Clawdbot), lokaal wordt gehost en buiten de beveiligingsperimeter van de onderneming opereert, brengt nieuwe beveiligingsproblemen met zich mee. Dit vereist op zijn beurt nieuwe benaderingen om onderscheid te maken tussen beheerde en onbeheerde AI-computers, aldus de onderzoekers.
Van de geobserveerde hosts maakt meer dan 48% reclame voor het aanroepen van tools via hun API-eindpunten die, wanneer ze worden bevraagd, metagegevens retourneren die de functionaliteiten benadrukken die ze ondersteunen. Tool calling (of function calling) is een mogelijkheid waarmee LLM’s kunnen communiceren met externe systemen, API’s en databases, waardoor ze hun mogelijkheden kunnen vergroten of realtime gegevens kunnen ophalen.
“De mogelijkheden voor het aanroepen van tools veranderen het dreigingsmodel fundamenteel. Een eindpunt voor het genereren van tekst kan schadelijke inhoud produceren, maar een eindpunt met een tool kan geprivilegieerde bewerkingen uitvoeren”, merkten de onderzoekers op. “In combinatie met onvoldoende authenticatie en netwerkblootstelling creëert dit wat volgens ons het ernstigste risico in het ecosysteem is.”
De analyse heeft ook hosts geïdentificeerd die verschillende modaliteiten ondersteunen die verder gaan dan tekst, inclusief redeneer- en visiemogelijkheden, waarbij 201 hosts ongecensureerde promptsjablonen gebruiken die veiligheidsbarrières verwijderen.
De blootgestelde aard van deze systemen betekent dat ze vatbaar kunnen zijn voor LLMjacking, waarbij de LLM-infrastructuurbronnen van een slachtoffer door slechte actoren in hun voordeel worden misbruikt, terwijl het slachtoffer de rekening betaalt. Deze kunnen variëren van het genereren van spam-e-mails en desinformatiecampagnes tot het delven van cryptocurrency en zelfs het doorverkopen van toegang aan andere criminele groepen.
Het risico is niet theoretisch. Volgens een rapport dat deze week door Pillar Security is gepubliceerd, richten bedreigingsactoren zich actief op blootgestelde LLM-service-eindpunten om geld te verdienen met de toegang tot de AI-infrastructuur als onderdeel van een LLMjacking-campagne genaamd Operation Bizarre Bazaar.
De bevindingen wijzen op een criminele dienst die drie componenten bevat: het systematisch scannen van het internet op blootgestelde Ollama-instanties, vLLM-servers en OpenAI-compatibele API’s die zonder authenticatie draaien, het valideren van de eindpunten door de responskwaliteit te beoordelen, en het commercialiseren van de toegang tegen gereduceerde tarieven door deze te adverteren op silver(.)inc, dat opereert als een Unified LLM API Gateway.
“Deze end-to-end-operatie – van verkenning tot commerciële wederverkoop – vertegenwoordigt de eerste gedocumenteerde LLMjacking-marktplaats met volledige toeschrijving”, aldus onderzoekers Eilon Cohen en Ariel Fogel. De operatie is terug te voeren op een bedreigingsacteur genaamd Hecker (ook bekend als Sakuya en LiveGamer101).
De gedecentraliseerde aard van het blootgestelde Ollama-ecosysteem, dat verspreid is over cloud- en woonomgevingen, creëert hiaten in het bestuur en creëert nieuwe mogelijkheden voor snelle injecties en het proxyeren van kwaadaardig verkeer via de slachtofferinfrastructuur.
“Het residentiële karakter van een groot deel van de infrastructuur compliceert traditioneel bestuur en vereist nieuwe benaderingen die onderscheid maken tussen beheerde cloudimplementaties en gedistribueerde edge-infrastructuur”, aldus de bedrijven. “Voor verdedigers is de belangrijkste conclusie dat LLM’s steeds vaker aan de rand worden ingezet om instructies in acties te vertalen. Als zodanig moeten ze worden behandeld met dezelfde authenticatie, monitoring en netwerkcontroles als andere extern toegankelijke infrastructuur.”
