Cybersecurityonderzoekers waarschuwen voor de beveiligingsrisico’s in de toeleveringsketen van machine learning (ML)-software. Dit komt nadat er meer dan 20 kwetsbaarheden zijn ontdekt die kunnen worden misbruikt om MLOps-platforms aan te vallen.
Deze kwetsbaarheden, die worden beschreven als inherente en implementatiegebaseerde fouten, kunnen ernstige gevolgen hebben, variërend van willekeurige code-uitvoering tot het laden van schadelijke datasets.
MLOps-platforms bieden de mogelijkheid om een ML-modelpijplijn te ontwerpen en uit te voeren, met een modelregister dat fungeert als een opslagplaats die wordt gebruikt om ML-modellen met versietraining op te slaan. Deze modellen kunnen vervolgens worden ingebed in een applicatie of andere clients toestaan om ze te bevragen met behulp van een API (ook bekend als model-as-a-service).
“Inherente kwetsbaarheden zijn kwetsbaarheden die worden veroorzaakt door de onderliggende formaten en processen die worden gebruikt in de doeltechnologie”, aldus onderzoekers van JFrog in een gedetailleerd rapport.
Enkele voorbeelden van inherente kwetsbaarheden zijn het misbruiken van ML-modellen om code uit te voeren die de aanvaller kiest. Hierbij wordt gebruikgemaakt van het feit dat modellen automatische code-uitvoering ondersteunen bij het laden (bijvoorbeeld Pickle-modelbestanden).
Dit gedrag geldt ook voor bepaalde datasetformaten en bibliotheken, die automatische uitvoering van code mogelijk maken. Hierdoor wordt de deur geopend voor malware-aanvallen wanneer een openbaar beschikbare dataset wordt geladen.
Een ander voorbeeld van inherente kwetsbaarheid betreft JupyterLab (voorheen Jupyter Notebook), een op internet gebaseerde, interactieve computeromgeving waarmee gebruikers blokken (of cellen) met code kunnen uitvoeren en de bijbehorende resultaten kunnen bekijken.
“Een inherent probleem waar velen niet van op de hoogte zijn, is de verwerking van HTML-uitvoer bij het uitvoeren van codeblokken in Jupyter,” merkten de onderzoekers op. “De uitvoer van uw Python-code kan HTML en (JavaScript) uitzenden, die met plezier door uw browser worden weergegeven.”
Het probleem hierbij is dat het JavaScript-resultaat, wanneer het wordt uitgevoerd, niet in een sandbox van de bovenliggende webapplicatie wordt geplaatst en dat de bovenliggende webapplicatie automatisch willekeurige Python-code kan uitvoeren.
Met andere woorden, een aanvaller kan een kwaadaardige JavaScript-code uitvoeren, zodat deze een nieuwe cel toevoegt aan het huidige JupyterLab-notebook, Python-code erin injecteert en deze vervolgens uitvoert. Dit is met name het geval in gevallen waarin een cross-site scripting (XSS)-kwetsbaarheid wordt misbruikt.
JFrog heeft daarom een XSS-fout in MLFlow (CVE-2024-27132, CVSS-score: 7,5) geïdentificeerd die voortkomt uit een gebrek aan voldoende opschoning bij het uitvoeren van een niet-vertrouwd recept, wat resulteert in client-side code-uitvoering in JupyterLab.
“Een van de belangrijkste conclusies die we uit dit onderzoek hebben getrokken, is dat we alle XSS-kwetsbaarheden in ML-bibliotheken moeten behandelen als potentiële willekeurige code-uitvoering, aangezien datawetenschappers deze ML-bibliotheken mogelijk gebruiken met Jupyter Notebook”, aldus de onderzoekers.
De tweede reeks fouten heeft betrekking op zwakke plekken in de implementatie, zoals het ontbreken van authenticatie in MLOps-platforms, waardoor een kwaadwillende actor met netwerktoegang mogelijk code-uitvoeringsmogelijkheden kan verkrijgen door misbruik te maken van de ML Pipeline-functie.
Deze bedreigingen zijn niet theoretisch, maar worden door financieel gemotiveerde tegenstanders misbruikt om cryptovaluta-miners in te zetten, zoals bleek uit het ongepatchte Anyscale Ray (CVE-2023-48022, CVSS-score: 9,8).
Een tweede type implementatiekwetsbaarheid is een container-escape gericht op Seldon Core. Hiermee kunnen aanvallers verder gaan dan de uitvoering van code en zich lateraal door de cloudomgeving verplaatsen en toegang krijgen tot modellen en datasets van andere gebruikers door een schadelijk model te uploaden naar de inferentieserver.
Het eindresultaat van het aaneenrijgen van deze kwetsbaarheden is dat ze niet alleen als wapen kunnen worden ingezet om een organisatie te infiltreren en zich daar te verspreiden, maar ook om servers te compromitteren.
“Als je een platform implementeert dat modelserving toestaat, moet je nu weten dat iedereen die een nieuw model kan serveren, ook daadwerkelijk willekeurige code op die server kan uitvoeren,” aldus de onderzoekers. “Zorg ervoor dat de omgeving waarin het model draait volledig geïsoleerd is en gehard tegen een container-escape.”
De onthulling volgt op de bekendmaking van Palo Alto Networks Unit 42 waarin twee inmiddels gepatchte kwetsbaarheden in het open-source generatieve AI-framework LangChain (CVE-2023-46229 en CVE-2023-44467) worden beschreven. Deze kwetsbaarheden zouden aanvallers respectievelijk in staat kunnen stellen willekeurige code uit te voeren en toegang te krijgen tot gevoelige gegevens.
Vorige maand onthulde Trail of Bits ook vier problemen met Ask Astro, een open-source chatbot-applicatie met retrieval augmented generation (RAG), die kunnen leiden tot vergiftiging van de chatbotuitvoer, onjuiste documentinvoer en mogelijke denial-of-service (DoS).
Terwijl beveiligingsproblemen aan het licht komen in toepassingen die draaien op kunstmatige intelligentie, worden er ook technieken ontwikkeld om trainingsdatasets te vergiftigen met als uiteindelijk doel om grote taalmodellen (LLM’s) ertoe te verleiden kwetsbare code te produceren.
“In tegenstelling tot recente aanvallen waarbij schadelijke payloads werden ingesloten in detecteerbare of irrelevante delen van de code (bijvoorbeeld opmerkingen), maakt CodeBreaker gebruik van LLM’s (bijvoorbeeld GPT-4) voor geavanceerde payloadtransformatie (zonder de functionaliteit te beïnvloeden). Zo wordt ervoor gezorgd dat zowel de vergiftigde gegevens voor finetuning als de gegenereerde code detectie van sterke kwetsbaarheden kunnen omzeilen”, aldus een groep academici van de Universiteit van Connecticut.
