Cybersecurity-onderzoekers hebben ontdekt dat het mogelijk is om de conversieservice van Hugging Face Safetensors te compromitteren om uiteindelijk de door gebruikers ingediende modellen te kapen en te resulteren in aanvallen op de toeleveringsketen.
“Het is mogelijk om kwaadaardige pull-requests met door de aanvaller gecontroleerde gegevens van de Hugging Face-service naar elke repository op het platform te sturen, en om modellen te kapen die via de conversieservice worden ingediend”, zei HiddenLayer in een rapport dat vorige week werd gepubliceerd.
Dit kan op zijn beurt worden bereikt met behulp van een gekaapt model dat door de service moet worden geconverteerd, waardoor kwaadwillende actoren wijzigingen in elke repository op het platform kunnen aanvragen door zich voor te doen als de conversiebot.
Hugging Face is een populair samenwerkingsplatform waarmee gebruikers vooraf getrainde machine learning-modellen en datasets kunnen hosten, maar ook kunnen bouwen, implementeren en trainen.
Safetensors is een formaat dat door het bedrijf is bedacht om tensors op te slaan met het oog op de veiligheid, in tegenstelling tot augurken, dat waarschijnlijk door bedreigingsactoren is bewapend om willekeurige code uit te voeren en Cobalt Strike-, Mythic- en Metasploit-stagers in te zetten.
Het wordt ook geleverd met een conversieservice waarmee gebruikers elk PyTorch-model (dwz augurk) via een pull-verzoek kunnen converteren naar het Safetensor-equivalent.
Uit de analyse van deze module door HiddenLayer is gebleken dat het hypothetisch mogelijk is dat een aanvaller de gehoste conversieservice kan kapen met behulp van een kwaadaardig PyTorch-binair bestand en het systeem dat deze host, in gevaar kan brengen.
Bovendien kan het token dat is gekoppeld aan SFConvertbot – een officiële bot die is ontworpen om het pull-verzoek te genereren – worden geëxfiltreerd om een kwaadaardig pull-verzoek naar een willekeurige opslagplaats op de site te sturen, wat leidt tot een scenario waarin een bedreigingsacteur met het model zou kunnen knoeien en het zou kunnen implanteren. neurale achterdeurtjes.
“Een aanvaller kan elke willekeurige code uitvoeren wanneer iemand probeert zijn model te converteren”, merkten onderzoekers Eoin Wickens en Kasimir Schulz op. “Zonder enige indicatie voor de gebruiker zelf, zouden hun modellen bij conversie kunnen worden gekaapt.”
Als een gebruiker probeert zijn eigen privérepository te converteren, kan de aanval de weg vrijmaken voor de diefstal van zijn Hugging Face-token, toegang krijgen tot anders interne modellen en datasets en deze zelfs vergiftigen.
Wat de zaken nog ingewikkelder maakt, is dat een tegenstander misbruik kan maken van het feit dat elke gebruiker een conversieverzoek voor een openbare opslagplaats kan indienen om een veelgebruikt model te kapen of te wijzigen, wat mogelijk kan resulteren in een aanzienlijk risico voor de toeleveringsketen.
“Ondanks de beste bedoelingen om machine learning-modellen in het Hugging Face-ecosysteem veilig te stellen, is de conversiedienst kwetsbaar gebleken en heeft het potentieel om een wijdverbreide supply chain-aanval te veroorzaken via de officiële dienst van Hugging Face”, aldus de onderzoekers.
“Een aanvaller zou voet aan de grond kunnen krijgen in de container waarop de dienst draait en elk model dat door de dienst is geconverteerd, in gevaar kunnen brengen.”
De ontwikkeling komt iets meer dan een maand nadat Trail of Bits LeftoverLocals (CVE-2023-4969, CVSS-score: 6,5) heeft onthuld, een kwetsbaarheid die herstel van gegevens van Apple, Qualcomm, AMD en Imagination algemene grafische verwerkingseenheden mogelijk maakt ( GPGPU’s).
De geheugenlekfout, die voortkomt uit het onvermogen om procesgeheugen adequaat te isoleren, stelt een lokale aanvaller in staat geheugen uit andere processen te lezen, inclusief de interactieve sessie van een andere gebruiker met een groot taalmodel (LLM).
“Dit datalekken kan ernstige gevolgen hebben voor de veiligheid, vooral gezien de opkomst van ML-systemen, waarbij lokaal geheugen wordt gebruikt om modelinvoer, -uitvoer en gewichten op te slaan”, aldus beveiligingsonderzoekers Tyler Sorensen en Heidy Khlaaf.
