Cybersecurity-onderzoekers hebben een kritieke beveiligingsfout ontdekt in een kunstmatige intelligentie (AI)-as-a-service provider Replicate, waardoor bedreigingsactoren toegang hadden kunnen krijgen tot bedrijfseigen AI-modellen en gevoelige informatie.
“Exploitatie van dit beveiligingslek zou ongeautoriseerde toegang tot de AI-prompts en resultaten van alle platformklanten van Replicate mogelijk hebben gemaakt”, zei cloudbeveiligingsbedrijf Wiz in een rapport dat deze week werd gepubliceerd.
Het probleem komt voort uit het feit dat AI-modellen doorgaans zijn verpakt in formaten die het uitvoeren van willekeurige code mogelijk maken, die een aanvaller zou kunnen gebruiken om cross-tenant-aanvallen uit te voeren door middel van een kwaadaardig model.
Replicate maakt gebruik van een open-source tool genaamd Cog om machine learning-modellen te containeriseren en te verpakken, die vervolgens kunnen worden ingezet in een zelf-gehoste omgeving of om te repliceren.
Wiz zei dat het een frauduleuze Cog-container had gemaakt en deze naar Replicate had geüpload, om deze uiteindelijk te gebruiken om op afstand code uit te voeren op de infrastructuur van de dienst met verhoogde rechten.
“We vermoeden dat deze techniek voor het uitvoeren van code een patroon is waarbij bedrijven en organisaties AI-modellen van onbetrouwbare bronnen gebruiken, ook al zijn deze modellen code die mogelijk schadelijk kan zijn”, aldus beveiligingsonderzoekers Shir Tamari en Sagi Tzadik.
De door het bedrijf bedachte aanvalstechniek maakte vervolgens gebruik van een reeds bestaande TCP-verbinding die was gekoppeld aan een Redis-serverinstantie binnen het Kubernetes-cluster dat op het Google Cloud Platform werd gehost om willekeurige opdrachten te injecteren.
Bovendien kan de gecentraliseerde Redis-server worden gebruikt als wachtrij voor het beheren van meerdere klantverzoeken en hun reacties. Deze kan worden misbruikt om cross-tenant-aanvallen mogelijk te maken door met het proces te knoeien en frauduleuze taken in te voegen die de resultaten van andere klanten kunnen beïnvloeden. modellen van klanten.
Deze malafide manipulaties vormen niet alleen een bedreiging voor de integriteit van de AI-modellen, maar brengen ook aanzienlijke risico’s met zich mee voor de nauwkeurigheid en betrouwbaarheid van AI-gestuurde resultaten.
“Een aanvaller had de privé-AI-modellen van klanten kunnen ondervragen, waardoor mogelijk bedrijfseigen kennis of gevoelige gegevens die betrokken zijn bij het modeltrainingsproces aan het licht zijn gekomen”, aldus de onderzoekers. “Bovendien zou het onderscheppen van aanwijzingen gevoelige gegevens kunnen hebben blootgelegd, waaronder persoonlijk identificeerbare informatie (PII).
De tekortkoming, die in januari 2024 op verantwoorde wijze bekend werd gemaakt, is inmiddels verholpen door Replicate. Er is geen bewijs dat de kwetsbaarheid in het wild is misbruikt om klantgegevens in gevaar te brengen.
De onthulling komt iets meer dan een maand nadat Wiz de nu gepatchte risico's op platforms zoals Hugging Face heeft gedetailleerd, waardoor bedreigingsactoren hun privileges kunnen escaleren, cross-tenant toegang kunnen krijgen tot de modellen van andere klanten en zelfs de continue integratie en continue implementatie kunnen overnemen. (CI/CD)-pijpleidingen.
“Kwaadaardige modellen vormen een groot risico voor AI-systemen, vooral voor AI-as-a-service providers, omdat aanvallers deze modellen kunnen gebruiken om cross-tenant aanvallen uit te voeren”, concludeerden de onderzoekers.
“De potentiële impact is verwoestend, omdat aanvallers mogelijk toegang kunnen krijgen tot de miljoenen particuliere AI-modellen en apps die zijn opgeslagen bij AI-as-a-Service-providers.”
