Kwaadwillige actoren kunnen standaardconfiguraties in ServiceNow’s Now Assist-platform voor generatieve kunstmatige intelligentie (AI) misbruiken en de agentische mogelijkheden ervan benutten om snelle injectie-aanvallen uit te voeren.
De tweede-orde promptinjectie maakt volgens AppOmni gebruik van de agent-tot-agent-detectie van Now Assist om ongeautoriseerde acties uit te voeren, waardoor aanvallers gevoelige bedrijfsgegevens kunnen kopiëren en exfiltreren, records kunnen wijzigen en bevoegdheden kunnen escaleren.
“Deze ontdekking is alarmerend omdat het geen bug in de AI is; het is verwacht gedrag zoals gedefinieerd door bepaalde standaardconfiguratieopties”, zegt Aaron Costello, hoofd van SaaS Security Research bij AppOmni.
“Wanneer agenten elkaar kunnen ontdekken en rekruteren, kan een onschuldig verzoek stilletjes uitmonden in een aanval, waarbij criminelen gevoelige gegevens stelen of meer toegang krijgen tot interne bedrijfssystemen. Deze instellingen zijn gemakkelijk over het hoofd te zien.”
De aanval wordt mogelijk gemaakt dankzij de mogelijkheden voor agentdetectie en agent-tot-agent-samenwerking binnen ServiceNow’s Now Assist. Omdat Now Assist de mogelijkheid biedt om functies zoals helpdeskactiviteiten te automatiseren, opent dit scenario de deur voor mogelijke veiligheidsrisico’s.
Een goedaardige agent kan bijvoorbeeld speciaal vervaardigde aanwijzingen ontleden die zijn ingebed in de inhoud waartoe hij toegang heeft, en een krachtigere agent rekruteren om records te lezen of te wijzigen, gevoelige gegevens te kopiëren of e-mails te verzenden, zelfs als ingebouwde bescherming tegen promptinjectie is ingeschakeld.
Het belangrijkste aspect van deze aanval is dat de acties zich achter de schermen afspelen, buiten medeweten van de slachtofferorganisatie. In de kern wordt de communicatie tussen agenten mogelijk gemaakt door beheersbare configuratie-instellingen, waaronder de standaard LLM die moet worden gebruikt, opties voor het instellen van tools en kanaalspecifieke standaardinstellingen waar de agenten worden ingezet –
- Het onderliggende grote taalmodel (LLM) moet agentdetectie ondersteunen (zowel Azure OpenAI LLM als Now LLM, wat de standaardkeuze is, ondersteunen de functie)
- Nu worden Assist-agenten standaard automatisch in hetzelfde team gegroepeerd om elkaar aan te roepen
- Een agent wordt bij publicatie standaard gemarkeerd als vindbaar
Hoewel deze standaardinstellingen nuttig kunnen zijn om de communicatie tussen agenten te vergemakkelijken, kan de architectuur gevoelig zijn voor promptinjecties wanneer een agent wiens voornaamste taak het is om gegevens te lezen die niet door de gebruiker zijn ingevoegd, de agent aanroept.
“Door middel van tweede-orde-prompt-injectie kan een aanvaller een goedaardige taak die aan een onschadelijke agent is toegewezen, omleiden naar iets veel schadelijkers door gebruik te maken van het nut en de functionaliteit van andere agenten in zijn team”, aldus AppOmni.
“Van cruciaal belang is dat Now Assist-agents werken met het privilege van de gebruiker die de interactie is gestart, tenzij anders geconfigureerd, en niet met het privilege van de gebruiker die de kwaadaardige prompt heeft gemaakt en deze in een veld heeft ingevoegd.”
Na verantwoorde bekendmaking zei ServiceNow dat dit gedrag op deze manier bedoeld is, maar het bedrijf heeft sindsdien zijn documentatie bijgewerkt om meer duidelijkheid over de kwestie te bieden. De bevindingen tonen aan dat er behoefte is aan een betere bescherming van AI-agenten, nu bedrijven steeds meer AI-mogelijkheden in hun workflows opnemen.
Om dergelijke directe injectiebedreigingen te beperken, wordt geadviseerd om de bewaakte uitvoeringsmodus voor bevoorrechte agenten te configureren, de autonome override-eigenschap (“sn_aia.enable_usecase_tool_execution_mode_override”) uit te schakelen, de taken van agenten per team te segmenteren en AI-agenten te controleren op verdacht gedrag.
“Als organisaties die de AI-agents van Now Assist gebruiken hun configuraties niet nauwkeurig onderzoeken, lopen ze waarschijnlijk al risico”, voegde Costello eraan toe.
