Microsoft heeft twee nieuwe open-sourcetools onthuld, genaamd WAL En Helderheid om ontwikkelaars te helpen bij het beter testen van de beveiliging van kunstmatige intelligentie (AI) agenten.
RAMPART, een afkorting van Risk Assessment and Measurement Platform for Agentic Red Teaming, functioneert als een Pytest-native veiligheids- en beveiligingstestframework voor het schrijven en uitvoeren van veiligheids- en beveiligingstests voor AI-agenten, die zowel vijandige als goedaardige kwesties bestrijken, evenals verschillende schadecategorieën.
Gebruikers kunnen testcases schrijven om een AI-agent aan te vallen of te onderzoeken om mogelijke veiligheidsschendingen te onderzoeken, zoals cross-prompt-injecties, waarbij niet-vertrouwde gegevens indirect een AI-systeem bereiken via een gegevensbron (bijvoorbeeld e-mail, bestand of een webpagina) die erdoor wordt verwerkt, of onbedoelde gedragsregressies en gegevensexfiltratie.
RAMPART evalueert vervolgens de uitkomst van die tests en rapporteert de resultaten. Het enige dat nodig is, is een adapter die een agent met de testsuite verbindt. De tool bouwt voort op PyRIT (afkorting van Python Risk Identification Tool), die Microsoft ruim twee jaar geleden uitbracht als een manier om AI-systemen te testen.
Clarity daarentegen wordt door de technologiegigant beschreven als een ‘gestructureerd klankbord’ om ontwikkelaars te helpen de juiste aanpak te vinden, zelfs voordat ze ook maar één regel code schrijven. Het is een ‘AI-denkende partner die terugduwt’ en hen begeleidt bij het verduidelijken van problemen, het verkennen van oplossingen, het analyseren van fouten en het volgen van beslissingen.
Door deze tools publiekelijk vrij te geven, zei Microsoft dat het de bedoeling is om aan te pakken waarom bepaalde beslissingen in een vroeg stadium van de softwareontwikkeling worden opgenomen, zodat elk potentieel probleem – bijvoorbeeld de toegang van een agent tot een tool – wordt aangepakt lang voordat het systeem wordt gebouwd.
“We wilden productmanagers en ingenieurs een manier geven om hun aannames aan het begin van een project onder druk te zetten, wanneer het veranderen van koers goedkoop is en het juiste gesprek maandenlang herwerk kan besparen”, zei Ram Shankar Siva Kumar, een Data Cowboy en oprichter van Microsoft’s AI Red Team, in een blog gedeeld met The Hacker News.
Microsoft merkte op dat een secundaire motivatie achter het investeren in deze tools is om incidenten reproduceerbaar te maken en oplossingen verifieerbaar te maken en de lessen uit red teaming-oefeningen te schalen door ze om te zetten in bruikbare technische middelen.
“Waar PyRIT is geoptimaliseerd voor het ontdekken van black-boxen door beveiligingsonderzoekers nadat het systeem is gebouwd, wordt RAMPART gebouwd voor ingenieurs terwijl het systeem wordt gebouwd”, voegde Siva Kumar eraan toe. “Clarity helpt teams de ontwerpintentie te verduidelijken en aannames vast te leggen. Samen verplaatsen deze benaderingen AI-veiligheid van een eenmalige beoordeling naar een reeks levende artefacten die ontwikkelaars gedurende de hele levenscyclus kunnen gebruiken.”
