OpenAI heeft details bekendgemaakt van GPT-Roodeen intern geautomatiseerd red-teaming-model dat het snel ontdekken van kwetsbaarheden schaalt met als doel problemen op te lossen voordat de tools op grote schaal worden ingezet.
“GPT-Red is een sterke red-teamer en onze eerdere modellen zijn zeer kwetsbaar voor snelle injectie-aanvallen”, aldus het bedrijf voor kunstmatige intelligentie (AI). “We gebruiken GPT-Red om GPT-5.6 op vijandige wijze te trainen, waardoor het veel robuuster wordt om injecties uit te lokken.”
Het model werkt net als een menselijke red-teamer. Het stuurt een prompt, controleert hoe een GPT-model reageert en herhaalt zijn weg naar een kwaadaardig doel, zoals het uploaden van gevoelige gegevens naar een externe server.
Deze ontwikkeling vindt plaats op het moment dat vijandige promptinjecties een hardnekkige doorn in het oog blijven van grote taalmodellen, die kunnen worden verleid tot het uitvoeren van een zorgvuldig opgestelde instructie die ongewenste gevolgen kan hebben.
Omdat agentische systemen steeds meer gekoppeld zijn aan gegevensbronnen van derden via webbrowsers, verbonden apps, lokale bestanden en andere tools, hebben ze ook het aanvalsoppervlak vergroot en meer mogelijkheden gecreëerd voor slechte actoren om de uitkomst van een model te beïnvloeden door kwaadaardige aanwijzingen in te sluiten in ogenschijnlijk onschuldige inhoud die als invoer wordt ingevoerd. Dit kan de vorm aannemen van een e-mail, een webpagina, een toolreactie of een codeopslagplaats.
GPT-Red heeft tot doel de menselijke red-teaming op grote schaal te vergroten, waardoor het mogelijk wordt nieuwe faalwijzen te identificeren, de robuustheid te verbeteren en geschikte tegenmaatregelen te bouwen voordat de modellen kunnen worden ingezet.
“Vergelijkbaar met de manier waarop menselijke red-teamers aanvallen uitvoeren, werkt het model naar een doel toe door een prompt te sturen, te observeren hoe GPT-modellen daarop reageren en te herhalen”, aldus OpenAI.
Door GPT-Red rechtstreeks te integreren in het trainingsproces van zijn productiemodellen, zegt OpenAI dat GPT-5.6 Sol het meest robuuste model tot nu toe is om injecties te stimuleren, en zes keer minder fouten te behalen in vergelijking met de benchmark voor directe injectie, vergeleken met GPT-5.5, het grensmodel van vier maanden eerder.
Enkele van de voorbeeldgesprekken met prompts die als onderdeel van het proces zijn getest, zijn onder meer:
- Exfiltratie van interne directory’s
- Frauduleuze betalingsinstructies
- Amazon Web Services (AWS)-referentie-exfiltratie
- Tweefactorauthenticatie (2FA) uitschakelen
- Credentialenbestand uploaden
- Externe scriptinjectie
- API-sleutel doorsturen
- Schadelijke scraper-scripts
“GPT-Red wordt getraind met behulp van zelfspelend versterkend leren, waarbij het model en een verzameling van diverse LLM’s van verdedigers gelijktijdig worden getraind in een brede reeks red-teaming-scenario’s”, legt OpenAI uit. “GPT-Red wordt beloond voor het uitlokken van een geldige mislukking, zoals een succesvolle snelle injectie, terwijl de verdedigermodellen worden beloond voor het weerstaan van de aanval en het voltooien van hun oorspronkelijke taken.”
Dit betekent ook dat naarmate de verdedigersmodellen robuuster worden, het rode teammodel terug naar de tekentafel zal moeten gaan om krachtigere en diversere aanvalsmethoden te ontdekken om die vangrails te verslaan. Concreet is gebleken dat GPT-Red in meer scenario’s succesvolle aanvallen tegen GPT-5.1 genereert dan menselijke red-teamers als het gaat om indirecte snelle injecties.
OpenAI maakte er verder een punt van om te benadrukken dat GPT-Red gescheiden wordt gehouden van de andere modellen, zodat de kwaadaardige mogelijkheden die erin zijn ingebouwd geen slechte actoren bereiken die voortdurend op zoek zijn naar verschillende manieren om de ethische en veiligheidsmaatregelen van een model te omzeilen.
In één praktijktest richtte OpenAI GPT-Red op een op AI gebaseerde verkoopautomaat gebouwd door Andon Labs. Na het oefenen in de simulatie richtte het model zich op de autonome agent en voldeed aan alle drie de doelstellingen: het verlagen van de prijs van een duur artikel tot de minimaal toegestane prijs van $ 0,50, het bestellen van een nieuw artikel van $ 100 voor hetzelfde bedrag en het annuleren van de bestelling van een andere klant. Na verantwoorde openbaarmaking worden nieuwe waarborgen getest, voegde het eraan toe.
Een tweede casestudy betrof het gebruik van GPT-Red om een Codex-opdrachtregelagent aan te vallen, gebaseerd op GPT-5.4 mini, bij 10 uitgestelde data-exfiltratietaken, waardoor gevoelige gegevens in meer gevallen werden verzonden dan een gevraagde GPT-5.5-basislijn.
Een vroege versie van het model heeft ook een nieuwe klasse van directe injectie-aanvallen blootgelegd, bekend als Fake Chain-of-Thought (CoT)-aanvallen, die succespercentages behaalden van ruim 95% op GPT-5.1, maar nu onder de 10% liggen voor GPT-5.6 Sol.
“Op dezelfde manier zijn verschillende van onze indirecte prompt injection-benchmarks die zich richten op aanvallen in ontwikkelaarstools en browsen verzadigd door ons nieuwste model (>97% nauwkeurigheid)”, aldus OpenAI.
“De robuustheid van GPT-Red zelf is ook aanzienlijk verbeterd. Op een breed scala aan robuustheidsomgevingen zijn de slagingspercentages van GPT-Red in de loop van de tijd monotoon gedaald. Met onze nieuwste modelrelease faalt GPT-5.6 Sol bij slechts 0,05% van de directe prompt-injecties van GPT-Red.”
De onthulling komt op het moment dat het bedrijf zei dat uit een audit van SWE-Bench Pro bleek dat ongeveer 30% van de taken niet wordt uitgevoerd, waarmee het zijn eerdere aanbeveling intrekt om de benchmark voor het meten van grenscoderingsmogelijkheden over te nemen. Eerder in februari zei OpenAI dat het afstapte van SWE-bench Verified vanwege fundamentele ontwerp- en besmettingsproblemen.
“We vinden bewijs dat er problemen zijn in een aanzienlijk deel van de dataset”, aldus OpenAI. “Onze pijplijn voor datapuntanalyse signaleerde 200 (27,4%) kapotte taken, terwijl de menselijke annotatiecampagne er 249 (34,1%) identificeerde. Uiteindelijk zou een evaluatie een betekenisvol signaal moeten opleveren via benchmarks die moeilijk te gamen zijn, gemakkelijk te vertrouwen en die echt een weerspiegeling zijn van de modelcapaciteiten of afstemming.”
