Kunstmatige intelligentie (AI)-bedrijf Anthropic onthulde dat zijn nieuwste grote taalmodel (LLM), Claude Opus 4.6, meer dan 500 voorheen onbekende, zeer ernstige beveiligingsfouten heeft gevonden in open-sourcebibliotheken, waaronder Ghostscript, OpenSC en CGIF.
Claude Opus 4.6, dat donderdag werd gelanceerd, wordt geleverd met verbeterde codeervaardigheden, waaronder mogelijkheden voor codebeoordeling en foutopsporing, samen met verbeteringen aan taken als financiële analyses, onderzoek en het maken van documenten.
Anthropic stelt dat het model “aanzienlijk beter” is in het ontdekken van zeer ernstige kwetsbaarheden zonder dat hiervoor taakspecifieke tools, aangepaste steigers of gespecialiseerde aanwijzingen nodig zijn. Anthropic zegt dat het het gaat gebruiken om kwetsbaarheden in open-sourcesoftware te vinden en te helpen oplossen.
“Opus 4.6 leest en redeneert over code op de manier waarop een menselijke onderzoeker dat zou doen: kijken naar oplossingen uit het verleden om vergelijkbare bugs te vinden die niet zijn aangepakt, patronen ontdekken die de neiging hebben problemen te veroorzaken, of een stukje logica goed genoeg begrijpen om precies te weten welke input het zou breken”, voegde het eraan toe.
Voorafgaand aan zijn debuut heeft het Frontier Red Team van Anthropic het model getest in een gevirtualiseerde omgeving en het de nodige tools gegeven, zoals debuggers en fuzzers, om fouten in open-sourceprojecten te vinden. Het idee, zo luidde het, was om de kant-en-klare mogelijkheden van het model te beoordelen zonder instructies te geven over het gebruik van deze tools of informatie te verstrekken die het model zou kunnen helpen de kwetsbaarheden beter te signaleren.
Het bedrijf zei ook dat het elke ontdekte fout valideerde om er zeker van te zijn dat deze niet verzonnen was (dwz gehallucineerd), en dat de LLM werd gebruikt als een hulpmiddel om prioriteit te geven aan de ernstigste geïdentificeerde kwetsbaarheden voor geheugencorruptie.
Enkele van de beveiligingsfouten die door Claude Opus 4.6 zijn opgemerkt, worden hieronder vermeld. Ze zijn inmiddels gepatcht door de respectievelijke beheerders.
- Het parseren van de Git commit-geschiedenis om een kwetsbaarheid in Ghostscript te identificeren die tot een crash zou kunnen leiden door gebruik te maken van een ontbrekende grenzencontrole
- Zoeken naar functieaanroepen zoals strrchr() en strcat() om een kwetsbaarheid voor bufferoverloop in OpenSC te identificeren
- Een kwetsbaarheid voor heapbufferoverloop in CGIF (opgelost in versie 0.5.1)
“Deze kwetsbaarheid is vooral interessant omdat het activeren ervan een conceptueel begrip vereist van het LZW-algoritme en hoe het zich verhoudt tot het GIF-bestandsformaat”, zei Anthropic over de CGIF-bug. “Traditionele fuzzers (en zelfs door dekking geleide fuzzers) hebben moeite om dit soort kwetsbaarheden te activeren, omdat ze een specifieke keuze van branches vereisen.”
“Zelfs als CGIF 100% lijn- en filiaaldekking zou hebben, zou deze kwetsbaarheid nog steeds onopgemerkt kunnen blijven: het vereist een zeer specifieke reeks handelingen.”
Het bedrijf heeft AI-modellen zoals Claude ingezet als een cruciaal hulpmiddel voor verdedigers om ‘het speelveld gelijk te maken’. Maar het benadrukte ook dat het zijn veiligheidsmaatregelen zal aanpassen en bijwerken zodra potentiële bedreigingen worden ontdekt, en dat het extra vangrails zal opzetten om misbruik te voorkomen.
De onthulling komt weken nadat Anthropic zei dat de huidige Claude-modellen kunnen slagen in meerfasige aanvallen op netwerken met tientallen hosts die alleen standaard, open-source tools gebruiken door bekende beveiligingsfouten te vinden en te exploiteren.
“Dit illustreert hoe de barrières voor het gebruik van AI in relatief autonome cyberworkflows snel afnemen, en benadrukt het belang van fundamentele beveiligingskwesties, zoals het snel patchen van bekende kwetsbaarheden”, aldus het rapport.
