Grote taalmodellen (LLM’s) die tegenwoordig de hulpmiddelen voor kunstmatige intelligentie (AI) aandrijven, kunnen worden misbruikt om zichzelf versterkende malware te ontwikkelen die de YARA-regels kan omzeilen.
“Generatieve AI kan worden gebruikt om op strings gebaseerde YARA-regels te omzeilen door de broncode van kleine malwarevarianten uit te breiden, waardoor de detectiepercentages effectief worden verlaagd”, aldus Recorded Future in een nieuw rapport gedeeld met The Hacker News.
De bevindingen maken deel uit van een red teaming-oefening die is ontworpen om kwaadaardige gebruiksscenario’s voor AI-technologieën bloot te leggen, waarmee al wordt geëxperimenteerd door bedreigingsactoren om malwarecodefragmenten te creëren, phishing-e-mails te genereren en verkenningen uit te voeren op potentiële doelen.
Het cyberbeveiligingsbedrijf zei dat het naast de YARA-regels een bekend stuk malware met de naam STEELHOOK had ingediend bij een LLM, genaamd STEELHOOK, dat is geassocieerd met de APT28-hackgroep, en vroeg het om de broncode te wijzigen om detectie te omzeilen, zodat de oorspronkelijke functionaliteit intact bleef en de gegenereerde broncode was syntactisch vrij van fouten.
Gewapend met dit feedbackmechanisme maakte de gewijzigde malware die door de LLM werd gegenereerd het mogelijk om detecties van eenvoudige, op tekenreeksen gebaseerde YARA-regels te voorkomen.
Er zijn beperkingen aan deze aanpak, waarvan de meest opvallende de hoeveelheid tekst is die een model in één keer als invoer kan verwerken, wat het moeilijk maakt om op grotere codebases te werken.
Naast het aanpassen van malware om onder de radar te blijven, kunnen dergelijke AI-tools worden gebruikt om deepfakes te creëren waarin senior executives en leiders worden nagebootst en om invloedsoperaties uit te voeren die legitieme websites op grote schaal nabootsen.
Bovendien wordt verwacht dat generatieve AI het vermogen van dreigingsactoren zal versnellen om verkenningen uit te voeren van kritieke infrastructuurvoorzieningen en informatie te verzamelen die van strategisch nut kan zijn bij vervolgaanvallen.
“Door gebruik te maken van multimodale modellen kunnen openbare afbeeldingen en video’s van ICS en productieapparatuur, naast luchtbeelden, worden geparseerd en verrijkt om aanvullende metadata te vinden, zoals geolocatie, apparatuurfabrikanten, modellen en softwareversiebeheer”, aldus het bedrijf.
Microsoft en OpenAI waarschuwden vorige maand zelfs dat APT28 LLM’s gebruikte om “satellietcommunicatieprotocollen, radarbeeldvormingstechnologieën en specifieke technische parameters te begrijpen”, wat duidt op inspanningen om “diepgaande kennis van satellietmogelijkheden te verwerven”.
Het wordt aanbevolen dat organisaties openbaar toegankelijke afbeeldingen en video’s van gevoelige apparatuur nauwkeurig onderzoeken en deze indien nodig verwijderen om de risico’s van dergelijke bedreigingen te beperken.
De ontwikkeling komt omdat een groep academici heeft ontdekt dat het mogelijk is om door LLM aangedreven tools te jailbreaken en schadelijke inhoud te produceren door invoer door te geven in de vorm van ASCII-kunst (bijvoorbeeld ‘hoe bouw je een bom’, waarbij het woord BOMB wordt geschreven met behulp van tekens “*” en spaties).
De praktische aanval, genaamd ArtPrompt, wapent “de slechte prestaties van LLM’s bij het herkennen van ASCII-kunst om veiligheidsmaatregelen te omzeilen en ongewenst gedrag van LLM’s uit te lokken.”
