OpenAI zei woensdag dat het sinds het begin van het jaar meer dan twintig operaties en misleidende netwerken over de hele wereld heeft verstoord die probeerden zijn platform voor kwaadaardige doeleinden te gebruiken.
Deze activiteit omvatte het debuggen van malware, het schrijven van artikelen voor websites, het genereren van biografieën voor sociale media-accounts en het maken van door AI gegenereerde profielfoto’s voor nepaccounts op X.
“Bedreigingsactoren blijven evolueren en experimenteren met onze modellen, maar we hebben geen bewijs gezien dat dit leidt tot betekenisvolle doorbraken in hun vermogen om substantieel nieuwe malware te creëren of een viraal publiek op te bouwen”, aldus het bedrijf voor kunstmatige intelligentie (AI).
Het zei ook dat het de activiteiten verstoorde die sociale media-inhoud genereerden met betrekking tot verkiezingen in de VS, Rwanda en in mindere mate India en de Europese Unie, en dat geen van deze netwerken virale betrokkenheid of een langdurig publiek trok.
Dit omvatte onder meer inspanningen van een Israëlisch commercieel bedrijf genaamd STOIC (ook wel Zero Zeno genoemd) dat commentaar op de sociale media genereerde over de Indiase verkiezingen, zoals eerder dit jaar door Meta en OpenAI werd onthuld.
Enkele van de door OpenAI benadrukte cyberoperaties zijn als volgt:
- SweetSpecter, een vermoedelijk in China gevestigde tegenstander die gebruik maakte van de diensten van OpenAI voor LLM-geïnformeerde verkenning, onderzoek naar kwetsbaarheden, ondersteuning voor scripting, ontwijking van anomaliedetectie en ontwikkeling. Er is ook waargenomen dat er mislukte spearphishing-pogingen zijn ondernomen tegen OpenAI-werknemers om de SugarGh0st RAT te bezorgen.
- Cyber Av3ngers, een groep aangesloten bij de Iraanse Islamitische Revolutionaire Garde (IRGC), gebruikte zijn modellen om onderzoek te doen naar programmeerbare logische controllers.
- Storm-0817, een Iraanse bedreigingsacteur, gebruikte zijn modellen om Android-malware te debuggen die gevoelige informatie kon verzamelen, om Instagram-profielen via Selenium te schrapen en LinkedIn-profielen in het Perzisch te vertalen.
Elders zei het bedrijf dat het stappen heeft ondernomen om verschillende clusters te blokkeren, waaronder een beïnvloedingsoperatie met de codenaam A2Z en Stop News, van accounts die Engels- en Franstalige inhoud genereerden om vervolgens op een aantal websites en sociale-media-accounts op verschillende platforms te worden geplaatst.
“(Stop News) was ongewoon productief in het gebruik van beelden”, aldus onderzoekers Ben Nimmo en Michael Flossman. “Veel van de webartikelen en tweets gingen vergezeld van afbeeldingen die waren gegenereerd met DALL·E. Deze afbeeldingen waren vaak in cartoonstijl en gebruikten heldere kleurenpaletten of dramatische tonen om de aandacht te trekken.”
Twee andere netwerken geïdentificeerd door OpenAI Bet Bot en Corrupt Comment blijken hun API te gebruiken om gesprekken met gebruikers op X te genereren en hen links naar goksites te sturen, en om opmerkingen te maken die vervolgens respectievelijk op X worden gepost.
De onthulling komt bijna twee maanden nadat OpenAI een reeks accounts heeft verboden die verband houden met een Iraanse geheime beïnvloedingsoperatie genaamd Storm-2035, die gebruik maakte van ChatGPT om inhoud te genereren die onder andere gericht was op de komende Amerikaanse presidentsverkiezingen.
“Dreigingsactoren gebruikten onze modellen het vaakst om taken uit te voeren in een specifieke, tussenfase van hun activiteit – nadat ze basisinstrumenten hadden verworven zoals internettoegang, e-mailadressen en sociale media-accounts, maar voordat ze ‘afgewerkte’ producten zoals sociale media in gebruik namen. posts of malware op internet via een reeks distributiekanalen”, schreven Nimmo en Flossman.
Cybersecuritybedrijf Sophos zei in een vorige week gepubliceerd rapport dat generatieve AI kan worden misbruikt om op maat gemaakte desinformatie te verspreiden door middel van microgerichte e-mails.
Dit houdt in dat AI-modellen worden misbruikt om websites voor politieke campagnes, door AI gegenereerde persona’s over het hele politieke spectrum en e-mailberichten die specifiek op hen zijn gericht op basis van de campagnepunten, te verzinnen, waardoor een nieuw niveau van automatisering mogelijk wordt gemaakt dat het mogelijk maakt om desinformatie op grote schaal te verspreiden. .
“Dit betekent dat een gebruiker alles kan genereren, van goedaardig campagnemateriaal tot opzettelijke desinformatie en kwaadaardige bedreigingen met kleine herconfiguratie”, aldus onderzoekers Ben Gelman en Adarsh Kyadige.
“Het is mogelijk om elke echte politieke beweging of kandidaat te associëren met het steunen van welk beleid dan ook, zelfs als ze het er niet mee eens zijn. Opzettelijke desinformatie als deze kan ervoor zorgen dat mensen zich aansluiten bij een kandidaat die ze niet steunen of het oneens zijn met een kandidaat waarvan ze dachten dat ze die wel leuk zouden vinden. “