OpenAI maakte donderdag bekend dat het stappen heeft ondernomen om vijf geheime beïnvloedingsoperaties (IO) af te snijden die afkomstig zijn uit China, Iran, Israël en Rusland en die probeerden misbruik te maken van hun kunstmatige intelligentie (AI)-instrumenten om het publieke discours of politieke uitkomsten online te manipuleren en tegelijkertijd de gevolgen ervan te verdoezelen. ware identiteit.
Deze activiteiten, die de afgelopen drie maanden werden gedetecteerd, gebruikten de AI-modellen om korte commentaren en langere artikelen in een reeks talen te genereren, namen en biografieën voor sociale-media-accounts te verzinnen, open-sourceonderzoek uit te voeren, eenvoudige code te debuggen en teksten vertalen en proeflezen.
De AI-onderzoeksorganisatie zei dat twee van de netwerken verbonden waren met actoren in Rusland, waaronder een voorheen ongedocumenteerde operatie met de codenaam Bad Grammar, die voornamelijk minstens een dozijn Telegram-accounts gebruikte om doelgroepen in Oekraïne, Moldavië, de Baltische staten en de Verenigde Staten (VS) te bereiken. ) met slordige inhoud in het Russisch en Engels.
“Het netwerk gebruikte onze modellen en accounts op Telegram om een pijplijn voor het spammen van reacties op te zetten”, aldus OpenAI. “Eerst gebruikten de operators onze modellen om code te debuggen die blijkbaar was ontworpen om het posten op Telegram te automatiseren. Vervolgens genereerden ze commentaar in het Russisch en Engels als antwoord op specifieke Telegram-berichten.”
De operators gebruikten de modellen ook om commentaar te genereren onder het mom van verschillende fictieve persona's die tot verschillende demografische groepen behoren aan beide kanten van het politieke spectrum in de VS.
De andere aan Rusland gelinkte informatieoperatie kwam overeen met het productieve Doppelganger-netwerk (ook bekend als Recent Reliable News), dat eerder deze maart werd bestraft door het Office of Foreign Assets Control (OFAC) van het Amerikaanse ministerie van Financiën wegens deelname aan cyberinvloedoperaties.
Het netwerk zou de modellen van OpenAI hebben gebruikt om commentaar te genereren in het Engels, Frans, Duits, Italiaans en Pools dat werd gedeeld op X en 9GAG; artikelen vertalen en redigeren van het Russisch naar het Engels en Frans, die vervolgens op valse websites werden geplaatst die door de groep werden onderhouden; krantenkoppen genereren; en nieuwsartikelen die op haar sites zijn geplaatst, omzetten in Facebook-berichten.
“Deze activiteit richtte zich op doelgroepen in Europa en Noord-Amerika en was gericht op het genereren van inhoud voor websites en sociale media”, aldus OpenAI. “Het merendeel van de inhoud die deze campagne online publiceerde, was gericht op de oorlog in Oekraïne. Oekraïne, de VS, de NAVO en de EU werden in een negatief daglicht gesteld en Rusland in een positief daglicht.”
De andere drie activiteitenclusters worden hieronder vermeld:
- Een netwerk van Chinese oorsprong, bekend als Spamouflage, dat zijn AI-modellen gebruikte om onderzoek te doen naar openbare sociale media-activiteiten; teksten genereren in het Chinees, Engels, Japans en Koreaans voor posten op X, Medium en Blogger; inhoud propageren waarin kritiek wordt geuit op Chinese dissidenten en misstanden tegen indianen in de VS; en foutopsporingscode voor het beheren van databases en websites
- Een Iraanse operatie bekend als de International Union of Virtual Media (IUVM) die haar AI-modellen gebruikte om lange artikelen, koppen en websitetags in het Engels en Frans te genereren en te vertalen voor daaropvolgende publicatie op een website genaamd iuvmpress(.)co
- Een netwerk dat Zero Zeno wordt genoemd en afkomstig is van een Israëlische dreigingsacteur, een business intelligence-bedrijf genaamd STOIC, dat zijn AI-modellen gebruikte om anti-Hamas, anti-Qatar, pro-Israël, anti-BJP en anti-Hamas, anti-Qatar, pro-Israël, anti-BJP en pro-Histadrut-inhoud op Instagram, Facebook, X en de aangesloten websites die gebruikers in Canada, de VS, India en Ghana targeten.
“De (Zero Zeno)-operatie gebruikte onze modellen ook om fictieve persona’s en biografieën voor sociale media te creëren op basis van bepaalde variabelen zoals leeftijd, geslacht en locatie, en om onderzoek te doen naar mensen in Israël die publiekelijk commentaar gaven op de vakbond Histadrut in Israël. ”, aldus OpenAI, eraan toevoegend dat modellen weigerden persoonlijke gegevens te verstrekken als reactie op deze aanwijzingen.
De ChatGPT-maker benadrukte in zijn eerste dreigingsrapport over IO dat geen van deze campagnes “hun publieksbetrokkenheid of bereik op betekenisvolle wijze heeft vergroot” door het exploiteren van zijn diensten.
Deze ontwikkeling komt omdat er bezorgdheid ontstaat dat generatieve AI-tools (GenAI) het voor kwaadwillende actoren gemakkelijker kunnen maken om realistische tekst, afbeeldingen en zelfs video-inhoud te genereren, waardoor het een uitdaging wordt om desinformatie en desinformatieoperaties op te sporen en erop te reageren.
“Tot nu toe is de situatie evolutie, en geen revolutie”, zegt Ben Nimmo, hoofdonderzoeker van inlichtingen en onderzoeken bij OpenAI. “Dat kan veranderen. Het is belangrijk om te blijven kijken en te blijven delen.”
Meta Hoogtepunten STOIC en Doppelganger
Daarnaast deelde Meta in zijn driemaandelijkse Adversarial Threat Report ook details over de invloedsoperaties van STOIC, waarbij werd gezegd dat het een mix van bijna 500 gecompromitteerde en nep-accounts op Facebook en Instagram-accounts had verwijderd die door de acteur werden gebruikt om gebruikers in Canada en de VS te targeten.
“Deze campagne demonstreerde een relatieve discipline bij het in stand houden van OpSec, onder meer door gebruik te maken van de Noord-Amerikaanse proxy-infrastructuur om zijn activiteiten te anonimiseren”, aldus de socialemediagigant.
Meta zei verder dat het honderden accounts heeft verwijderd, bestaande uit misleidende netwerken uit Bangladesh, China, Kroatië, Iran en Rusland, omdat ze zich schuldig maakten aan gecoördineerd niet-authentiek gedrag (CIB) met als doel de publieke opinie te beïnvloeden en politieke verhalen over actuele gebeurtenissen te verspreiden.
Het in China gevestigde kwaadaardige netwerk richtte zich voornamelijk op de wereldwijde Sikh-gemeenschap en bestond uit enkele tientallen Instagram- en Facebook-accounts, pagina's en groepen die werden gebruikt om gemanipuleerde beelden en berichten in het Engels en Hindi te verspreiden die verband hielden met een niet-bestaande pro-Sikh-beweging. , de separatistische beweging van Khalistan en kritiek op de Indiase regering.
Het wees erop dat het tot nu toe geen enkel nieuw en geavanceerd gebruik van door GenAI aangestuurde tactieken heeft ontdekt, waarbij het bedrijf voorbeelden benadrukt van door AI gegenereerde videonieuwslezers die eerder werden gedocumenteerd door Graphika en GNET, wat aangeeft dat ondanks de grotendeels ineffectieve aard van deze campagnes experimenteren dreigingsactoren actief met de technologie.
Doppelganger, zei Meta, heeft zijn 'smash-and-grab'-inspanningen voortgezet, zij het met een grote verschuiving in de tactiek als reactie op openbare berichtgeving, waaronder het gebruik van tekstversluiering om detectie te omzeilen (bijvoorbeeld het gebruik van' U. kr. ai. n. e” in plaats van “Oekraïne”) en stopt sinds april met het linken naar getypte domeinen die zich voordoen als nieuwsmedia.
“De campagne wordt ondersteund door een netwerk met twee categorieën nieuwswebsites: legitieme media en organisaties met typosquatting, en onafhankelijke nieuwswebsites”, zei Sekoia in een rapport over het pro-Russische vijandige netwerk dat vorige week werd gepubliceerd.
“Desinformatieartikelen worden op deze websites gepubliceerd en vervolgens verspreid en versterkt via niet-authentieke sociale media-accounts op verschillende platforms, met name video-hostingplatforms zoals Instagram, TikTok, Cameo en YouTube.”
Deze sociale mediaprofielen, die in grote aantallen en in golven worden aangemaakt, maken gebruik van betaalde advertentiecampagnes op Facebook en Instagram om gebruikers naar propagandawebsites te leiden. De Facebook-accounts worden ook wel branderaccounts genoemd vanwege het feit dat ze worden gebruikt om slechts één artikel te delen en vervolgens worden verlaten.
Het Franse cyberbeveiligingsbedrijf beschreef de campagnes op industriële schaal – die gericht zijn op zowel de bondgenoten van Oekraïne als het Russisch sprekende binnenlandse publiek namens het Kremlin – als gelaagd, waarbij gebruik wordt gemaakt van het sociale botnet om een omleidingsketen op gang te brengen die via twee tussenliggende websites loopt om om gebruikers naar de laatste pagina te leiden.
Recorded Future beschrijft in een deze maand uitgebracht rapport een nieuw invloedsnetwerk, CopyCop genaamd, dat waarschijnlijk vanuit Rusland opereert en gebruikmaakt van niet-authentieke mediakanalen in de VS, Groot-Brittannië en Frankrijk om verhalen te promoten die het westerse binnenlandse en buitenlandse beleid ondermijnen en inhoud te verspreiden. met betrekking tot de aanhoudende Russisch-Oekraïense oorlog en het conflict tussen Israël en Hamas.
“CopyCop maakte op grote schaal gebruik van generatieve AI om inhoud van legitieme mediabronnen te plagiaat te plegen en aan te passen om politieke boodschappen op specifieke vooroordelen af te stemmen”, aldus het bedrijf. “Dit omvatte inhoud die kritisch was over het westerse beleid en die de Russische perspectieven op internationale kwesties zoals het conflict in Oekraïne en de spanningen tussen Israël en Hamas ondersteunde.”
De inhoud die door CopyCop wordt gegenereerd, wordt ook versterkt door bekende door de staat gesponsorde actoren zoals Doppelganger en Portal Kombat, wat een gezamenlijke inspanning demonstreert om inhoud aan te bieden die Rusland in een gunstig daglicht plaatst.
TikTok verstoort geheime beïnvloedingsoperaties
Eerder in mei zei TikTok, eigendom van ByteDance, dat het sinds het begin van het jaar verschillende van dergelijke netwerken op zijn platform had ontdekt en uitgeroeid, waaronder netwerken die teruggingen naar Bangladesh, China, Ecuador, Duitsland, Guatemala, Indonesië, Iran en Irak. , Servië, Oekraïne en Venezuela.
TikTok, dat momenteel onder de loep wordt genomen in de VS na het aannemen van een wet die het Chinese bedrijf zou dwingen het bedrijf te verkopen of een verbod in het land te riskeren, is in 2024 een steeds meer geprefereerd platform geworden voor Russische staatsaccounts. Dat blijkt uit een nieuw rapport van het Brookings Institution.
Bovendien is de sociale video-hostingdienst een broedplaats geworden voor wat wordt gekarakteriseerd als een complexe invloedscampagne die bekend staat als Emerald Divide en waarvan wordt aangenomen dat deze sinds 2021 wordt georkestreerd door aan Iran verbonden actoren, gericht op de Israëlische samenleving.
“Emerald Divide staat bekend om zijn dynamische aanpak, waarbij hij zijn invloedsverhalen snel aanpast aan het evoluerende politieke landschap van Israël”, aldus Recorded Future.
“Het maakt gebruik van moderne digitale hulpmiddelen zoals door AI gegenereerde deepfakes en een netwerk van strategisch beheerde sociale media-accounts, die zich richten op diverse en vaak tegengestelde doelgroepen, waardoor maatschappelijke verdeeldheid effectief wordt aangewakkerd en fysieke acties zoals protesten en de verspreiding van anti-regeringsboodschappen worden aangemoedigd. “
