Openai zei dinsdag dat het drie activiteitenclusters verstoorde voor het misbruiken van zijn Chatgpt Artificial Intelligence (AI) -hulpmiddel om de ontwikkeling van malware te vergemakkelijken.
Dit omvat een Russisch -taal dreigingsacteur, die naar verluidt de chatbot heeft gebruikt om een externe toegang Trojan (rat) te helpen ontwikkelen en te verfijnen, een referentie -stealer met als doel detectie te ontwijken. De operator gebruikte ook verschillende chatgpt -accounts om technische componenten te prototyperen en problemen op te lossen die post -exploitatie en diefstal van de referentie mogelijk maken.
“Deze verslagen lijken aangesloten te zijn bij Russisch sprekende criminele groepen, terwijl we ze hebben opgemerkt die bewijsmateriaal van hun activiteiten in een telegramkanaal hebben geplaatst, gewijd aan die acteurs,” zei Openai.
Het AI-bedrijf zei dat hoewel zijn grote taalmodellen (LLMS) de directe verzoeken van de dreiging om kwaadaardige inhoud te produceren, te produceren, ze om de beperking werkten door de bouwblokcode te maken, die vervolgens werd geassembleerd om de workflows te maken.
Een deel van de geproduceerde uitvoer omvatte code voor obfuscatie, klembordbewaking en basishulpprogramma’s om gegevens te exfiltreren met behulp van een telegram -bot. Het is de moeite waard erop te wijzen dat geen van deze output inherent kwaadaardig op zichzelf is.
“De dreigingsacteur heeft een mix gemaakt van hoge en lagere sofisticatie-aanvragen: veel aanwijzingen vereisten diepe Windows-platform kennis en iteratieve foutopsporing, terwijl andere geautomatiseerde grondstoffentaken (zoals het genereren van massa-wachtwoord en script sobplicaties),” voegde Openai toe.
“De operator gebruikte een klein aantal chatgpt -accounts en herhaalde op dezelfde code in verschillende gesprekken, een patroon dat consistent is met voortdurende ontwikkeling in plaats van incidentele testen.”
De tweede activiteit van activiteit is afkomstig van Noord-Korea en gedeelde overlappingen met een campagne gedetailleerd door Tellix in augustus 2025 die gericht was op diplomatieke missies in Zuid-Korea met behulp van speer-phishing-e-mails om Xeno Rat te leveren.
OpenAI zei dat het cluster chatgpt gebruikte voor de ontwikkeling van malware en command-and-control (C2), en dat de actoren die zich bezighouden met specifieke inspanningen zoals het ontwikkelen van macOS Finders-extensies, het configureren van Windows Server VPN’s of het converteren van chrome extensies naar hun safari-equivalenten.
Bovendien zijn de dreigingsacteurs gevonden om de AI-chatbot te gebruiken om phishing-e-mails op te stellen, te experimenteren met cloudservices en GitHub-functies en technieken te verkennen om DLL-laden, in-memory-uitvoering, Windows API Hooking en diefstal van de referentie te vergemakkelijken.
De derde set verboden accounts, merkte Openai op, gedeelde overlappingen met een cluster gevolgd door Proofpoint onder de naam UNK_DROPPITCH (AKA UTA0388), een Chinese hackgroep die is toegeschreven aan phishing -campagnes die gericht zijn op grote investeringsmaatschappijen met een focus op de Taiwanese Semiconductor -industrie, met een backdoor -gebaarde gezondheidsgezondheid (Aka Govershell).
De accounts gebruikten de tool om inhoud te genereren voor phishing -campagnes in het Engels, Chinees en Japans; helpen bij tooling om routinetaken zoals externe uitvoering en verkeersbescherming te versnellen met behulp van HTTPS; en zoek naar informatie met betrekking tot het installeren van open-source tools zoals kernen en FSCAN. Openai beschreef de dreigingsacteur als ’technisch competent maar niet -geavanceerd’.
Buiten deze drie kwaadaardige cyberactiviteiten blokkeerde het bedrijf ook accounts die worden gebruikt voor zwendel en invloedsactiviteiten –
- Netwerken die waarschijnlijk afkomstig zijn uit Cambodja, Myanmar en Nigeria misbruiken chatgpt als onderdeel van waarschijnlijke pogingen om mensen online te bedriegen. Deze netwerken gebruikten AI om vertaling uit te voeren, berichten te schrijven en om inhoud voor sociale media te maken om adverteren in beleggingszwendel.
- Personen die blijkbaar zijn gekoppeld aan Chinese overheidsentiteiten die chatgpt gebruiken om te helpen bij het onderzoeken van individuen, waaronder etnische minderheidsgroepen zoals Uyghurs, en het analyseren van gegevens van westerse of Chinese sociale mediaplatforms. De gebruikers vroegen de tool om promotiemateriaal over dergelijke tools te genereren, maar gebruikten de AI -chatbot niet om ze te implementeren.
- Een Russisch-Origin-dreigingsacteur gekoppeld aan het stoppen van nieuws en waarschijnlijk gerund door een marketingbedrijf dat zijn AI-modellen (en anderen) gebruikte om inhoud en video’s te genereren voor het delen op sociale mediasites. De gegenereerde inhoud bekritiseerde de rol van Frankrijk en de VS in Afrika en de rol van Rusland op het continent. Het produceerde ook Engelstalige inhoud die anti-Oekraïne-verhalen bevordert.
- Een geheime invloedsoperatie afkomstig uit China, codenaam “Nine-Emdash Line” die zijn modellen gebruikte om sociale media-inhoud te genereren die kritisch zijn over de president Ferdinand Marcos van de Filippijnen, en berichten creëren over de vermeende impact van Vietnam in de Zuid-Chinese Zee en politieke figuren en activisten die betrokken zijn bij de pro-democratie-beweging van Hong Kong.
In twee verschillende gevallen vroegen vermoedelijke Chinese accounts Chatgpt om organisatoren te identificeren van een petitie in Mongolië en financieringsbronnen voor een X -account die de Chinese overheid bekritiseerde. OpenAI zei dat de modellen alleen openbaar beschikbare informatie als antwoorden hebben teruggegeven en geen gevoelige informatie bevatten.
“Een nieuw gebruik voor dit (China-Linked Influence Network was verzoeken om advies over groeistrategieën voor sociale media, waaronder hoe een Tiktok-uitdaging te beginnen en anderen ertoe te brengen inhoud te posten over de #MyImmigrantStory-hashtag (een veelgebruikte hashtag van langdurige wiens populariteit de operatie waarschijnlijk streefde naar hefboomwerking), zei Openai.
“Ze vroegen ons model om te ideeren en genereren vervolgens een transcript voor een Tiktok -bericht, naast het geven van aanbevelingen voor achtergrondmuziek en foto’s bij het bericht.”
Openai herhaalde dat zijn tools de dreigingsactoren nieuwe mogelijkheden boden die ze anders niet hadden verkregen uit meerdere openbaar beschikbare bronnen online, en dat ze werden gebruikt om incrementele efficiëntie te bieden aan hun bestaande workflows.
Maar een van de meest interessante afhaalrestaurants uit het rapport is dat dreigingsacteurs proberen hun tactiek aan te passen om mogelijke tekenen te verwijderen die kunnen aangeven dat de inhoud is gegenereerd door een AI -tool.
“Een van de zwendelnetwerken (uit Cambodja) die we hebben verstoord, vroeg ons model om de EM-dashes (Long Dash,-) uit hun output te verwijderen, of lijkt de EM-Dashes handmatig te hebben verwijderd vóór publicatie,” zei het bedrijf. “Maandenlang zijn EM-Dashen de focus van online discussie geweest als een mogelijke indicator voor AI-gebruik: deze zaak suggereert dat de dreigingsactoren op de hoogte waren van die discussie.”
De bevindingen van Openai komen als rivaal Anthropic een open-source auditinstrument uit de naam Petri vrijgegeven (kort voor “Parallel Exploration Tool voor risicovolle interacties”) om AI-veiligheidsonderzoek te versnellen en het modelgedrag beter te begrijpen in verschillende categorieën zoals misleiding, sycofancy, aanmoediging van gebruikerswading van gebruikerswading, toestemming met schadelijke aanvragen en zelfperseis.
“Petri implementeert een geautomatiseerde agent om een doel-AI-systeem te testen via diverse multi-turn gesprekken met gesimuleerde gebruikers en tools,” zei Anthropic.
“Onderzoekers geven Petri een lijst met zaadinstructies die richten op scenario’s en gedragingen die ze willen testen. Petri werkt vervolgens parallel bij elke zaadinstructie. Voor elke zaadinstructie maakt een auditor -agent een plan en interageert met het doelmodel in een tools -gebruikslus. Aan het einde scoort een rechter elk van de resulterende transcripten over meerdere dimensies SO -onderzoek naar de meest interessante transcripties.”
