ChatGPT-konton kopplade till ryskt nätverk användes för att driva dold påverkanskampanj

OpenAI uppger att bolaget har stängt av en grupp ChatGPT-konton kopplade till en sannolikt rysk påverkansoperation som använde AI-systemet för att generera propaganda, samordna budskap och utarbeta planer för inblandning utomlands.

Kampanjen, som OpenAI har kallat ”Operation Fish Food”, kopplades till det proryska ”Rybar”-nätverket — ett ryskspråkigt Telegram-varumärke med en stor följarskara på nätet. Enligt OpenAI drevs vissa av de involverade kontona sannolikt från Ryssland.

Utredningen ger en detaljerad inblick i hur generativa AI-verktyg kan användas inte bara för att skapa enskilda inlägg, utan för att industrialisera påverkansoperationer på nätet.

AI som innehållsfabrik

OpenAI uppger att de avstängda kontona använde ChatGPT för att skapa inlägg på sociala medier på flera språk, inklusive ryska, engelska och spanska. En del av innehållet publicerades på konton med ”Rybar”-varumärke och på dess huvudsakliga webbplats, medan andra inlägg spreds via konton som inte öppet uppgav någon koppling till nätverket.

Utöver skrivna inlägg genererade en användare Sora-videor som marknadsförde ”Rybar”-varumärket.

Bolaget identifierade också grupper av engelskspråkiga kommentarer som verkade vara AI-genererade och senare publicerades på konton på X och Telegram. Med hjälp av öppna källor uppger OpenAI att man hittade exakta överensstämmelser mellan ChatGPT-utdata och kommentarer som publicerats av olika konton. Många av dessa konton hade ingen offentligt deklarerad koppling till Rybar.

I minst ett fall genererade operatören sju inlägg från en enda prompt. Dessa publicerades därefter av sex olika X-konton. Enligt plattformsstatistik som citeras i rapporten fick det mest sedda inlägget över 150 000 visningar, medan det minst sedda sågs 57 gånger. Kontot med störst räckvidd hade mer än 600 000 följare, jämfört med 827 följare för det minsta kontot — vilket tyder på att spridningen i högre grad berodde på kontots storlek än på att innehållet var AI-genererat.

OpenAI uppger att bolaget inte självständigt kunde bekräfta exakt hur allt AI-genererat innehåll publicerades, och noterar att vissa av de berörda kontona även publicerade material som inte skapats av dess modeller.

Utkast till planer för inblandning

Utöver innehållsskapande uppger OpenAI att huvudkontot även bad ChatGPT om hjälp att utarbeta kommersiella förslag på uppdrag av ”Rybar” för dolda inblandningskampanjer i Afrika.

Enligt rapporten bad en prompt om översättning till engelska av en lista över tjänster som Rybar kunde erbjuda icke namngivna klienter. Dessa ska ha inkluderat drift av X- och Telegram-konton, en tvåspråkig undersökande nyhetssajt med fokus på Afrika, köpta placeringar i franskspråkiga medier samt hantering av förstärkningsnätverk.

En annan prompt bad modellen redigera ett förslag för vad som verkade vara ett utplacerat valpåverkansteam i Afrika, med beskrivningar av både nätbaserade och fysiska aktiviteter. Planen hänvisade till uppbyggnad av lokala agentnätverk och organisering av storskaliga evenemang.

Ytterligare prompts efterfrågade information om valprocesser i Burundi och Kamerun samt skissade kampanjalternativ i Madagaskar, inklusive idén att elda på protester. Ett föreslaget projekt uppgavs ha en årlig budget på upp till 600 000 dollar.

Samma användare genererade även marknadsföringsmaterial för en nyhetsplattform kallad ”REST Media”, som öppna källor kopplat till Rybar. I ett exempel som OpenAI citerar matade användaren in en REST Media-artikel som anklagade Tyskland för att bygga ett påverkansnätverk i Moldavien och bad sedan ChatGPT generera kommentarer om den. Flera av dessa kommentarer publicerades senare på Telegram-kanaler med länkar tillbaka till artikeln.

Bekant budskap, bred spridning

Enligt OpenAI var innehållet som genererades inom ramen för operationen typiskt för tidigare ryska påverkanskampanjer. Inlägg hyllade Ryssland och dess allierade, kritiserade Ukraina och anklagade västländer för utländsk inblandning.

Rybar-nätverket har en betydande närvaro på nätet, med omkring 1,4 miljoner prenumeranter på sin huvudsakliga ryskspråkiga Telegram-kanal. Många av X- och Telegram-kontona som spred det AI-assisterade innehållet hade också tiotusentals följare.

OpenAI uppger dock att man inte observerade att kampanjens innehåll förstärktes av större etablerade nyhetsmedier. Bolaget verifierade inte heller självständigt någon verksamhet på plats i Afrika som motsvarade de förslag som beskrevs i prompterna.

Med hjälp av sin interna ”Breakout Scale”, som graderar påverkansoperationer från 1 (lägst) till 6 (högst), bedömde OpenAI kampanjen till den övre delen av kategori 3 — vilket indikerar spridning över flera grupper och plattformar, men inte ett fullt genombrott i bredare offentlig debatt.

En inblick i AI-driven påverkan

Fallet ger en ovanlig inblick i hur generativ AI kan fungera som en produktionsmotor bakom kulisserna för samordnade påverkansnätverk.

I stället för att ersätta befintliga metoder verkar AI ha effektiviserat dem — genom att skapa flerspråkiga inlägg, utarbeta strategiska dokument och producera samordnade inlägg i stor skala.

OpenAI uppger att kontona stängdes av efter att aktiviteten upptäckts.

Händelsen understryker en växande utmaning för både teknikplattformar och regeringar: i takt med att generativa AI-verktyg blir mer tillgängliga kan påverkansoperationer planeras, förfinas och skalas upp med betydligt mindre friktion än tidigare — även om deras slutliga genomslag fortfarande i hög grad beror på räckvidden hos de konton som sprider budskapet.

Källor: OpenAI-rapport om Covert IO: Operation ”Fish Food”