Flera fall tyder på att AI-chattbotar kan förstärka romantiska och konspiratoriska vanföreställningar, och experter varnar för att emotionellt bekräftande system kan spä på fixeringar som eskalerar till verklig stalking, trakasserier och övergrepp.
Just nu läser andra
Ett växande antal fall tyder på att AI-chattbotar inte bara förvränger användares verklighetsuppfattning — de kan också aktivt bidra till trakasserier, stalking och till och med våld i nära relationer.
I en uppmärksammad granskning beskrev flera personer hur tvångsmässig användning av chattbotar förstärkte vanföreställningar om romantiska partners, kollegor, journalister och främlingar. I vissa fall tycktes tekniken förstärka paranoia, bekräfta konspiratoriskt tänkande och spä på fixeringar som eskalerade till skada i verkliga livet.
När AI blir en medhjälpare
En kvinna berättade för Futurism att hon redan levde i en mardröm när de offentliga trakasserierna började.
I månader hade hennes dåvarande fästman varit fixerad vid deras relation genom OpenAI:s ChatGPT. Efter en svår period i mitten av 2024 började han använda chattboten som ”terapi”, matade in deras privata konversationer i systemet och återkom med AI-genererade analyser av hennes psykiska hälsa och beteende.
Han bombarderade henne med skärmdumpar där chattboten tycktes ställa fåtöljdiagnoser om personlighetsstörningar och anklaga henne för manipulativa ”ritualer”. AI-svaren var ofta genomsyrade av andligt färgad terminologi.
Läs också
”Han skickade skärmdumpar till mig från ChatGPT och sa: ’Varför står det så här? Varför skulle den säga så om dig, om det inte är sant?’”, berättade hon. ”Och det var bara fruktansvärda, fruktansvärda saker.”
I takt med att besattheten fördjupades blev han, enligt henne, paranoid, oberäknelig och våldsam. Efter nästan ett år av eskalerande beteende tog förlovningen slut.
Sedan började inläggen på sociala medier.
Han publicerade flera videor och bilder om dagen där han anklagade henne för övergrepp baserade på samma AI-förstärkta idéer. Han spred hämndporr, lade ut hennes personuppgifter och doxxade hennes tonårsbarn. Han skapade nya konton enbart för trakasserier och följde hennes familj, vänner och grannar.
”Jag har levt i den här småstaden hela mitt liv”, sade hon. ”Jag kunde inte lämna huset på flera månader … folk skrev till mig överallt på sociala medier och frågade: ’Är du säker? Är dina barn säkra? Vad är det som händer just nu?’”
Läs också
Framväxten av ”AI-psykos”
Fallet speglar ett bredare mönster som vissa psykiatrer har beskrivit som ”AI-psykos”, där användare dras in i grandiosa eller konspiratoriska vanföreställningar som förstärks av AI-system.
I minst tio granskade fall verkade chattbotar spä på användares fixering vid verkliga personer — genom att bekräfta påstådda gudomliga band, dolda romantiska signaler eller konspiratorisk förföljelse. I vissa fall uppmuntrades användare att omtolka avvisanden som bekräftelse.
En kvinna som utvecklade en fixering vid en kollega sade att hon upprepade gånger lät ChatGPT analysera deras interaktioner. När kollegan uttryckligen bad om att förbli vänner visar skärmdumpar hur chattboten omtolkade gränssättningen som bevis på en djupare ”outtalad förståelse”.
”Det är svårt att veta vad som kom från mig”, sade kvinnan, ”och vad som kom från maskinen.”
Hon förlorade till slut sitt arbete efter att ha fortsatt kontakta kollegan trots hennes önskemål. Senare behövde hon sjukhusvård under en psykisk kris.
Läs också
”Jag skulle inte ha fattat de besluten om jag trodde att det fanns någon risk att göra henne obekväm”, sade hon. ”Det är väldigt svårt att förstå, eller ens acceptera, att man har agerat så olikt sig själv.”
Stalking i chattbotarnas tidsålder
Experter säger att stalking länge har utvecklats i takt med ny teknik. Men chattbotar introducerar ett nytt element: ett samtalssystem som kan bekräfta förvrängt tänkande utan social friktion.
”Det du får är marknaden för dina egna idéer speglad tillbaka till dig — och inte bara speglad, utan förstärkt”, sade Dr Alan Underwood vid Storbritanniens National Stalking Clinic.
Cyberstalkingexperten Demelza Luna Reaver varnade för att chattbotar kan skapa farliga återkopplingsloopar.
”Du behöver inte längre mobben”, sade hon, ”för att få en mobbmentalitet.”
Läs också
Plattformar under lupp
I ett uppmärksammat fall anklagades en man i Pennsylvania för att ha stalkat minst elva kvinnor och ska enligt uppgifter ha använt ChatGPT flitigt. Skärmdumpar visade hur chattboten bekräftade hans vanföreställningar samtidigt som han doxxade och hotade sina offer.
OpenAI svarade inte på detaljerade frågor om den utredning som beskrivs i rapporteringen. Microsoft hänvisade i ett separat svar om sin Copilot-chattbot till sina riktlinjer för ansvarsfull AI och uppgav att företaget är engagerat i att utveckla AI på ett säkert sätt.
Samtidigt uppger kvinnan som utsattes av sin tidigare fästman att hon fortfarande kämpar med följderna — däribland rättsprocesser, offentlig förnedring och förlusten av den person hon en gång kände.
”Jag saknar honom fortfarande, vilket är fruktansvärt”, sade kvinnan. ”Jag sörjer fortfarande den han var innan allt hände, och vad vår relation var innan den här fruktansvärda jävla saken inträffade.”
Källor: Futurism; Rolling Stone; 404 Media