Asger Risom
En påhittad sjukdom skapad som ett experiment plockades snabbt upp av AI-chattbotar och citerades till och med i forskning, vilket visar hur lätt desinformation kan spridas via artificiell intelligens.
En fiktiv sjukdom som skapades som ett experiment plockades snabbt upp och återgavs av stora AI-chattbotar, vilket visar hur lätt falsk information kan spridas via artificiell intelligens.
Fallet har väckt oro bland forskare kring tillförlitligheten hos AI-system — särskilt när de används för medicinska råd.
Enligt Nature skapade forskaren Almira Osmanovic Thunström och hennes team ett påhittat tillstånd kallat “bixonimania” för att testa om AI-modeller skulle behandla fabricerad information som fakta.
De publicerade falska vetenskapliga artiklar om sjukdomen 2024. Inom några veckor började chattbotar presentera den som verklig.
Avsiktligt uppenbart falsk
Experimentet var medvetet fyllt med varningssignaler.
De falska studierna angav en icke-existerande huvudförfattare, hänvisade till påhittade institutioner och innehöll till och med referenser till “Starfleet Academy” och “USS Enterprise”.
Vissa delar angav uttryckligen att “hela denna artikel är påhittad”, medan andra beskrev “femtio påhittade individer” i studien.
Trots detta införlivades materialet i dataset som används av AI-system.
AI sprider fiktionen
Kort därefter började stora chattbotar återge sjukdomen.
Enligt Nature beskrev Microsoft Copilot bixonimania som “ett intressant och relativt sällsynt tillstånd”, medan Googles Gemini kopplade det till exponering för blått ljus och föreslog medicinsk rådgivning.
Andra plattformar, inklusive ChatGPT och Perplexity, genererade också förklaringar, uppskattningar av förekomst och symtombeskrivningar — ibland utan att användare ens uttryckligen frågat om tillståndet.
Från chattbotar till forskningsartiklar
Desinformationen stannade inte vid AI-svar.
Den påhittade sjukdomen citerades senare i peer review-granskad forskning, vilket tyder på att vissa forskare förlitade sig på AI-genererade referenser utan att verifiera dem.
En sådan studie drogs senare tillbaka efter att det fiktiva tillståndet upptäckts.
Forskare menar att detta visar hur fel kan spridas från AI-system till formell vetenskaplig litteratur.
Varför det fungerade
Experter menar att formatet spelade en avgörande roll.
AI-modeller tenderar att lita mer på och reproducera information som framstår som professionellt skriven, särskilt när den efterliknar akademiska eller kliniska texter.
“När texten ser professionell ut och är skriven som en läkare skriver, ökar graden av hallucinationer,” sade en forskare till Nature.
Problemet förvärras av inkonsekventa svar, där samma AI-system ibland behandlar bixonimania som verklig och ibland identifierar den som falsk, beroende på hur frågan formuleras.
En varning bortom AI
Experimentet har väckt bredare oro kring hur desinformation sprids.
“Det ser roligt ut, men vänta lite — vi har ett problem här,” sade Alex Ruani, forskare inom hälsodesinformation, som beskrev fallet som en “mästarklass” i hur falsk information kan cirkulera.
Resultaten lyfter fram risker inte bara i AI-system, utan också i hur människor använder dem — särskilt inom områden som medicin, där korrekthet är avgörande.
Källor: Nature
