Forskare från ETH Zürich och Anthropic fann att stora språkmodeller kan identifiera verkliga personer bakom pseudonyma konton på nätet med överraskande hög träffsäkerhet.
Just nu läser andra
I årtionden har pseudonyma konton gjort det möjligt för internetanvändare att uttrycka sig fritt online utan att avslöja sina verkliga identiteter. Men ny forskning tyder på att det skyddet snabbt kan eroderas i artificiell intelligens tidsålder.
Ett forskarteam från ETH Zürich och AI-företaget Anthropic har funnit att stora språkmodeller (LLM) kan användas för att identifiera de verkliga personerna bakom till synes anonyma konton på nätet — och göra det i stor skala.
Deras resultat, som beskrivs i en forskningsartikel som ännu inte har genomgått peer review, tyder på att det länge etablerade antagandet att pseudonymer skyddar integriteten på nätet kanske inte längre håller.
AI kopplar anonyma inlägg till verkliga identiteter
I sina experiment byggde forskarna ett AI-system som skulle koppla pseudonyma inlägg på nätet till verkliga identiteter.
Systemet analyserade användarkommentarer och profilinformation från plattformar som Hacker News och Reddit och försökte matcha dem med offentliga profiler, bland annat LinkedIn-konton.
Läs också
Enligt forskarna lyckades AI-agenten korrekt identifiera ungefär två tredjedelar av användarna enbart baserat på deras konversationer online och profilinformation.
Uppgifter som normalt skulle ta timmar för en mänsklig utredare kunde genomföras betydligt snabbare av AI-systemet.
”Stora språkmodeller kan användas för att genomföra deanonymisering i stor skala”, skrev forskarna i studien.
Hur AI spårade upp användarna
För att testa systemet samlade forskarna först in dataset från offentliga forum och sociala medier.
De tog sedan bort uppenbar identifierande information från inläggen och tränade en LLM att analysera den återstående texten och matcha den med möjliga författare.
Läs också
AI:n letade efter subtila mönster — skrivstil, intressen samt referenser till jobb eller erfarenheter — som kunde koppla en anonym profil till en specifik person.
”Det vi upptäckte är att dessa AI-agenter kan göra något som tidigare var mycket svårt”, sade ETH Zürich-ingenjören Simon Lermen till Ars Technica. Med utgångspunkt i fria textkonversationer kunde modellen stegvis arbeta sig fram till personen bakom dem.
Även begränsad data kan avslöja identiteter
I vissa fall fick AI:n endast mycket allmän information.
När den till exempel analyserade anonymiserade svar på en Anthropic-enkät om hur människor använder AI-verktyg i vardagen kunde modellen ändå identifiera personen i ungefär sju procent av fallen.
Även om den siffran kan verka låg menar forskarna att det är anmärkningsvärt att AI överhuvudtaget kan identifiera individer utifrån så begränsad information.
Läs också
I andra dataset — till exempel Reddit-diskussioner om film — ökade träffsäkerheten kraftigt. Ju mer användare skrev om sina intressen, desto lättare blev det för AI att koppla ledtrådarna till verkliga personer.
Ett möjligt slag mot anonymiteten på nätet
Resultaten väcker allvarliga frågor om framtiden för integritet på internet.
För många användare har pseudonyma konton fungerat som ett grundläggande skydd mot trakasserier, stalking eller repressalier.
Men forskarna menar att AI-system snabbt förändrar hotbilden.
”Den praktiska anonymitet som skyddat pseudonyma användare på nätet gäller inte längre”, varnade teamet och tillade att integritetsantaganden över hela internet kan behöva omprövas.
Läs också
Risker för aktivister, journalister och vanliga användare
Om tekniken blir allmänt tillgänglig kan konsekvenserna sträcka sig långt bortom akademiska experiment.
Regeringar skulle potentiellt kunna använda liknande verktyg för att identifiera dissidenter eller journalister som arbetar under pseudonym. Företag kan koppla anonyma inlägg till kundprofiler för riktad reklam.
Cyberkriminella skulle också kunna utnyttja sådana system för att bygga detaljerade profiler över potentiella offer och genomföra mer avancerade social engineering-attacker.
Forskarna säger att deras arbete visar behovet av nya integritetsskydd i takt med att AI-system blir mer kapabla.
”Användare, plattformar och beslutsfattare måste inse att de integritetsantaganden som ligger till grund för mycket av dagens internet inte längre gäller”, avslutas artikeln.
Läs också
Källor: Futurism