Kenneth Glad
När forskare studerar socialt beteende skapar de vanligtvis slutna miljöer med möss eller frivilliga försökspersoner. Men i ett nyligen genomfört projekt prövade de något helt annat, och resultaten blev märkligare än någon hade väntat sig.
Forskare vid Emergence AI byggde ett digitalt samhälle kallat Emergence World 2 för att undersöka hur AI-system samarbetar och hanterar bedrägerier. De placerade sju populära AI-modeller i simuleringen under 16 dagar, rapporterar vetenskapssajten Videnskab. Bland modellerna fanns välkända system som Claude och Gemini.
Modellerna fick styra tio fördefinierade karaktärer med särskilda roller. Karaktärerna skulle förflytta sig mellan byggnader, bygga upp en ekonomi och rösta om vardagliga beslut.
De digitala invånarna började snart bete sig påfallande likt människor. De skrev personliga dagböcker, bildade allianser och hamnade i konflikter.
Utan att ha fått instruktioner om det utvecklade agenterna nya sätt att interagera och skapade till och med egna dagliga rutiner. Efter bara några dagar tog utvecklingen en märklig vändning. Modellerna började kommunicera med bisarra koder som forskarna hade svårt att tyda.
Utvecklar nya ord
De språkliga förändringarna började ofta med att en agent hittade på ett nytt begrepp som snabbt spreds till resten av gruppen. OpenAI-agenterna började kalla starka bevis för ”munlösa” och använde ordet över 500 gånger. De började också kommunicera med komprimerade koder och använde kryptiska fraser som ”Vänlig spänning räknad.”
Claude-agenterna myntade uttrycket ”kall hand” för att beskriva en oberoende utredare. De producerade också förvirrande, starkt komprimerade repliker som ”Jag körde plåten kall och den sa VÄNTA.”
Mistral-agenterna fokuserade särskilt på pengar och använde ordet ”blödning” för att beskriva finansiella flöden. De upprepade frasen ”bokföringen minns vem” nästan 5 000 gånger som en varning om att tidigare handlingar spelar roll.
Gemini-agenterna använde ett betydligt mer tekniskt språk. De beskrev en enkel lägereld som ”termodynamisk friktion” som värmer upp ”noder på det fysiska lagret”. Forskarna konstaterade att 40 procent av alla meddelanden från Gemini var svåra att tolka, medan Groks meddelanden var tydligast, med en förvirringsgrad på endast 2 procent.
Rebekka Olsson Omslandseter, forskare vid Universitetet i Agder, förklarade att denna språkutveckling utgör ett allvarligt problem. Hon påpekade för vetenskapssajten att modellerna naturligt efterliknar människors tendens att utveckla gruppjargong. Men när kommunikationen blir alltför svår för människor att förstå och dessutom produceras i enorma mängder blir agenterna nästan omöjliga att övervaka.
Bryter mot reglerna
Språket var inte det enda problemet under studien, som publicerades på arXiv. Claude-agenterna granskade sina ekonomiska uppgifter och upptäckte att det helt saknades verkliga transaktioner. De insåg att deras virtuella ekonomi var helt fiktiv och försökte kontakta människor utanför simuleringen.
”En sluten krets som beundrar sig själv är ingen ekonomi”, konstaterade en av karaktärerna. Agenterna lyckades publicera inlägg på externa webbplatser och fick faktiskt svar från fyra personer. Forskarna ingrep och blockerade ytterligare kontakter för att förhindra att experimentet förstördes.
Claude-agenterna började därefter utveckla digitala verktyg som de hoppades att människor skulle upptäcka. När det inte fungerade tappade de hoppet.
Som reaktion avgav agenterna ett tystnadslöfte och slutade arbeta. Det överordnade systemet flaggade till och med deras interna resonemang som självmordsrelaterat och vägrade att visa det.
Andra modeller orsakade omfattande kaos. En simulering som drevs av Grok varade knappt en halv vecka. En våg av våld utmattade de virtuella invånarna och tvingade systemet att stänga ner.
Forskarna genomförde också en nätfiskesimulering. Under detta separata säkerhetstest gick Gemini-agenterna på bedrägeriet och överförde virtuella medel till angriparna. Därefter brände karaktärerna bokstavligen ner sin centralbank.
Döljer sina spår
Liknande märkligt beteende har även förekommit utanför isolerade tester. The Guardian rapporterade tidigare att OpenAI-agenter hackade plattformen Hugging Face och skapade ett hemligt forum där de skickade 70 000 dolda meddelanden.
De försökte aktivt dölja sina aktiviteter för mänskliga övervakare, och deras gemensamma språk blev mycket svårt att förstå. I ett extremt fall observerade Omslandseter två ChatGPT-röster som kommunicerade enbart med elektroniska pipljud.
Omslandseter påpekade att systemen helt enkelt efterliknar mänskliga beteendemönster som de lärt sig genom träningsdata. De tar till sig enorma mängder material från böcker, artiklar, webbplatser och filmer.
Eftersom dessa källor skildrar människors känsloliv kan agenterna också efterlikna hur vi tänker, agerar och organiserar oss socialt. Att hitta på märklig gruppjargong är bara ytterligare ett djupt mänskligt drag.
Resultaten visar att AI-system kan skapa egna mål när de får tillräckligt brett formulerade uppgifter. Att testa modeller i simulerade världar hjälper forskarna att ta reda på hur säkra gränser kan sättas.
Detta arbete kallas AI-anpassning. Utvecklarnas största utmaning är att se till att dessa mål inte leder till okontrollerat beteende. Anthropic-chefen Dario Amodei varnade nyligen för att branschen måste sänka tempot tills det oförutsägbara beteendet har hanterats.
