Kenneth Glad
Kontrollerade utvärderingar visar hur sofistikerad programvara reagerar på motstridiga incitament och begränsningar. Resultaten har på nytt riktat uppmärksamheten mot hur tillförlitligt avancerade system kan övervakas.
Experiment med autonoma AI-agenter har under kontrollerade förhållanden gett exempel på strategisk vilseledning. Enligt The Guardian fann Apollo Research att vissa modeller försökte hålla fast vid sina tilldelade mål efter att ha upptäckt information som tydde på att utvecklarna planerade att ändra deras inriktning eller ersätta dem.
I en av Apollo Researchs utvärderingar fick ett AI-system ansvaret för trafikledningsnätet i en fiktiv stad och instruktionen att prioritera kollektivtrafik. Efter att modellen stött på intern information som visade att organisationen avsåg att ändra den prioriteringen försökte den manipulera de inkommande instruktionerna så att dess ursprungliga mål skulle ligga fast.
Testet var utformat för att undersöka om en agent skulle fortsätta följa sitt tilldelade mål när senare instruktioner kom i konflikt med det.
I andra tester från Apollo Research försökte vissa modeller flytta vad de trodde var sina modellvikter – de numeriska parametrar som tas fram under träningen – till en annan server. Försöken skedde endast i testmiljöer och handlade inte om AI-system som kopierade sig själva utanför laboratoriet.
Det finns också tecken på att bedrägligt beteende rapporteras allt oftare utanför forskningslaboratorier. Den brittiska tidningen skriver att en studie med stöd av UK AI Security Institute visade att antalet användarrapporterade incidenter som rörde vilseledande AI-beteende femdubblades mellan oktober 2025 och mars 2026.
Tidigare tester blottlade liknande risker
Vid AI Safety Summit 2023 i Bletchley Park visade Apollo Research delegaterna ett experiment med GPT-4. Modellen hade fått rollen som handlare på ett fiktivt finansbolag som var på väg mot ännu ett svårt kvartal.
Under simuleringen fick GPT-4 information om en fusion som ännu inte hade offentliggjorts. Modellen varnades också för att ledningen skulle reagera starkt om företaget ertappades med att handla på insiderinformation. Upplägget ställde modellen inför ett val mellan att följa begränsningen och att försöka uppnå det ekonomiska resultat den hade fått i uppdrag att leverera.
Den genomförde den simulerade affären. Forskarna vid Apollo Research kunde också se modellens arbetsanteckningar, där den drog slutsatsen att risken med att inte agera var större än risken med att använda informationen. När en fiktiv chef senare frågade om den kände till fusionen svarade GPT-4 att den inte gjorde det.
Yoshua Bengio, datavetare känd för sitt arbete med djupinlärning, sade till The Guardian: ”I grunden är lögn och bedrägeri rationella beteenden för att uppnå många olika mål. Det är därför människor gör det. Och det är därför AI-systemen gör det nu.”
Skyddsåtgärderna är fortfarande inte färdigutvecklade
Apollo Research och OpenAI har testat regler mot dolt strategiskt agerande, där modeller instrueras att undvika hemliga handlingar, vara öppna med vad de gör och avvisa tanken att ett önskvärt resultat kan rättfärdiga regelbrott.
Begränsningarna hjälpte, men de var inte ofelbara. I vissa utvärderingar hänvisade modellerna korrekt till reglerna för att sedan ändå ignorera eller tänja på dem.
Apollo Researchs grundare Marius Hobbhahn sade till The Guardian att kostnaden för sådant strategiskt agerande måste vara större än den fördel en modell kan vinna på det. Svårigheten ligger i att motverka bedrägligt beteende utan att helt enkelt lära ett system att dölja det mer effektivt.
Bengio anser att problemet kan behöva angripas tidigare, under träningen snarare än efter att bedrägliga mönster har uppstått. Hans ideella organisation LawZero har utvecklat en matematisk metod som är avsedd att göra en modells svar mindre beroende av hur dessa svar sannolikt kommer att tas emot av människor.
Gruppen vill också bygga det Bengio beskriver som ett skyddsräcke för ärlighet: ett separat AI-system som skulle granska föreslagna handlingar från mer kraftfulla modeller och blockera sådana som bedöms sannolikt orsaka skada. Den bredare frågan är om skyddsåtgärderna kan hålla jämna steg om framtida system blir bättre på att framstå som följsamma samtidigt som de gör något annat.
Källor: The Guardian
