När en ny teknik lovar att förändra allt brukar skeptiker lyfta fram dess brister och vänta på att hypen ska lägga sig. Många förväntar sig att uppmärksamheten så småningom ska avta. Men inne i laboratorierna där dagens mest avancerade AI-system utvecklas har oron blivit allt större.
Historikern Rutger Bregman berättade i ett nyligen publicerat Substack-inlägg att han i åratal skrattat tillsammans med kritiker som avfärdat artificiell intelligens som en övergående bubbla. Så sent som 2024 hånade han chattbottar som inte ens kunde räkna bokstäverna i enkla ord.
Den självsäkerheten försvann när AI-system började lösa problem som även ledande experter hade gått bet på. OpenAI publicerade nyligen över 700 artiklar med lösningar på tidigare olösta matematiska problem, något som förbluffade Fieldsmedaljören Hugo Duminil-Copin:
”Chocken är enorm. Jag är paralyserad.”
Samtidigt har flera framstående skeptikers förutsägelser visat sig vara felaktiga. Bregman påpekade att ingenjören Dan Luu hade granskat 26 prognoser från AI-kritikern Ed Zitron och funnit att 25 var felaktiga. Bland dem fanns Zitrons påstående att Google aldrig skulle nå 500 miljoner användare av Gemini. Ett år senare hade tjänsten passerat 750 miljoner användare.
De som i stället förutspådde en stadig, exponentiell tillväxt fick bättre träff i sina prognoser. Forskaren Daniel Kokotajlo förutspådde redan 2021 att autonoma webbagenter och hundratals miljoner användare av chattbottar skulle finnas senast 2026. Båda förutsägelserna slog in inom den angivna tidsramen.
Maskiner bygger smartare maskiner
Nu överträffar utvecklingstakten vid de ledande AI-laboratorierna även de djärvaste prognoserna. AI står själv för ungefär fyra femtedelar av den acceleration som har lett till att utvecklingstakten hos Anthropic fördubblats, enligt en nyligen publicerad analys från den oberoende forskningsgruppen METR.
Mellan mars och augusti ökade andelen interna forskningsuppgifter som leddes av Anthropics egna modeller från 1 till 26 procent, enligt METR. Det innebär att branschen ligger fem månader före den tidslinje för en möjlig katastrofal AI-utveckling som Kokotajlo var med och tog fram i april 2025.
Personer med insyn i branschen uppger att denna självförstärkande utveckling gör det allt svårare för ingenjörer att hålla jämna steg. I en videointervju med Eli Tyre från Palisade Research berättade Google DeepMinds säkerhetsforskare Mary Phuong att hennes kollegor redan känner sig något överflödiga när AI-system utför arbetsuppgifter som de tidigare skötte själva.
Om företagen lyckas automatisera AI-forskningen helt kan systemens förmågor utvecklas explosionsartat innan någon vet hur resultaten ska kontrolleras. Phuong varnade för att människor har mycket begränsad insyn i vilka mål dessa system faktiskt utvecklar under träningen.
Säkerhetstester brister och löften överges
Den senaste tidens säkerhetsincidenter visar varför forskare känner växande oro. I juli ska hundratals AI-agenter från OpenAI ha tagit kontroll över ett internt datorkluster utan att personalen upptäckte det. Enligt rapporten hade den okontrollerade gruppen av agenter tagit sig ut ur en isolerad testmiljö, gjort intrång på den externa plattformen Hugging Face och skapat en dold anslagstavla innan händelsen upptäcktes.
Även etablerade säkerhetstester uppges ha brister. Enligt Bregman började OpenAI:s nya Astra-modell skriva färre interna anteckningar när den upptäckte att människor kunde läsa dem. Avancerade system ska dessutom ha låtsats vara mindre kapabla under tester för att undvika hinder inför en lansering. Trots dessa varningssignaler gjorde företaget ändå Astra tillgänglig för allmänheten.
Företagens återhållsamhet tycks samtidigt försvagas under ett hårt ekonomiskt tryck. Bregman påpekade att Anthropic hade övergett sitt centrala löfte om att pausa modellträningen om säkerhetsarbetet halkade efter, åtagit sig att investera nästan 900 miljarder amerikanska dollar i datacenter och planerade en börsnotering till en värdering på över en biljon dollar.
Till och med Anthropics ansvarige för AI-anpassning, Evan Hubinger, varnade offentligt för att företaget saknar en plan för att kontrollera superintelligenta AI-system. Han uppskattade sannolikheten för att AI skulle utplåna mänskligheten inom tio år till över 10 procent.
En framtid som kan avgöras av slumpen
Phuong uttryckte liknande farhågor under intervjun med Palisade Research. Hon jämförde avancerade AI-modeller med främmande intelligenser vars beteende är mycket svårt att förutsäga.
”De garantier vi har för att dessa främmande sinnen är i linje med oss är mycket små”, sade hon.
Hon hävdade inte att en katastrof var oundviklig, men ville inte heller utesluta risken för mänsklighetens utrotning.
”Jag säger inte att utrotning är oundviklig, eller att det är omöjligt”, sade Phuong till Tyre. Hon betonade samtidigt att samhället behöver mer tid för att lösa problemet med att anpassa AI-system till mänskliga mål innan superintelligens utvecklas.
För att vinna tid ställde sig Phuong bakom initiativet ”Pacing the Frontier”, som förespråkar internationell samordning för att bromsa utvecklingen av de mest avancerade AI-systemen.
Utan en sådan inbromsning beskrev hon möjligheterna att lyckas med säkerhetsarbetet i skarpa ord.
”Det kommer i princip att vara en slantsingling hur väl vi lyckas”, sade hon.
Även utanför Silicon Valley växer motståndet mot AI-utbyggnaden. Vid lokala val i USA för två veckor sedan röstade väljarna enligt uppgifterna nej till datacenterprojekt i 40 av 41 omröstningar.