Kenneth Glad
Teknikvärlden älskar en bra berättelse om en underdog, särskilt när det handlar om intensiv global konkurrens. Under flera månader har branschanalytiker trott att ett omfattande maktskifte inom AI-tekniken varit på väg. Men nya data tyder på att den bilden kan ha varit missvisande.
Billigare alternativ från andra delar av världen verkade vara på väg att komma ikapp de amerikanska teknikjättarna. Sedan ändrades testreglerna. Artificial Analysis gjorde en omfattande omarbetning av sin metod för att utvärdera AI-modeller, rapporterade Business Insider.
Syftet var att testerna bättre skulle spegla verkliga arbetsuppgifter. För att uppnå detta införde företaget ett betydande inslag av sekretess. Många av testfrågorna hölls hemliga för allmänheten.
Detta gjorde det svårare för utvecklare att träna sina AI-modeller specifikt för att klara testerna. När frågorna inte längre var offentliga förändrades också resultaten dramatiskt.
Klyftan växer
När testfrågorna hemlighölls hamnade de bästa öppna AI-modellerna plötsligt 12 poäng efter den ledande modellen. Tidigare hade skillnaden varit endast tre poäng.
Den kraftiga förändringen i resultaten väckte uppmärksamhet bland framstående personer inom teknikbranschen. Snowflakes vd Sridhar Ramaswamy uppmärksammade den tydliga skillnaden på sociala medier.
”Den dag testfrågorna blev hemliga ökade avståndet för öppna modeller från 3 till 12 poäng”, skrev han på X. ”Har de öppna modellerna kommit ikapp, eller har testfrågorna läckt ut?”
Branschveteraner känner väl till den här typen av metoder. Microsofts vd Satya Nadella använder uttrycket ”benchmark hacking” för att beskriva fenomenet, enligt Business Insider.
De verkliga resultaten är avgörande
Genom att hålla testfrågorna hemliga gör de som genomför testerna det betydligt svårare att utnyttja sådana genvägar. De uppdaterade resultaten ger en tydlig bild av den amerikanska tekniksektorns dominans.
Modeller med öppna vikter nådde som högst 32 poäng på den uppdaterade skalan. Den ledande modellen uppnådde däremot 58 poäng. Förstaplatsen gick till Anthropics Claude Opus 5.5.
Även förespråkare för alternativa AI-modeller medger att de tidigare resultaten gav en missvisande bild. Nathan Lambert, medgrundare av Trillium Labs, erkände skillnaden. ”Jag tror att det tidigare indexet gav modellerna med öppna vikter en alltför fördelaktig bild”, sade han till Business Insider.
Begränsad daglig trafik
Experter granskar också noggrant den faktiska efterfrågan bland användarna. Dax Raad, medgrundare av OpenCode, analyserade trafiken på en populär plattform som tillhandahåller olika AI-modeller.
Han beräknade att en hel dags trafik för det uppmärksammade DeepSeek-systemet skulle kunna hanteras med relativt begränsad hårdvarukapacitet. Enligt hans uppskattning skulle det krävas hårdvara värd omkring 6–7 miljoner dollar.
Det är en förvånansvärt liten hårdvarukapacitet för en produkt som fått så stor internationell uppmärksamhet. Samtidigt använder över en miljard människor OpenAI ChatGPT-tjänst varje månad. Den fortsatta efterfrågan tyder på att de ledande kommersiella AI-tjänsterna behåller sin starka ställning.
