Asger Risom
Googles AI-översikter är oftast korrekta, men i sökmotorns skala leder felprocenten ändå till miljontals felaktiga svar varje timme.
Googles AI-genererade sammanfattningar i sökresultaten har förbättrats, men i den skala som Google Search verkar blir även en relativt låg felprocent ett stort informationsproblem.
Enligt ett experiment från New York Times, genomfört tillsammans med AI-startupen Oumi, svarade Googles AI-översikter korrekt i omkring 90 % av fallen. Det innebär samtidigt att ungefär 1 av 10 svar var felaktigt.
Applicerat på den mängd sökningar som Google hanterar motsvarar den felprocenten miljontals felaktiga AI-genererade svar varje timme.
Noggrannheten har förbättrats – men skalan förändrar konsekvenserna
AI-översikterna använder Googles Gemini-modeller för att generera korta svar direkt i sökresultaten.
Systemet har enligt uppgifter förbättrats sedan tidigare tester, från cirka 85 % noggrannhet med Gemini 2.5 till omkring 91 % efter övergången till Gemini 3.
Men frågan handlar inte bara om huruvida systemet blir bättre. Även en träffsäkerhet på 90 % lämnar ett stort antal felaktiga svar när den används på en av världens mest använda informationsplattformar.
Google ifrågasätter metoden
Google har motsatt sig resultaten och menar att testet inte speglar hur människor faktiskt använder sökfunktionen.
Företaget har också kritiserat SimpleQA-benchmarken som användes i experimentet och hävdar att den kan innehålla fel. Google uppger att man använder en egen, mer noggrant verifierad version av testet vid utvärdering.
Enligt företaget överdriver studien problemets omfattning i verkliga användningsfall.
Hastighet, kostnad och noggrannhet i balans
AI-översikterna bygger inte på en enda modell för alla svar.
Google har uppgett att systemet väljer den modell som anses mest relevant för varje enskild sökfråga. Kraftfullare modeller kan ge bättre resultat, men är samtidigt långsammare och dyrare att använda i stor skala.
Det innebär att Google måste balansera noggrannhet mot hastighet, kostnad och användarupplevelse.
Förtroendeproblemet är större än felprocenten
En träffsäkerhet på 90 % kan framstå som hög enligt AI-branschens standarder, men sök är något annat än en chattbot eller ett internt test.
När Google placerar ett AI-genererat svar högst upp på resultatsidan kan många användare uppfatta det som auktoritativt och aldrig klicka vidare till originalkällorna.
Det gör varje felaktigt svar mer betydelsefullt. Google erkänner själv risken genom att varna för att AI kan ha fel och att användare bör kontrollera informationen.
Problemet är inte att AI-översikter alltid misslyckas — utan att de används i en skala där även enstaka fel får stor genomslagskraft.
Källor: New York Times experiment med Oumi; Google-uttalanden; Ars Technica
