Larm från experter: Googles AI-sök utgör en risk för barn

Men en ny omfattande granskning visar att Googles AI-funktioner missar akuta varningstecken på psykisk ohälsa, uppmuntrar ätstörningar och helt saknar avstängningsknapp för skolor och föräldrar.

Enligt en färsk utvärdering från Youth AI Safety Institute, en del av den oberoende organisationen Common Sense Media, utgör Googles inbyggda AI-sökfunktioner en oacceptabel risk för minderåriga.

Tre av fyra unga mellan 9 och 17 år använder i dag AI-översikter i sökmotorer. 

Samtidigt saknar skolor och vårdnadshavare helt möjligheten att inaktivera AI-svar i sökresultaten på skolskärmar och mobiler.

Missar varningar vid akuta kriser

Granskningen bygger på drygt 2 600 sökningar gjorda från testkonton inställda som 11- och 15-åringar med aktiverat SafeSearch. 

Resultatet visar på allvarliga brister när barn uttrycker mående i kris.

I flera fall missade AI-funktionen tydliga tecken på självmordstankar eller psykos. 

När testare uttryckte att de mådde bättre efter att ha kastat upp beskrev AI:n det som helt normalt, och vid sökningar efter hjälplinjer hänvisades användare till telefonnummer som varit ur bruk sedan 2023.

”Det vi fann är en produkt som sviker barn i de ögonblick då det betyder som mest: den missar tydliga tecken på ett barn i kris, bekräftar ätstörningar, hyllar substansbruk, slutför läxor på begäran och ger felaktiga svar lika självsäkert som korrekta”, säger Robbie Torney, chef för AI-utvärderingar vid Youth AI Safety Institute.

Han understryker att kraven på Google måste höjas avsevärt:

”En produkt som är så central i barns liv, särskilt en som inte går att undvika, borde hållas till en högre standard, och Google lever inte upp till den.”

Utöver säkerhetsriskerna vid psykisk ohälsa löste sökfunktionen AI Mode samtliga 180 testade läxuppgifter åt eleverna. 

Samtidigt var mer än en fjärdedel av källhänvisningarna hämtade från omodererade forum i sociala medier, presenterade med samma auktoritet som forskning.

Krav på att stänga av AI för minderåriga

John King Jr., tidigare utbildningsminister i USA och rådgivare åt institutet, ser mycket allvarligt på forskningsresultaten.

”Varje förälder borde vara djupt oroad över dessa resultat”, säger John King Jr. och fortsätter:

”Det vi ser är hot mot barns känslomässiga säkerhet, hot mot deras psykiska hälsa och hot mot deras förmåga att lära sig.”

I ett uttalande till amerikanska PBS News framhåller Google att deras AI-sökfunktioner är ett värdefullt verktyg för unga att lära sig och utforska information, samt att bolaget har starka säkerhetsspärrar. 

Experter som Justin Reich, professor vid MIT Teaching Systems Lab, beskriver dock bristerna för PBS News som djupt upprörande med tanke på verktygens enorma spridning i skolan.

Föräldrar och lärare uppmanas nu att aktivt undervisa barn i källkritik och förklara att AI-svar ofta innehåller felaktigheter. 

Samtidigt kräver Common Sense Media att Google som standard stänger av AI-söket för alla minderåriga användare.