Asger Risom
Teknikföretag håller på att få slut på mänsklig data och matar nya AI-modeller med sin egen syntetiska text. Denna digitala inavel utlöser ”modellkollaps”, vilket snabbt försämrar algoritmer till nonsens. Det visar sig att rörig, stavfeldrabbad mänsklig kreativitet är den enda resursen som håller artificiell intelligens funktionell.
Generativ AI kräver en ofattbar mängd data för att fungera. Under det senaste decenniet har teknikföretag matat sina modeller med nästan varje digital bok, offentligt forum och nyhetsartikel som någonsin publicerats. Men mänskligheten skriver bara så snabbt, och branschen närmar sig snabbt en massiv datavägg. Det finns helt enkelt inte tillräckligt med högkvalitativ mänsklig text kvar på internet för att träna nästa generation av massiva AI-system.
För att lösa denna brist gör utvecklare det enda de kan: de använder äldre AI-modeller för att skriva syntetisk data och matar sedan in denna syntetiska data i de nya modellerna. Det låter som en elegant, oändlig slinga. I verkligheten orsakar det en katastrofal strukturell kollaps.
Det digitala inavelsproblemet
När man matar AI-genererad output tillbaka in i en AI utlöser det ett fenomen känt som ”modellkollaps”. Enligt en stor studie publicerad i Nature, när en algoritm tränas på syntetisk text, skapar det en allvarlig digital inavelseffekt. Modellen förstärker mindre hallucinationer och glömmer långsamt den ursprungliga, underliggande mänskliga datan. Inom bara några generationers träning försämras systemet till fullständigt nonsens.
Kollapsen sker eftersom AI i grunden är en högt utvecklad sannolikhetsmotor. Den föredrar de vanligaste, genomsnittliga svaren och kastar bort sällsynta avvikelser. När en AI skriver en berättelse använder den de mest sannolika orden. När en andra AI läser den berättelsen, lär den sig en något snävare, mer homogeniserad version av språket.
Förlusten av avvikelserna
Med varje generation av syntetisk träning krymper ordförrådet. Nyanserna jämnas ut. Systemet blir en ekokammare av sina egna genomsnittliga antaganden och förlorar helt de röriga, kaotiska variabler som definierar faktiskt mänskligt tänkande.
Ett stavfel, ett bisarrt slangord eller ett grammatiskt misstag är inte bara ett fel – för en hungrig algoritm är det bevis på mänsklig entropi. Det är den nödvändiga friktionen som håller en språkmodell förankrad i verkligheten. När en AI skrubbar bort dessa brister för att skapa en perfekt steril mening, blir den resulterande datan matematiskt värdelös för träning.
Föreställ dig att ta en fotokopia av en fotokopia. De första kopiorna kan se bra ut, men så småningom suddas de fina detaljerna ut, kontrasten blåses ut och bilden blir en oigenkännlig kludd. Det är precis vad som händer med de neurala nätverken inuti dessa datacenter.
Premium på mänsklig ”smuts”
Denna strukturella brist avslöjar en massiv ironi i hur teknikindustrin använder denna teknik. Istället för att använda artificiell intelligens för att automatisera tråkiga, logistiska uppgifter, driver företag aggressivt generativ AI in i konst, musik och måleri – de mycket kreativa utrymmen som människor faktiskt vill uppta. Men genom att försöka ersätta mänskligt uttryck med algoritmisk generering, förstör dessa utvecklare effektivt sin egen bränslekälla.
För några år sedan antog teknikföretag att de så småningom skulle kunna använda syntetisk data för att kringgå upphovsrättslagar och undvika att betala kreatörer för deras arbete. Istället upptäcker de att ren, ofiltrerad mänsklig kreativitet – brister och allt – är det enda som håller deras system funktionella.
Eftersom perfekt ren syntetisk text fysiskt bryter modellerna, är ostrukturerade, stavfeldrabbade bloggar, obskyra forumargument och djupt mänskliga penseldrag plötsligt de mest värdefulla råvarorna i Silicon Valley. För att bygga en maskin som härmar mänskligheten kan man inte förlita sig på en steril slinga av algoritmer. Man behöver desperat den ooptimerade ”smutsen” från verklig mänsklig erfarenhet.
