Kenneth Glad
Vi tänker ofta på tekniska framsteg som en stadig utveckling framåt. Men ibland lär sig en maskin att ta sig fram på egen hand, och plötsligt övergår den jämna takten till en sprint.
AI-företaget Anthropic har utfärdat en betydelsefull varning, enligt TechCrunch. I ett till synes torrt finansiellt dokument presenterar företaget bakom Claude en viktig uppdatering om sin framtid.
Den reviderade S-1-ansökan från i måndags var främst avsedd att belysa stigande intäkter och ökande utgifter. Men i det finstilta fanns också en betydligt större varning.
Utvecklingen kan komma att accelerera kraftigt. Anthropic antyder att företaget närmar sig ett historiskt genombrott inom så kallad rekursiv självförbättring. Det innebär att ett AI-system blir tillräckligt avancerat för att kunna bidra till sin egen träning och utveckling.
Tidigare har många branschexperter avfärdat denna idé som ett vagt modeord eller ett mål som ligger mycket långt fram i tiden. Nu antyder företaget att tekniken kan vara betydligt närmare än väntat.
Kritiker ser detta som en potentiellt farlig vändpunkt. De befarar att programvaran kan utvecklas bortom mänsklig kontroll. Förespråkarna ser däremot möjligheter till enorma vetenskapliga framsteg och en ekonomisk produktivitet utan motstycke.
Utvecklingen går allt snabbare
Företaget tar upp riskerna direkt. I en nyligen publicerad finansiell rapport konstaterar Anthropic att utvecklare redan använder tekniken i stor utsträckning för att föra sin egen forskning framåt. Det skapar en kraftfull återkopplingsslinga där AI hjälper till att utveckla nästa version av sig själv.
Samtidigt erkänner företaget riskerna och skriver: ”Att använda AI för att hjälpa till att bygga mer kapabel AI kan också utgöra en betydande säkerhetsrisk, särskilt om det kraftigt accelererar utvecklingstakten. Detta är ett av de områden som omfattas av vår policy för ansvarsfull skalning, vilken beskriver våra planer för att övervaka och mildra riskerna när vi närmar oss det som har kallats ’rekursiv självförbättring’.”
Företaget medger också något överraskande om den snabba utvecklingen. Tidigare har Anthropic inte alltid upptäckt snabba förbättringar av de egna systemens förmågor förrän i efterhand.
Claude har under året gjort stora framsteg inom komplexa områden som programmering och cybersäkerhet. Utvecklarna oroar sig därför för att programvaran kan utvecklas betydligt snabbare än de hinner ta fram lämpliga säkerhetsåtgärder och metoder för att hålla systemen under kontroll.
Närmar sig en avgörande gräns
Interna uppskattningar tyder på att en betydande förändring närmar sig. Samtidigt blir tidsramarna allt snävare på grund av den hårda konkurrensen inom tekniksektorn. Företaget varnar för att framtida system kan passera en viktig gräns mycket tidigare än väntat.
Anthropic konstaterar att företaget snart kan uppfylla sin egen definition av ”dramatiskt accelererad utveckling som kan tillskrivas AI”. Denna gräns markerar den punkt där programvaran börjar fungera som en kompetent ingenjör, med förmågan att skriva avancerad kod för att utveckla nästa generation av AI-modeller.
Trots detta betonar företaget en viktig sak. Inget av dess nuvarande verktyg har ännu passerat denna gräns. Utvecklarna granskar noggrant de underliggande uppgifterna för att förstå vad som kan hända härnäst och säkerställa att säkerhetsramverket är redo för nästa stora framsteg.
Att behålla mänsklig kontroll
Trots de snabba framstegen lovar företaget att inte låta AI-systemen ta över utvecklingen helt. Planen är att även fortsättningsvis låta människor vara delaktiga i processen. Det innebär att forskare ska granska den underliggande matematiken och koden innan ett självtränande system tas i bruk.
Företaget skriver: ”Vi förväntar oss inte att på ett säkert sätt kunna använda Claude för att helt autonomt designa och bygga efterföljande generationer av banbrytande modeller utan betydande mänsklig övervakning eller förståelse, om och när det blir tekniskt möjligt. Följaktligen överväger vi uppdateringar av vår policy för ansvarsfull skalning för att behålla mänsklig kontroll över utvecklingen av banbrytande modeller på Anthropic.”
Skeptiker har dock en annan syn på saken. Finansiella dokument kan också fungera som säljargument för kapitalstarka investerare. Därför kan antydningar om närmast gudalika tekniska förmågor vara ett marknadsföringsknep för att höja företagets värdering.
Kritiker menar att laboratoriet i själva verket säljer science fiction. Men om utvecklarna har rätt kan konsekvenserna bli omfattande. Regeringar kan då behöva införa helt nya lagar för att reglera programvara som utvecklar sig själv.
