Asger Risom
Microsofts vd Satya Nadella varnar företag för att behandla autonoma AI-agenter som potentiella insiderhot. Han menar att företag måste separera en modells intelligens från dess befogenhet att utföra kritiska åtgärder. Organisationer behöver oberoende granskningsloggar, strikta åtkomstkontroller och nödstopp för att förhindra att felaktig programvara orsakar katastrofala skador.
Vi skyndar oss att ge artificiell intelligens nycklarna till våra digitala liv. Autonoma agenter kan nu läsa våra inkorgar, hantera våra kalendrar och till och med spendera våra pengar. Men vd:n för ett av de företag som driver denna revolution uppmanar oss att bromsa.
Faran med okontrollerad auktoritet
Satya Nadella publicerade denna månad en skarp varning om framtiden för företagsautomatisering. Microsofts vd hävdade att vi måste behandla avancerade AI-modeller som potentiella insiderhot. Du kan läsa en sammanfattning av hans filosofi hos TheStreet.
Säkerhetsteam vet redan hur man hanterar mänskliga anställda som kan agera oansvarigt. De ger anställda en tydlig identitet, begränsar åtkomsten och loggar varje åtgärd de vidtar. Nadella anser att vi måste tillämpa exakt samma strategi på vår nya digitala arbetskraft.
En AI-agent kan lätt hallucinera en dålig idé eller manipuleras av skadlig input. Om den programvaran har okontrollerad auktoritet kan ett enkelt misstag snabbt tömma ett företags bankkonto. Kärnproblemet är att intelligens och befogenheten att agera är helt olika saker.
Separera hjärnor från knappar
Microsoft kräver att företag helt separerar en modells intelligens från dess faktiska operativa auktoritet. Programvaran ska kunna lista ut vad som behöver göras härnäst. Den ska dock inte alltid ha befogenhet att klicka på den slutgiltiga exekveringsknappen på egen hand.
En artificiell intelligens kan besluta att en specifik leverantör behöver betalas omedelbart. Den kan utarbeta överföringen, förbereda pappersarbetet och köa transaktionen för granskning. Men ett oberoende kontrollsystem bör kräva att en människa godkänner den slutgiltiga utbetalningen av medel.
Att förlita sig på att AI:n ska övervaka sitt eget beteende är ett recept för total katastrof. Du kan inte lita på att samma system som fattade beslutet objektivt verifierar sitt eget arbete. Organisationer måste bygga oberoende säkerhetskontroller som existerar helt utanför den centrala språkmodellen.
Behålla en oföränderlig logg
Nadella insisterar också på att varje meningsfull åtgärd som vidtas av en agent måste lämna ett spår. Om ett system inte kan observeras kan det helt enkelt inte lita på att det fungerar i bakgrunden. Vi behöver manipuleringssäkra bevis på exakt vad programvaran gjorde och varför den gjorde det.
Denna granskningslogg kan inte förlita sig på att den artificiella intelligensen sammanfattar sina egna tidigare handlingar. Loggen måste genereras av de faktiska system och applikationer som agenten interagerade med. Om boten mejlar en klient måste mejlservern logga den specifika händelsen oberoende.
Denna nivå av transparens säkerställer att mänskliga chefer alltid kan rekonstruera en operativ beslutsväg. När något oundvikligen går fel förtjänar berörda personer ett snabbt meddelande och en tydlig förklaring. Det gör det också mycket lättare att isolera en felaktig agent innan den orsakar omfattande skada.
Installera en nödbroms
Varje seriös AI-implementering måste ha en tydlig och tillgänglig avstängningsknapp för slutanvändaren. En behörig person måste alltid kunna pausa eller helt stänga av en aktiv modell. Detta inneslutningsprotokoll är avgörande när ett system börjar snabbt exekvera en bristfällig flerstegsplan.
Vi kräver redan denna typ av säkerhetsarkitektur inom flyg, kärnmaterial och moderna bilar. Programvara som kan vidta verksamhetskritiska åtgärder å våra vägnar kräver samma nivå av ingenjörsmässig noggrannhet. Det mest pålitliga systemet är faktiskt det som tillåter oss att lita minst på modellen.
Du kanske aldrig driver ett massivt företags säkerhetsteam för ett globalt teknikföretag. Dessa exakt samma regler gäller dock i samma ögonblick som du låter en AI röra dina personuppgifter. Begränsa dess auktoritet, behåll dina egna kvitton och vet alltid exakt var nödstoppet är.
