Asger Risom
n liten grupp personer med bakgrund inom AI-branschen har lanserat ett kontroversiellt projekt som syftar till att försvaga tekniken inifrån.
En liten grupp personer med bakgrund inom AI-branschen har lanserat ett kontroversiellt projekt som syftar till att försvaga tekniken inifrån. Oroade över hur AI-system används uppmanar de kritiker att agera direkt i stället för att invänta reglering.
En ny kampanj
Initiativet, kallat Poison Fountain, uppmuntrar webbplatsägare att medvetet mata AI-system med vilseledande information när dessa genomsöker internet efter träningsdata. Projektet har varit aktivt i omkring en vecka, enligt rapportering från The Register.
AI-modeller är i hög grad beroende av data som samlas in från offentliga webbplatser. När datan är korrekt förbättras modellernas prestanda. När den är felaktig eller missvisande kan kvaliteten på systemen försämras — något gruppen bakom projektet vill utnyttja.
De ansvariga för Poison Fountain menar att detta beroende utgör en kritisk svaghet i dagens AI-utveckling.
Hur förgiftning fungerar
Datapåverkan, eller så kallad dataförgiftning, kan ske på flera sätt — från enkla faktafel på webbplatser till mer riktad manipulation av träningsdataset. The Register noterade att sådana attacker kan innebära ändrad kod eller innehåll som inför subtila fel som är svåra för modeller att upptäcka.
Projektet hämtar inspiration från forskning av AI-bolaget Anthropic. I en rapport som publicerades i oktober förra året föreslogs att förgiftningsattacker är mer genomförbara än man tidigare trott, och att ett relativt litet antal skadliga dokument kan försämra en modells resultat märkbart.
Poison Fountain ska inte förväxlas med skadliga råd som AI-system själva kan generera, betonade rapporten.
Anonyma insiders
En person som uppmärksammade The Register på projektet bad att få vara anonym och hänvisade till sin anställning på ett större amerikanskt teknikbolag verksamt inom AI-utveckling. Personen sade att målet är att belysa vad som beskrivs som AI:s ”akilleshäl” och att motivera andra att skapa så kallade ”informationsvapen”.
Källan uppgav att fem personer är involverade, varav några enligt uppgift arbetar på andra stora AI-företag. Detta har inte kunnat verifieras oberoende, men gruppen har sagt att den avser att tillhandahålla kryptografiska bevis på flera deltagare när samordningen tillåter.
Uppmaning till handling
På Poison Fountains webbplats hävdas att passivt motstånd inte längre räcker. ”Vi håller med Geoffrey Hinton: maskinintelligens är ett hot mot den mänskliga arten”, står det. ”Som svar på detta hot vill vi tillfoga skada på maskinintelligenta system.”
Sajten tillhandahåller två länkar till förgiftade dataset — ett som ligger på en vanlig webbplats och ett på Tor-nätverket för att göra det svårare att ta bort. Besökare uppmanas att ”hjälpa krigsinsatsen genom att cacha och vidarebefordra detta förgiftade träningsdata”.
Debatt och risker
The Register rapporterar att AI-kritiker länge har förespråkat reglering, men att gruppen bakom Poison Fountain anser att regelverk ensamt inte kan stoppa en teknik som redan är brett tillgänglig. De menar i stället att aktiv störning är det enda återstående alternativet.
Vissa forskare ifrågasätter behovet av sådana åtgärder och pekar på farhågor om att AI-system redan kan försämras genom överdrivet beroende av syntetisk data — ett fenomen som kallas modellkollaps. Andra varnar för att dataförgiftning glider över i desinformation, ett problem som uppmärksammades i en NewsGuard-rapport från 2025 om förorenade informationsmiljöer på nätet.
Oavsett om Poison Fountain får genomslag eller ebbar ut understryker projektet den växande oron inom AI-branschen själv för vart tekniken är på väg.
Källor: The Register; Anthropic
