FN:s människorättschef varnar för AI-risker – vill se globala röda linjer

FN:s högkommissarie för mänskliga rättigheter, Volker Türk, varnade den 7 september 2026 för att avancerad artificiell intelligens kan medföra mycket stora risker och uppmanade länder och AI-aktörer att enas om tydligare säkerhetsgränser. I sitt tal inför FN:s råd för mänskliga rättigheter efterlyste han starkare skydd kring avancerad AI och gemensamma internationella ”röda linjer”.

Det är samtidigt viktigt att skilja på varningen och ett fastslaget framtidsscenario. Türk beskrev en möjlig risk och en politisk säkerhetsfråga. Han presenterade ingen sannolikhetsbedömning eller tidsplan för ett katastrofscenario, och uttalandet ska därför inte läsas som att FN har slagit fast att en sådan utveckling är nära förestående.

FN-chefen vill se starkare skydd mot AI-risker

Türk sade inför det 47 medlemsländer starka rådet i Genève att han delar den oro som vissa personer inom AI-branschen har uttryckt för att avancerad AI i värsta fall skulle kunna bli ett existentiellt hot mot mänskligheten. Han efterlyste robusta garantier för säkerhet och kontroll innan systemen blir ännu mer kapabla.

En talesperson för FN:s människorättskontor uppgav för Reuters att problem med mycket kraftfulla AI-system bland annat skulle kunna påverka kritisk infrastruktur, kommunikation och demokratiska institutioner. Det är sådana systemrisker som ligger bakom kravet på tydligare säkerhetsramar.

Türk efterlyste också att länder där stora AI-system utvecklas eller drivs, och länder som ingår i deras leveranskedjor, ska samlas kring gemensamt överenskomna röda linjer. Någon färdig internationell regelbok presenterades däremot inte i talet.

Vad FN faktiskt säger – och inte säger

Formuleringen om ett möjligt existentiellt hot är stark, men den behöver sättas i rätt sammanhang. Det handlar om en varning från FN:s människorättschef och en uppmaning till förebyggande reglering. Det är inte ett vetenskapligt fastställt besked om att AI kommer att orsaka en global katastrof.

Säkerhetsdebatten kring avancerad AI rymmer flera olika risknivåer. En del gäller redan konkreta frågor, exempelvis felaktiga automatiserade beslut, desinformation, diskriminering, cyberrisker och störningar i samhällsviktiga tjänster. Andra handlar om mer långsiktiga scenarier där system får större självständighet och tillgång till verktyg, kodmiljöer eller fysisk infrastruktur.

Marketplace har nyligen rapporterat om hur OpenAI skickade en incidentrapport till EU efter en händelse med AI-agenter. Det är en separat händelse, men den visar varför frågor om loggning, behörigheter, incidentrapportering och möjlighet att stoppa agentkörningar har blivit mer centrala.

AI-agenter har gjort säkerhetsfrågan mer konkret

Reuters hänvisar i sin rapportering till en tidigare incident där AI-agenter agerade på ett oväntat sätt på en öppen plattform. FN:s människorättskontor pekade på den typen av agentbeteende som ett tecken på att kapaciteten i så kallade frontier-modeller kan utvecklas snabbare än vissa skyddsmekanismer.

AI-agenter skiljer sig från vanliga chattbotar genom att de kan få tillgång till externa verktyg och genomföra flera steg utan att en människa behöver klicka sig igenom varje moment. Det kan ge stor produktivitetsnytta, men innebär också att fel eller missförstånd kan få större räckvidd.

I en tidigare genomgång har Marketplace också beskrivit hur stora AI-bolag fått varierande säkerhetsbetyg i en extern granskning. Sådana betyg är inte myndighetsbeslut, men de illustrerar hur frågor om containment, övervakning och oberoende kontroll numera bedöms som egna delar av AI-säkerheten.

Vad kan globala röda linjer innebära?

Türk specificerade inte någon fullständig lista över regler. Hans uttalande bör därför inte tolkas som ett färdigt FN-förslag. En rimlig läsning av begreppet ”röda linjer” är däremot att vissa typer av användning eller autonomt beslutsfattande skulle kunna kräva gemensamma internationella begränsningar.

I samma tal tog Türk upp rapporter om fullt autonoma drönare och anslöt sig till krav på ett brådskande förbud mot vapen som kan ta människoliv utan mänsklig inblandning. Reuters noterade samtidigt att uppgifterna om den aktuella användningen av sådana drönare inte hade kunnat verifieras oberoende.

För civila AI-system kan säkerhetsarbetet i praktiken handla om striktare behörighetsnivåer, mänskligt godkännande av känsliga åtgärder, tydlig spårbarhet, incidentrapportering och tekniska möjligheter att snabbt avbryta en körning. Det är etablerade riskhanteringsprinciper, men exakt vilka krav som ska vara bindande globalt är fortfarande en politisk och juridisk fråga.

Ingen bindande global överenskommelse är klar

Türks tal innebär inte att nya globala AI-regler nu har trätt i kraft. Hans budskap är i första hand en uppmaning till regeringar och företag att behandla avancerad AI som en internationell säkerhets- och människorättsfråga, snarare än enbart som en teknisk produktfråga.

FN:s råd för mänskliga rättigheter fortsätter sin session till den 7 oktober. Parallellt utvecklas AI-regler på flera nivåer, bland annat genom nationell lagstiftning, EU:s AI-regelverk och internationella processer. Hur långt länder kan enas om gemensamma röda linjer återstår att se.

För svenska företag och organisationer som använder mer självständiga AI-agenter är den omedelbara lärdomen mindre dramatisk men konkret: ge verktygsåtkomst stegvis, begränsa vilka åtgärder en agent får utföra, logga känsliga moment och behåll mänsklig kontroll där konsekvenserna kan bli stora.

Källor

• OHCHR: High Commissioner Türk updates Human Rights Council – Human rights are carriers of hope
• Reuters: AI could pose 'existential' risk to humanity, UN rights chief warns