När AI-riskhantering gäller och vad man gör härnäst

AI-riskhantering gäller när ett system, en funktion, en leverantörsfunktion eller en intern process kan få betydande konsekvenser för människor, data, säkerhet, kunder eller verksamheten. Ett system behöver inte först klassificeras som högrisk enligt AI Act. Integritet, säkerhet, tillförlitlighet, avtal och operativ risk kan var för sig motivera kontroller.

Det praktiska SaaS-testet är: kan användningen förändra ett beslut, exponera skyddad information, påverka en person, skapa kundinnehåll, automatisera en viktig uppgift eller skapa ett åtagande som företaget måste kunna försvara? Om ja, eller om svaret är oklart, registrera användningen, utse en ägare och gör en proportionerlig bedömning före införande eller lansering.

När en granskning behövs

Ta med kundnära AI, egna modeller, modell-API:er, inbyggda leverantörsfunktioner och tredjepartsverktyg som anställda använder. Granskning behövs normalt när personuppgifter eller konfidentiella data behandlas; när resultat påverkar åtkomst, prioritering eller andra viktiga konsekvenser; när effektiv mänsklig tillsyn saknas; när AI kan utföra åtgärder; eller när syfte, data, modell, leverantör, marknad eller användare ändras. För låg påverkan kan granskningen vara enkel, men avgränsningen ska vara medveten och dokumenterad.

Särskilda rättsliga skyldigheter

Allmän riskhantering och efterlevnad av AI Act hänger ihop men är inte samma sak. Skyldigheter beror på systemet, det avsedda syftet, organisationens roll, riskkategori och tillämpningsdatum. Ett SaaS-företag kan vara leverantör för en funktion och tillhandahållare för ett internt verktyg.

Artikel 9 kräver att leverantörer av AI-system med hög risk inrättar, genomför, dokumenterar och upprätthåller ett riskhanteringssystem. Det är en kontinuerlig, iterativ livscykelprocess: identifiera kända och rimligen förutsebara risker, bedöma avsedd användning och förutsebar felanvändning, använda information från övervakning efter marknadsintroduktion, vidta riktade åtgärder och testa systemet. Eftersom tidsplanen har utvecklats bör team kontrollera Europeiska kommissionens aktuella officiella sida.

Fem frågor för triage

1. Vad är det verkliga syftet, vem använder systemet och vem påverkas?
2. Vilka data går in, vilka resultat kommer ut och hur sparas de?
3. Är resultatet ett utkast, råd, rekommendation, prioritering eller automatisk åtgärd?
4. Vad kan gå fel: riktighet, snedvridning, integritet, säkerhet, immaterialrätt eller kontinuitet?
5. Vilka regler, avtal, åtaganden och interna policyer är relevanta?

Operativt arbetsflöde och bevis

Skapa en stabil inventariepost med ägare, syfte, modell eller leverantör, användare, berörda personer, data, automatisering, marknader och granskningsdatum. Dokumentera roll, sammanhang och påverkan. NIST AI RMF ordnar arbetet som Govern, Map, Measure och Manage, med styrning över hela livscykeln.

Välj lämpliga bedömningar: riktighet, felscenarier, integritet och säkerhet, konsekvenser, red teaming eller leverantörsbevis. Sätt kriterier och dokumentera begränsningar. Kontroller ska följa riskerna: dataminimering, förbjudna indata, åtkomst, mänsklig bekräftelse, åtgärdsgränser, loggning, information, reservrutiner, övervakning och eskalering. Registrera ägare, bevis och beslut.

Spara inventarium, rollanalys, bedömning, dataflöden, leverantörsdokument, tester, godkännanden, kontroller, tillsyn, incidenter och ändringshistorik. Bedöm på nytt när syfte, användare, data, modell, leverantör, automatisering, geografi, lag eller observerat beteende ändras.

FAQ

Gäller detta bara AI-system med hög risk?

Nej. Artikel 9 skapar en särskild skyldighet för leverantörer av högrisksystem. Andra system kan behöva proportionerlig riskhantering på grund av integritet, säkerhet, avtal, kundförväntningar eller frivilliga åtaganden.

Vad ska dokumenteras först?

Syfte, ägare, användare, berörda personer, data, modell eller leverantör, resultatanvändning, mänsklig tillsyn, roll, risker, kontroller, godkännande och utlösare för ny bedömning.