Nar hogrisk AI-system galler och vad man gor harnast

Hogrisk AI-system galler nar ett SaaS-team bygger, saljer, integrerar, konfigurerar eller anvander ett AI-system som hamnar i en high-risk-rutt under EU AI Act. Fragan ar inte om foretaget anvander AI nagonstans. Fragan ar om ett specifikt system, med ett specifikt syfte, finns i en reglerad produktkontext eller i ett kansligt Annex III-use case.

For SaaS beror svaret ofta pa produktsyfte, kundkonfiguration, berorda personer, data, vendor-roll, human review, marknad och hur output anvands.

De tva huvudrutterna

Den forsta rutten galler reglerade produkter. Ett AI-system kan vara high-risk om det ar sakerhetskomponent i en produkt, eller sjalva produkten, som omfattas av Annex I-lagstiftning och kraver third-party conformity assessment. Det ar relevant for SaaS kopplat till medical devices, machinery, transport, aviation, radio equipment, toys, industri eller robotics.

Den andra rutten ar Annex III: biometrics, critical infrastructure, education, employment, worker management, essential services, law enforcement, migration, justice och democratic processes. For SaaS ar detta ofta den mer synliga rutten. Hiring, candidate ranking, worker evaluation, student assessment, credit eligibility eller access decisions kan krava djupare review.

Nar review ska startas

Starta review nar ett AI-system kan paverka personer i ett betydelsefullt sammanhang. Vanliga triggers ar nytt AI feature, ny modell eller vendor, nytt syfte, ny kundkonfiguration, HR, education, healthcare, essential services, credit eller insurance, biometri, automated ranking, mindre human review, EU-marknadsintrade eller kundfragor.

Kundkonfiguration ar viktig. En horisontell plattform kanske inte ar high-risk i default, men kan bli kanslig nar kunder anvander den for att utvardera workers, ranka kandidater, score eligibility eller stodja offentliga beslut.

Nar det kanske inte galler

Alla AI-enabled SaaS features ar inte high-risk. En intern drafting assistant, code helper, analytics assistant, ticket summary eller knowledge search kan ligga utanfor om den inte verkar i Annex III, inte ar sakerhetskomponent i en reglerad produkt och inte stodjer viktiga beslut om personer.

Den kan anda behova AI inventory, privacy review, security review, vendor assessment, prohibited-practice screening, customer disclosure eller vanliga AI governance-kontroller.

Vad man gor forst

Borja med en kort intake: systemnamn, agare, business purpose, user journey, berorda personer, geografi, data, modell eller vendor, AI Act-rollhypotes, output, human review, kundkonfiguration och koppling till reglerade produkter eller Annex III.

Routea sedan fallet. Klara no-high-risk fall gar till vanlig governance. High-risk kandidater gar till djupare legal och compliance review. Osakra fall gar till namngiven reviewer med deadline och minsta bevispaket.

Bevis att behalla

Behall AI inventory, intake, produkt- eller vendorbeskrivning, data flow, analys av berorda personer, intended purpose, Annex I- eller Annex III-screening, role analysis, slutsats, reviewer, datum, rationale, launch-beslut, aktiverade kontroller och re-review trigger.

For interna system: architecture notes, model documentation, tester, logging design, human oversight och monitoring plan. Med vendors: AI documentation, instructions for use, kontraktsloften, security answers och audit- eller certification-material.

SaaS-scenarier

En support assistant som sammanfattar interna tickets kan vara utanfor high-risk om agenter granskar output och systemet inte rankar, poangsatter eller beslutar access for personer.

Ett HR-feature som filtrerar ansokningar, rankar kandidater eller utvarderar performance ar annorlunda. Employment och worker management ar Annex III-omraden.

Ett healthcare workflow for triage, diagnostics eller medical-device functionality kan vacka bade Annex III och reglerade produktfragor.

FAQ

Vad ar det praktiska syftet?

Att identifiera system som behover striktare governance, starkare bevis, lifecycle controls och tydligt agarskap.

Nar galler det SaaS-team?

Nar de bygger, saljer, integrerar, konfigurerar eller anvander AI som sakerhetskomponent i en reglerad produkt, som reglerad produkt eller for ett Annex III-use case.

Vad ska dokumenteras forst?

AI inventory, high-risk intake, role analysis, intended purpose, analys av berorda personer, klassificeringsbeslut, agare, bevisplats, launch gate och re-review trigger.

Sources

• Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence.
• European Commission guidance for providers and deployers of high-risk AI systems.
• European Commission AI Act FAQ.
• AI Act Service Desk guidance on Annex III high-risk AI systems.