Wanneer hoog-risico AI-systemen van toepassing zijn en wat daarna te doen

Hoog-risico AI-systemen zijn van toepassing wanneer een SaaS-team een AI-systeem bouwt, verkoopt, integreert, configureert of gebruikt dat in een high-risk route van de EU AI Act valt. De vraag is niet of het bedrijf ergens AI gebruikt. De vraag is of een specifiek systeem, met een specifiek doel, in een gereguleerde productcontext of Annex III-use case valt.

Voor SaaS hangt het antwoord vaak af van productdoel, klantconfiguratie, getroffen personen, data, vendor-rol, human review, markt en gebruik van output.

De twee hoofdroutes

De eerste route gaat over gereguleerde producten. Een AI-systeem kan high-risk zijn als het bedoeld is als veiligheidscomponent van een product, of zelf een product is, onder Annex I-wetgeving valt en third-party conformity assessment vereist. Dit is relevant voor SaaS rond medical devices, machinery, transport, aviation, radio equipment, toys, industrie of robotics.

De tweede route is Annex III: biometrics, critical infrastructure, education, employment, worker management, essential services, law enforcement, migration, justice en democratic processes. Voor SaaS is dit vaak zichtbaarder. Hiring, kandidatenranking, worker evaluation, student assessment, credit eligibility of access decisions kunnen diepere review vragen.

Wanneer review starten

Start review wanneer een AI-systeem mensen in een betekenisvolle context kan raken. Triggers zijn nieuw AI feature, nieuw model of vendor, nieuw doel, nieuwe klantconfiguratie, HR, education, healthcare, essential services, credit of insurance, biometrie, automated ranking, minder human review, EU-marktuitbreiding of klantvragen.

Klantconfiguratie is belangrijk. Een horizontaal platform kan standaard niet high-risk zijn, maar gevoelig worden wanneer klanten het gebruiken voor werknemersbeoordeling, kandidatenranking, eligibility scoring of publieke beslissingen.

Wanneer het mogelijk niet geldt

Niet elke AI-enabled SaaS feature is high-risk. Een interne drafting assistant, code helper, analytics assistant, ticket summary of knowledge search kan buiten de route vallen als het niet in Annex III werkt, geen veiligheidscomponent van een gereguleerd product is en geen belangrijke beslissingen over personen ondersteunt.

Het kan nog steeds AI inventory, privacy review, security review, vendor assessment, prohibited-practice screening, customer disclosure of gewone AI governance nodig hebben.

Wat eerst te doen

Begin met een korte intake: systeemnaam, owner, business purpose, user journey, getroffen personen, geografie, data, model of vendor, AI Act-rolhypothese, output, human review, klantconfiguratie en link met gereguleerde producten of Annex III.

Routeer daarna. Duidelijke no-high-risk gevallen gaan naar gewone governance. High-risk kandidaten gaan naar diepere legal en compliance review. Onzekere gevallen krijgen reviewer, deadline en minimaal bewijs.

Bewijs om te bewaren

Bewaar AI inventory, intake, product- of vendorbeschrijving, data flow, analyse van getroffen personen, intended purpose, Annex I- of Annex III-screening, role analysis, conclusie, reviewer, datum, rationale, launch decision, controles en re-review trigger.

Voor interne systemen: architecture notes, model documentation, tests, logging design, human oversight en monitoring plan. Voor vendors: AI documentation, instructions for use, contractuele toezeggingen, security answers en audit- of certification-materiaal.

SaaS-scenario's

Een support assistant die interne tickets samenvat kan buiten high-risk vallen als medewerkers output controleren en het systeem geen personen rangschikt, scoort of toegang beslist.

Een HR-feature die sollicitaties filtert, kandidaten rangschikt of performance beoordeelt is anders. Employment en worker management zijn Annex III-gebieden.

Een healthcare workflow voor triage, diagnostics of medical-device functionality kan zowel Annex III als gereguleerde productvragen oproepen.

FAQ

Wat is het praktische doel?

Systemen herkennen die strengere governance, sterker bewijs, lifecycle controls en duidelijke ownership nodig hebben.

Wanneer geldt dit voor SaaS-teams?

Wanneer zij AI bouwen, verkopen, integreren, configureren of gebruiken als veiligheidscomponent van een gereguleerd product, als gereguleerd product of voor een Annex III-use case.

Wat eerst documenteren?

AI inventory, high-risk intake, role analysis, intended purpose, analyse van getroffen personen, classificatiebesluit, owner, bewijsplaats, launch gate en re-review trigger.

Sources

• Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence.
• European Commission guidance for providers and deployers of high-risk AI systems.
• European Commission AI Act FAQ.
• AI Act Service Desk guidance on Annex III high-risk AI systems.