Quando si applicano i sistemi di IA ad alto rischio e cosa fare dopo

I sistemi di IA ad alto rischio si applicano quando un team SaaS costruisce, vende, integra, configura o usa un sistema di IA che rientra in una delle route high-risk dell'EU AI Act. La domanda non e se l'azienda usa IA, ma se uno specifico sistema, con una specifica finalita, rientra in un prodotto regolato o in un caso sensibile di Annex III.

Per SaaS, la risposta dipende spesso da finalita prodotto, configurazione cliente, persone interessate, dati, ruolo vendor, human review, mercato e uso dell'output.

Le due route principali

La prima route riguarda prodotti regolati. Un sistema puo essere high-risk se e componente di sicurezza di un prodotto, o e esso stesso un prodotto, coperto dalla normativa di Annex I e soggetto a third-party conformity assessment. Conta per SaaS connesso a medical devices, machinery, transport, aviation, radio equipment, toys, industria o robotics.

La seconda route e Annex III: biometrics, critical infrastructure, education, employment, worker management, essential services, law enforcement, migration, justice e democratic processes. Per SaaS spesso e la route piu visibile. Hiring, ranking candidati, worker evaluation, student assessment, credit eligibility o access decisions richiedono review piu profondo.

Quando attivare review

Attiva review quando un sistema di IA puo incidere su persone in un contesto significativo. Trigger comuni: nuovo AI feature, nuovo modello o vendor, nuova finalita, nuova configurazione cliente, uso in HR, education, healthcare, essential services, credit o insurance, biometria, ranking automatizzato, meno human review, ingresso nel mercato UE o domande cliente.

La configurazione cliente e cruciale. Una piattaforma orizzontale puo non essere high-risk di default, ma diventare sensibile se usata per valutare lavoratori, ordinare candidati, scoring di eligibility o decisioni pubbliche.

Quando puo non applicarsi

Non ogni feature SaaS con IA e high-risk. Un drafting assistant interno, code helper, analytics assistant, riassunto ticket o knowledge search puo essere fuori se non opera in Annex III, non e componente di sicurezza di prodotto regolato e non supporta decisioni rilevanti su persone.

Puo comunque richiedere AI inventory, privacy review, security review, vendor assessment, prohibited-practice screening, customer disclosure o normali controlli AI governance.

Cosa fare prima

Inizia con un intake breve: nome sistema, owner, business purpose, user journey, persone interessate, geografia, dati, modello o vendor, ipotesi ruolo AI Act, output, human review, configurazione cliente e collegamento con prodotti regolati o Annex III.

Poi assegna una route. Casi chiari no-high-risk passano a governance ordinaria. Candidati high-risk entrano in review legal e compliance. Casi incerti vanno a un reviewer nominato con deadline ed evidenza minima.

Evidenze da conservare

Conserva AI inventory, intake, descrizione prodotto o vendor, data flow, analisi delle persone interessate, intended purpose, screening Annex I o Annex III, role analysis, conclusione, reviewer, data, rationale, decisione launch, controlli attivati e trigger di re-review.

Per sistemi interni, conserva architecture notes, model documentation, test, logging design, human oversight e monitoring plan. Con vendor, conserva AI documentation, instructions for use, impegni contrattuali, security answers e materiali audit o certification.

Scenari SaaS

Un support assistant che riassume ticket interni puo essere fuori high-risk se gli agenti verificano l'output e il sistema non ranka, valuta o decide accesso per persone.

Un feature HR che filtra candidature, ranka candidati o valuta performance e diverso. Employment e worker management sono aree Annex III.

Un workflow healthcare per triage, diagnostics o medical-device functionality puo sollevare sia Annex III sia domande di prodotto regolato.

FAQ

Qual e lo scopo pratico?

Identificare sistemi che richiedono governance piu rigorosa, evidenze piu forti, lifecycle controls e ownership chiara.

Quando si applica ai team SaaS?

Quando costruiscono, vendono, integrano, configurano o usano IA come componente di sicurezza di prodotto regolato, come prodotto regolato o per un caso Annex III.

Cosa documentare prima?

AI inventory, high-risk intake, role analysis, intended purpose, analisi persone interessate, decisione di classificazione, owner, luogo delle evidenze, launch gate e re-review trigger.

Sources

• Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence.
• European Commission guidance for providers and deployers of high-risk AI systems.
• European Commission AI Act FAQ.
• AI Act Service Desk guidance on Annex III high-risk AI systems.