Sisteme AI cu risc ridicat: ghid practic pentru echipele SaaS

Sistemele AI cu risc ridicat sunt sisteme care intra pe ruta mai stricta de compliance din EU AI Act din cauza scopului, contextului de produs sau impactului posibil asupra sanatatii, sigurantei ori drepturilor fundamentale. Pentru o echipa SaaS, intrebarea practica nu este doar daca produsul foloseste AI. Intrebarea este daca un use case concret este componenta de siguranta a unui produs reglementat, este el insusi produs reglementat, sau este destinat unui use case din Annex III.

Daca raspunsul poate fi da, echipa are nevoie de un workflow structurat. Acesta trebuie sa identifice sistemul, rolul, scopul, persoanele afectate, datele, configuratia de client, vendorul, dovezile, controalele, ownerul si launch gate-ul. Decizia nu trebuie sa ramana doar intr-un memo juridic; trebuie sa ghideze product, engineering, security, privacy, compliance si echipele customer-facing.

Draft guidelines ale European Commission din mai 2026 sunt utile deoarece explica interpretarea actuala a Article 6 si ofera exemple practice. Ele raman draft guidance, deci AI Act ramane sursa obligatiei legale.

De ce conteaza

Clasificarea high-risk poate declansa risk management, data governance, documentatie tehnica, logging, transparenta, human oversight, accuracy, robustness, cybersecurity, quality management, conformity assessment, inregistrare, monitoring si incident handling.

Cel mai mare risc operational este ambiguitatea. O echipa poate lansa ranking, scoring, filtering, recomandari, HR, education, healthcare sau access decisions fara sa decida daca use case-ul intra pe ruta high-risk. Cand procurement, security-ul clientului sau auditul intreaba, feature-ul poate fi deja in contracte.

Clasificarea accelereaza pentru ca ruteaza munca. Un assistant de drafting nu are nevoie de acelasi proces ca un sistem care filtreaza candidati. Un rezumat intern nu este acelasi lucru cu scoring pentru credit, munca, educatie sau essential services.

Doua rute principale

Prima ruta priveste produsele reglementate. Un sistem AI poate fi high-risk daca este componenta de siguranta a unui produs, sau produsul insusi, acoperit de legislatia de armonizare din Annex I si supus unui third-party conformity assessment. Este relevant pentru SaaS in medical devices, machinery, transport, aviation, robotics, industrial sau infrastructure.

A doua ruta este Annex III: biometrics, critical infrastructure, education, employment, worker management, essential services, law enforcement, migration, justice si democratic processes. Analiza depinde de scop si utilizare concreta, nu de numele modelului.

Pentru SaaS, Annex III este adesea triggerul mai comun. Hiring, candidate filtering, worker evaluation, student assessment, creditworthiness, insurance risk, biometric identification sau legal decision support necesita review mai profunda.

Cand activezi review

Activeaza review pentru un nou AI feature, model sau vendor, scop nou, configuratie noua de client, utilizare in HR, education, healthcare, essential services, credit sau insurance, biometrie, ranking automatizat, human review redus, intrare pe piata UE sau intrebari de client despre AI Act.

Vendor AI cere aceeasi disciplina. Termeni ca insight, intelligence, automation, recommendation, screening, identity sau safety nu rezolva clasificarea. Echipa trebuie sa stie ce face sistemul, ce date foloseste, cine este afectat, cum este folosit outputul, ce configuratii sensibile exista si care este rolul clientului.

Workflow practic

Incepe cu un intake scurt: sistem, owner, scop, user journey, persoane afectate, geografie, date, model sau vendor, rol AI Act, output, human review, configuratie client si legatura cu Annex I sau Annex III.

Apoi ruteaza. Cazurile fara red flags merg in clasificare obisnuita, privacy, security si vendor review. Candidatii high-risk merg in assessment legal si compliance inainte de lansare. Cazurile ambigue merg la un reviewer numit cu termen.

Pentru sisteme probabil high-risk, extinde registrul: risk management, data governance, technical documentation, logging, instructions for use, human oversight, testing, cybersecurity, post-market monitoring, incident escalation, vendor evidence, conformity route si documentatie pentru client.

Dovezi si ownership

Dovezile trebuie sa raspunda la ce s-a revizuit, de ce s-a ales clasificarea, ce controale au urmat si cand se redeschide decizia. Pastreaza inventory, intake, descriere produs sau vendor, data flow, analiza persoanelor afectate, intended purpose, screening, role analysis, concluzie, reviewer, data, surse, launch decision, controale si trigger de review.

Product detine scopul si configuratia. Engineering detine arhitectura, datele, logurile si testingul. Security detine vendorul si cybersecurity. Privacy detine data protection. Legal si compliance detin interpretarea AI Act si evidence standard. Leadership detine risk acceptance pentru lansari sensibile sau ambigue.

Greseli comune

Prima greseala este tratarea high-risk ca eticheta de brand. Acelasi model poate sustine drafting low-risk sau employment review high-risk. A doua este dependenta doar de vendor assurances. A treia este presupunerea ca human review rezolva totul. A patra este uitarea change management cand se schimba scopul, datele, geografia, clientul, modelul sau oversightul.

FAQ

Care este scopul practic?

Sa identifici sisteme AI care necesita o ruta de governance mai stricta, dovezi mai puternice si lifecycle controls inainte de a fi puse pe piata, puse in serviciu sau folosite in workflowuri sensibile.

Cand se aplica echipelor SaaS?

Cand echipa construieste, vinde, integreaza, configureaza sau foloseste AI ca componenta de siguranta a unui produs reglementat, ca produs reglementat sau pentru utilizari Annex III precum munca, educatie, essential services, biometrics, law enforcement, migration, justice sau procese democratice.

Ce documentezi mai intai?

AI inventory, high-risk intake, role analysis, intended purpose, persoane afectate, classification decision, owner, locatia dovezilor si launch gate.

Sources

• Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence.
• European Commission draft guidelines on the classification of high-risk AI systems.
• European Commission AI Act FAQ on high-risk AI systems.
• AI Act Service Desk guidance on high-risk AI in regulated products.