Quando sistemas de IA de alto risco se aplicam e o que fazer a seguir

Sistemas de IA de alto risco aplicam-se quando uma equipa SaaS cria, vende, incorpora, configura ou usa um sistema de IA que entra numa das rotas high-risk do EU AI Act. A pergunta nao e se a empresa usa IA. E se um sistema especifico, com finalidade especifica, esta num contexto de produto regulado ou num caso sensivel de Annex III.

Para SaaS, a resposta depende muitas vezes de finalidade, configuracao do cliente, pessoas afetadas, dados, papel do vendor, human review, mercado e uso do output.

As duas rotas principais

A primeira rota envolve produtos regulados. Um sistema pode ser high-risk se for componente de seguranca de um produto, ou o proprio produto, coberto por legislacao de Annex I e sujeito a third-party conformity assessment. Importa para SaaS ligado a medical devices, machinery, transport, aviation, radio equipment, toys, industria ou robotics.

A segunda rota e Annex III: biometrics, critical infrastructure, education, employment, worker management, essential services, law enforcement, migration, justice e democratic processes. Para SaaS costuma ser a rota mais visivel. Hiring, ranking de candidatos, worker evaluation, student assessment, credit eligibility ou access decisions podem exigir review mais profundo.

Quando ativar review

Ative review quando um sistema de IA pode afetar pessoas num contexto relevante. Triggers comuns: novo AI feature, novo modelo ou vendor, nova finalidade, nova configuracao cliente, HR, education, healthcare, essential services, credit ou insurance, biometria, automated ranking, menos human review, entrada no mercado UE ou pergunta de cliente.

Configuracao do cliente e critica. Uma plataforma horizontal pode nao ser high-risk por default, mas tornar-se sensivel quando clientes a usam para avaliar trabalhadores, ordenar candidatos, pontuar eligibility ou apoiar decisoes publicas.

Quando pode nao se aplicar

Nem toda feature SaaS com IA e high-risk. Um drafting assistant interno, code helper, analytics assistant, resumo de tickets ou knowledge search pode estar fora se nao opera em Annex III, nao e componente de seguranca de produto regulado e nao apoia decisoes relevantes sobre pessoas.

Ainda pode precisar de AI inventory, privacy review, security review, vendor assessment, prohibited-practice screening, customer disclosure ou controlos normais de AI governance.

O que fazer primeiro

Comece com um intake curto: nome do sistema, owner, business purpose, user journey, pessoas afetadas, geografia, dados, modelo ou vendor, hipotese de papel AI Act, output, human review, configuracao cliente e ligacao a produtos regulados ou Annex III.

Depois atribua rota. Casos claros no-high-risk seguem para governance normal. Candidatos high-risk entram em review legal e compliance. Casos incertos vao para reviewer nomeado com deadline e evidencia minima.

Evidencia a guardar

Guarde AI inventory, intake, descricao produto ou vendor, data flow, analise de pessoas afetadas, intended purpose, screening Annex I ou Annex III, role analysis, conclusao, reviewer, data, rationale, decisao launch, controlos ativados e re-review trigger.

Para sistemas internos, guarde architecture notes, model documentation, testes, logging design, human oversight e monitoring plan. Com vendors, guarde AI documentation, instructions for use, compromissos contratuais, security answers e materiais audit ou certification.

Cenarios SaaS

Um support assistant que resume tickets internos pode estar fora de high-risk se agentes revem o output e o sistema nao ordena, pontua ou decide acesso de pessoas.

Uma feature HR que filtra candidaturas, ordena candidatos ou avalia performance e diferente. Employment e worker management sao areas Annex III.

Um workflow healthcare para triage, diagnostics ou medical-device functionality pode levantar Annex III e questoes de produto regulado.

FAQ

Qual e o objetivo pratico?

Identificar sistemas que precisam de governance mais rigorosa, evidencias mais fortes, lifecycle controls e ownership claro.

Quando se aplica a equipas SaaS?

Quando criam, vendem, incorporam, configuram ou usam IA como componente de seguranca de produto regulado, como produto regulado ou para um caso Annex III.

O que documentar primeiro?

AI inventory, high-risk intake, role analysis, intended purpose, analise de pessoas afetadas, decisao de classificacao, owner, local da evidencia, launch gate e re-review trigger.

Sources

• Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence.
• European Commission guidance for providers and deployers of high-risk AI systems.
• European Commission AI Act FAQ.
• AI Act Service Desk guidance on Annex III high-risk AI systems.