Cuando aplican los sistemas de IA de alto riesgo y que hacer despues

Los sistemas de IA de alto riesgo aplican cuando un equipo SaaS crea, vende, incorpora, configura o usa un sistema de IA que entra en una de las rutas high-risk del EU AI Act. La pregunta practica no es si la empresa usa IA. Es si un sistema concreto, con una finalidad concreta, cae en un producto regulado o en un caso sensible de Annex III.

Para SaaS, la respuesta suele depender de finalidad, configuracion de cliente, personas afectadas, datos, rol del vendor, human review, mercado y uso del output. Un feature puede parecer normal en un workflow y sensible en otro.

Las dos rutas principales

La primera ruta son productos regulados. Un sistema puede ser high-risk si es componente de seguridad de un producto, o el propio producto, cubierto por legislacion de Annex I y sujeto a third-party conformity assessment. Importa para SaaS conectado a medical devices, maquinaria, transporte, aviacion, radio equipment, juguetes, industria o robotics.

La segunda ruta es Annex III: biometrics, critical infrastructure, education, employment, worker management, essential services, law enforcement, migration, justice y democratic processes. Para SaaS suele ser la ruta mas frecuente. Hiring, ranking de candidatos, evaluacion de trabajadores, student assessment, credit eligibility o access decisions requieren review mas profundo.

Cuando activar review

Activa review cuando un sistema de IA puede afectar a personas en un contexto relevante. Triggers comunes: nuevo AI feature, nuevo modelo o vendor, nueva finalidad, nueva configuracion, uso en HR, educacion, healthcare, servicios esenciales, credito o seguros, biometria, ranking automatizado, menos human review, entrada al mercado UE o preguntas de clientes.

La configuracion de cliente importa mucho. Una plataforma horizontal puede no ser high-risk por defecto, pero volverse sensible si el cliente la usa para evaluar trabajadores, rankear applicants, puntuar elegibilidad o apoyar decisiones publicas.

Cuando puede no aplicar

No todo feature SaaS con IA es high-risk. Un drafting assistant interno, code helper, analytics assistant, resumen de tickets o knowledge search puede estar fuera si no opera en Annex III, no es componente de seguridad de un producto regulado y no apoya decisiones relevantes sobre personas.

Puede seguir necesitando AI inventory, privacy review, security review, vendor assessment, prohibited-practice screening, customer disclosure o controles normales de AI governance.

Que hacer primero

Empieza con un intake breve: nombre del sistema, owner, business purpose, user journey, personas afectadas, geografia, datos, modelo o vendor, hipotesis de rol AI Act, output, human review, configuracion de cliente y relacion con productos regulados o Annex III.

Despues asigna ruta. Casos claros no-high-risk pasan a governance ordinaria. Candidatos high-risk pasan a review legal y compliance mas profundo. Casos inciertos van a un reviewer con deadline y evidencia minima.

Evidencia que conservar

Conserva AI inventory, intake, descripcion de producto o vendor, data flow, analisis de personas afectadas, intended purpose, screening Annex I o Annex III, role analysis, conclusion, reviewer, fecha, rationale, decision de launch, controles activados y trigger de re-review.

Si el sistema es interno, guarda architecture notes, model documentation, tests, logging design, human oversight y monitoring plan. Si hay vendor, guarda AI documentation, instructions for use, compromisos contractuales, security answers y materiales de audit o certification.

Escenarios SaaS

Un assistant que resume tickets internos puede estar fuera si agentes revisan el output y no se rankea, puntua o decide acceso de personas. Aun asi requiere evidencias de data flow, vendor terms y privacy.

Un feature HR que filtra aplicaciones, rankea candidatos o evalua performance es distinto. Employment y worker management son areas Annex III.

Un workflow healthcare para triage, diagnostics o medical-device functionality puede activar Annex III y preguntas de producto regulado. Roles y conformity assessment deben aclararse pronto.

FAQ

Cual es el proposito practico?

Identificar sistemas que necesitan governance mas estricta, evidencia mas fuerte, lifecycle controls y ownership claro.

Cuando aplica a equipos SaaS?

Cuando crean, venden, incorporan, configuran o usan IA como componente de seguridad de producto regulado, como producto regulado o para casos Annex III como empleo, educacion, servicios esenciales, biometria, law enforcement, migration, justice o democratic processes.

Que documentar primero?

AI inventory, high-risk intake, role analysis, intended purpose, analisis de personas afectadas, decision de clasificacion, owner, ubicacion de evidencia, launch gate y re-review trigger.

Sources

• Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence.
• European Commission guidance for providers and deployers of high-risk AI systems.
• European Commission AI Act FAQ.
• AI Act Service Desk guidance on Annex III high-risk AI systems.