Wann KI-Risikomanagement gilt und was als Nächstes zu tun ist

KI-Risikomanagement gilt, wenn ein KI-System, eine Funktion, ein Anbieter-Feature oder ein interner Prozess wesentliche Folgen für Menschen, Daten, Sicherheit, Kunden oder das Unternehmen haben kann. Ein System muss nicht erst als Hochrisiko-KI nach dem EU AI Act eingestuft sein. Datenschutz, Sicherheit, Zuverlässigkeit, Verträge und betriebliche Risiken können eigenständig Kontrollen erfordern.

Für SaaS-Teams lautet der Praxistest: Kann der Einsatz eine Entscheidung verändern, geschützte Informationen offenlegen, eine Person betreffen, kundenorientierte Inhalte erzeugen, einen wichtigen Vorgang automatisieren oder eine Zusage auslösen? Wenn ja oder wenn die Antwort unklar ist, sollte der Anwendungsfall erfasst, einem Owner zugeordnet und vor Einführung angemessen geprüft werden.

Wann eine Prüfung erforderlich ist

Erfasst werden kundenorientierte KI, eigene Modelle, Modell-APIs, eingebettete Anbieterfunktionen und KI-Tools für Beschäftigte. Eine strukturierte Prüfung ist insbesondere angezeigt, wenn personenbezogene oder vertrauliche Daten verarbeitet werden, Ergebnisse Zugang, Priorisierung oder andere folgenreiche Vorgänge beeinflussen, Inhalte ohne wirksame menschliche Kontrolle genutzt werden, KI Aktionen auslösen kann oder sich Zweck, Daten, Modell, Anbieter, Markt oder Nutzergruppe ändern.

Die Prüfung darf bei geringem Risiko schlank sein. Entscheidend ist, dass die Einstufung bewusst getroffen und dokumentiert wird.

Wann eine konkrete Rechtspflicht gilt

Allgemeines KI-Risikomanagement und AI-Act-Compliance sind nicht identisch. Pflichten hängen vom System, seinem vorgesehenen Zweck, der Rolle des Unternehmens, der Risikoklasse und dem Anwendungszeitpunkt der jeweiligen Vorschrift ab. Ein SaaS-Unternehmen kann für eine Funktion Anbieter und für ein internes Tool Betreiber sein.

Artikel 9 des AI Act verlangt von Anbietern von Hochrisiko-KI-Systemen, ein Risikomanagementsystem einzurichten, umzusetzen, zu dokumentieren und aufrechtzuerhalten. Es ist ein kontinuierlicher, iterativer Prozess über den gesamten Lebenszyklus: bekannte und vernünftigerweise vorhersehbare Risiken identifizieren, Risiken bei bestimmungsgemäßer Verwendung und vorhersehbarem Fehlgebrauch bewerten, Erkenntnisse aus der Marktbeobachtung einbeziehen, gezielte Maßnahmen treffen und testen. Teams sollten den aktuellen offiziellen Zeitplan der Europäischen Kommission prüfen.

Fünf Fragen für die Triage

1. Was ist der konkrete Zweck, wer nutzt das System und wer ist betroffen?
2. Welche Daten gehen hinein, welche Ergebnisse kommen heraus und wie werden sie gespeichert?
3. Dient das Ergebnis als Entwurf, Empfehlung, Priorisierung oder automatische Handlung?
4. Was kann schiefgehen: Fehler, Verzerrung, Datenschutzverlust, Missbrauch oder Ausfall?
5. Welche Gesetze, Verträge, Sicherheitszusagen und internen Regeln gelten?

Operativer Ablauf

Erstellen Sie zunächst einen stabilen Inventareintrag mit Owner, Zweck, Modell oder Anbieter, Daten, Automatisierungsgrad, Märkten und Prüftermin. Ein Verantwortlicher hält den Datensatz aktuell, auch wenn Fachentscheidungen bei Produkt, Technik, Sicherheit, Datenschutz oder Recht liegen.

Dokumentieren Sie Rolle, Kontext und mögliche Auswirkungen. Das NIST AI RMF strukturiert diese Arbeit in Govern, Map, Measure und Manage; Governance wirkt über den gesamten Lebenszyklus. Wählen Sie danach passende Prüfungen, etwa Genauigkeitstests, Datenschutz- und Sicherheitsprüfung, Folgenabschätzung, Red Teaming oder Anbieterprüfung. Definieren Sie möglichst vorab Akzeptanzkriterien und halten Sie Unsicherheiten fest.

Kontrollen müssen aus den Risiken folgen: Datenminimierung, Eingabeverbote, Zugriffsschutz, menschliche Bestätigung, Aktionsgrenzen, Protokollierung, Hinweise, Fallbacks, Monitoring und Eskalation. Dokumentieren Sie Owner und Nachweis jeder Kontrolle sowie die Entscheidung: freigegeben, bedingt freigegeben, pausiert oder abgelehnt.

Überwachen und bewerten Sie neu, wenn sich Zweck, Nutzer, Daten, Modell, Anbieter, Automatisierung, Geografie, Rechtslage oder beobachtetes Verhalten ändern.

Nachweise und häufige Fehler

Bewahren Sie Inventar, Zweck- und Rollenanalyse, Risikobewertung, Datenfluss, Anbieterunterlagen, Testergebnisse, Freigaben, Kontrollen, menschliche Aufsicht, Monitoring, Vorfallverfahren und Änderungshistorie auf. Häufige Fehler sind eine Richtlinie ohne operative Nachweise, ein Inventar nur für Kundenfunktionen, die ungeprüfte Übernahme von Anbieteraussagen, derselbe Prozess für jedes Risiko und fehlende Änderungs-Trigger.

FAQ

Gilt KI-Risikomanagement nur für Hochrisiko-KI?

Nein. Artikel 9 enthält eine spezifische Pflicht für Anbieter von Hochrisiko-KI. Andere Systeme können wegen Datenschutz, Sicherheit, Verträgen, Kundenerwartungen oder freiwilliger Governance ebenfalls ein angemessenes Risikomanagement benötigen.

Was sollte zuerst dokumentiert werden?

Zweck, Owner, Nutzer, betroffene Personen, Daten, Modell oder Anbieter, Ergebnisnutzung, menschliche Aufsicht, Rolle, Hauptrisiken, Kontrollen, Freigabe und Neubewertungs-Trigger.