Wann menschliche Aufsicht gilt und was als Nächstes zu tun ist

Menschliche Aufsicht gilt nach dem EU AI Act als konkrete gesetzliche Anforderung für Hochrisiko-KI-Systeme. Sie ist nicht schon erfüllt, weil ein Mitarbeiter ein Ergebnis sehen kann oder eine Richtlinie festhält, dass ein Mensch verantwortlich bleibt. Anbieter müssen Hochrisiko-Systeme so gestalten, dass natürliche Personen sie wirksam beaufsichtigen können. Betreiber müssen Personen einsetzen, die über die nötige Kompetenz, Schulung, Befugnis und Unterstützung verfügen.

Für ein SaaS-Team lautet die praktische Reihenfolge: System einstufen, Rolle als Anbieter oder Betreiber bestimmen, konkrete Verständnis- und Eingriffsmöglichkeiten definieren, den Eingriffsweg testen und Nachweise aufbewahren. Ist das System nicht hochriskant, kann menschliche Prüfung weiterhin eine sinnvolle Produkt-, Sicherheits-, Datenschutz- oder Vertragskontrolle sein. Das ist jedoch nicht dasselbe wie eine Pflicht nach Artikel 14.

Warum menschliche Aufsicht praktisch wichtig ist

Der AI Act versteht Aufsicht als Mittel, um verbleibende Risiken für Gesundheit, Sicherheit und Grundrechte zu verhindern oder zu verringern. Nach Artikel 14 müssen die Maßnahmen den Risiken, dem Autonomiegrad und dem Nutzungskontext entsprechen. Die zuständige Person muss je nach Fall Grenzen verstehen, den Betrieb überwachen, Automatisierungsbias erkennen, Ergebnisse auslegen, verwerfen oder umkehren und das System sicher anhalten können.

Aufsicht ist damit eine operative Fähigkeit und kein symbolisches Abhaken. Wer keine Zeit, Systeminformationen, Zugriffsrechte oder Entscheidungskompetenz hat, kann nicht wirksam beaufsichtigen. Ebenso wenig hilft ein Mensch, wenn die Oberfläche eine Empfehlung als endgültig darstellt oder keine brauchbare Übersteuerung zulässt.

Das gehört zu den wachsenden KI-Governance-Erwartungen an SaaS-Anbieter. Kunden fragen zunehmend, wo ein Eingriff stattfindet und welcher Nachweis seine Wirksamkeit belegt.

Wann die Anforderung des AI Act gilt

Beginnen Sie mit der Einstufung, nicht mit einer Aufsichts-Checkliste. Nach Artikel 6 kann ein System auf zwei Hauptwegen hochriskant sein:

1. Es ist ein Produkt oder eine Sicherheitskomponente eines Produkts, das unter bestimmte EU-Produktsicherheitsvorschriften fällt und einer Konformitätsbewertung durch Dritte unterliegt.
2. Sein Verwendungszweck fällt unter einen Hochrisiko-Anwendungsfall aus Anhang III, vorbehaltlich des Filters und der Ausnahmen in Artikel 6 Absatz 3.

Anhang III erfasst definierte Anwendungen etwa in Biometrie, kritischer Infrastruktur, Bildung, Beschäftigung, wesentlichen Diensten, Strafverfolgung, Migration und Rechtspflege. „KI-gestützt“ zu sein, personenbezogene Daten zu verarbeiten oder einen gewöhnlichen Geschäftsprozess zu beeinflussen, führt nicht automatisch zur Hochrisiko-Einstufung.

Bei einigen Systemen aus Anhang III kann Artikel 6 Absatz 3 eine Ausnahme ermöglichen, wenn keine erhebliche Schadensgefahr besteht und eine der genannten Bedingungen erfüllt ist, etwa bei einer engen verfahrensbezogenen oder vorbereitenden Aufgabe. Profiling natürlicher Personen innerhalb eines Anhang-III-Falls bleibt hochriskant. Ein Anbieter, der sich auf den Filter stützt, muss seine Bewertung dokumentieren.

Entscheidend sind Verwendungszweck und tatsächliche Rolle. Ein SaaS-Unternehmen kann Anbieter sein, wenn es ein System entwickelt oder entwickeln lässt und unter eigenem Namen anbietet oder in Betrieb nimmt. Nutzt es das System eines anderen Anbieters unter eigener Verantwortung, kann es Betreiber sein. Wesentliche Änderungen oder eine Änderung des Verwendungszwecks können Anbieterpflichten auslösen. Vor der Aussage, eine künftige Pflicht gelte bereits, müssen Teams die aktuellen Übergangsregeln prüfen.

Wann Artikel 14 nicht gilt

Artikel 14 ist keine Universalregel für jeden Chatbot, Zusammenfasser, Empfehlungsdienst, Betrugshinweis oder internen Copiloten. Liegt ein System außerhalb des Anwendungsbereichs, erfüllt es nicht die KI-Definition oder ist es nicht hochriskant, gilt die spezielle Hochrisiko-Anforderung aus Artikel 14 nicht.

Das bedeutet nicht, dass keinerlei Prüfung erforderlich ist. Datenschutz-, Verbraucher-, Arbeits-, Sicherheits-, Branchen- oder Vertragsrecht können andere Pflichten schaffen. Auch eine Risikobewertung kann eine menschliche Freigabe als angemessene Kontrolle ergeben.

Verwenden Sie in Dokumentation und Kundenantworten präzise Sprache:

• Gesetzliche Pflicht: „Das System ist hochriskant; diese Maßnahmen setzen Artikel 14 und 26 um.“
• Risikokontrolle: „Das System ist derzeit nicht als hochriskant eingestuft; unsere interne Richtlinie verlangt dennoch menschliche Prüfung.“
• Offene Frage: „Die Einstufung hängt vom endgültigen Verwendungszweck und Einsatzkontext ab; der Start bleibt bis zur Genehmigung der Bewertung gesperrt.“

Aufgaben von Anbietern und Betreibern

Anbieter: Aufsicht in das System einbauen

Der Anbieter sollte die Risikobewertung in nutzbare technische und organisatorische Maßnahmen übersetzen. Dazu können gehören:

• relevante Zuverlässigkeit, Grenzen und Eingabekontext anzeigen;
• Anomalien und unerwartete Leistung sichtbar machen;
• eine Oberfläche vermeiden, die blindes Akzeptieren fördert;
• befugten Personen erlauben, Ergebnisse zu verwerfen, zu übersteuern, umzukehren oder zu unterbrechen;
• vom Betreiber umzusetzende Maßnahmen festlegen; und
• diese in der Gebrauchsanweisung klar erklären.

Die Gestaltung muss zu realen Arbeitsbedingungen passen. Eine nur für Administratoren erreichbare Übersteuerung ist wertlos, wenn eine prüfende Person sofort handeln muss.

Betreiber: Aufsicht im Alltag umsetzen

Artikel 26 verlangt, dass Betreiber Hochrisiko-Systeme gemäß Anleitung nutzen und kompetente, geschulte und befugte natürliche Personen einsetzen. Sie müssen den Betrieb überwachen, auf Risiken oder schwerwiegende Vorfälle reagieren und automatisch erzeugte Protokolle unter ihrer Kontrolle grundsätzlich für einen angemessenen Zeitraum von mindestens sechs Monaten aufbewahren, sofern anderes Recht nichts anderes vorsieht.

Praktisch bedeutet dies: Rollen namentlich bestimmen, Prüfzeit schützen, Zugriffe steuern, Eskalationen festlegen und prüfen, ob die Anbieteranweisungen zum tatsächlichen Einsatz passen. Niemand kann für eine Übersteuerung verantwortlich sein, die er nicht ausführen darf.

Ein praktikabler Aufsichtsprozess

1. Einstufung nachvollziehbar dokumentieren

Erfassen Sie System, Verwendungszweck, Nutzer, Betroffene, Ein- und Ausgaben, Entscheidungswirkung, Rollen und geprüften Artikel-6-Pfad. Verknüpfen Sie die Bewertung mit Produktversion und Einsatzkontext und prüfen Sie sie bei Änderungen erneut.

2. Entscheidungen und Fehlerbilder abbilden

Bestimmen Sie, wo KI-Ergebnisse Menschen, Sicherheit, Zugang, Priorisierung oder regulierte Prozesse beeinflussen. Beschreiben Sie realistische Fehler wie falsche Treffer, übersehene Ausnahmen, verzerrte Rangfolgen, irreführende Zusammenfassungen oder Leistungsdrift.

3. Die Handlung des Menschen definieren

Legen Sie fest, welche Informationen die prüfende Person sieht, was unabhängig zu verifizieren ist, wann abgelehnt oder eskaliert wird, ob sie anhalten oder umkehren darf, wie schnell sie handeln muss und wer endgültig entscheidet. „Ein Manager prüft bei Bedarf“ ist keine testbare Kontrolle.

4. Für die tatsächliche Aufgabe schulen

Schulungen sollten Verwendungszweck, Grenzen, relevante Signale, Automatisierungsbias, verbotene Nutzungen, Eingriffswerkzeuge, Dokumentation und Eskalation abdecken. Prüfen Sie Kompetenz anhand von Szenarien, nicht nur über Anwesenheitslisten.

5. Den gesamten Weg testen

Kann die zuständige Person ein schlechtes Ergebnis erkennen? Hat sie genügend Kontext? Funktioniert die Übersteuerung? Bleibt das System beim Stopp sicher? Wird das Ereignis protokolliert und erreicht die Eskalation eine handlungsfähige Stelle? Dokumentieren Sie Mängel und wiederholen Sie den Test nach Korrekturen.

6. Überwachen und verbessern

Verfolgen Sie Übersteuerungen, Rücknahmen, Eskalationen, Beschwerden, übersehene Fälle, unterschiedliche Bewertungen und ungewöhnliche Leistung. Definieren Sie Schwellenwerte für Untersuchung, Aussetzung oder Neueinstufung.

Häufige Fehler

• Einstufung anhand des Produktnamens statt des Verwendungszwecks.
• „Human in the loop“ ohne Information, Zeit und Befugnis.
• Prüfung erst, nachdem die Folge nicht mehr umkehrbar ist.
• Eine KI-Erklärung als unabhängige Bestätigung desselben KI-Ergebnisses behandeln.
• Automatisierungsbias nach vielen richtigen Ergebnissen ignorieren.
• Verantwortung allgemein „dem Business“ zuweisen.
• Keine Nachweise zu Schulung, Tests, Übersteuerung und Eskalation führen.

Beispiel: KI-gestützte Bewerberauswahl

Ein SaaS-Anbieter bietet Software an, die Bewerber für einen Arbeitgeber einstuft. Beschäftigungsbezogene Anwendungen aus Anhang III können hochriskant sein. Der Anbieter sollte daher Artikel 6 dokumentiert prüfen, statt anzunehmen, ein Recruiter-Klick auf „Genehmigen“ löse das Problem.

Wirksame Aufsicht könnte verlangen, dass der Recruiter relevante Faktoren sieht, Quelldaten prüft, fehlende oder irreführende Informationen erkennt, die Rangfolge verwirft, einen Kandidaten wieder aufnimmt und vermutete systematische Verzerrung eskaliert. Der Arbeitgeber als Betreiber setzt geschulte und befugte Personen ein und überwacht gemäß Anleitung.

Ein internes Werkzeug, das nur eine vom Recruiter geschriebene E-Mail umformatiert, ohne Kandidaten zu bewerten oder Entscheidungen zu beeinflussen, fällt möglicherweise nicht darunter. Sensible Eingaben und Versand können dennoch einer menschlichen Freigabe unterliegen—als interne Kontrolle, nicht automatisch als Artikel-14-Compliance.

FAQ

Was ist der praktische Zweck menschlicher Aufsicht?

Kompetente Menschen sollen verbleibende Risiken erkennen, überwachen und rechtzeitig eingreifen können. Dafür benötigen sie echte Informationen, Zeit, Werkzeuge und Befugnis.

Wann gilt sie für SaaS-Teams?

Die speziellen AI-Act-Pflichten gelten, wenn das Team ein Hochrisiko-KI-System anbietet oder betreibt. Bei anderer KI kann Prüfung aufgrund anderer Gesetze, Verträge, Risikobewertungen oder interner Regeln nötig sein.

Reicht eine abschließende menschliche Freigabe?

Nicht automatisch. Sie ist nur wirksam, wenn die Person Grenzen versteht, Probleme erkennt, das Ergebnis hinterfragt und es vor Eintritt eines Schadens ändern oder stoppen kann.

Was sollte zuerst dokumentiert werden?

Beginnen Sie mit Einstufung und Verwendungszweck. Dokumentieren Sie danach Verantwortliche, Auslöser, bereitgestellte Informationen, Eingriffe, Eskalation, Schulung, Testergebnisse und Betriebsnachweise.

Müssen immer zwei Personen prüfen?

Nein. Artikel 14 enthält eine besondere Zwei-Personen-Prüfung für bestimmte biometrische Fernidentifizierungssysteme und definierte Ausnahmen. Sie gilt nicht allgemein für alle Hochrisiko-Systeme.

Was jetzt zu tun ist

Stufen Sie den Anwendungsfall ein, bevor Sie versprechen, „menschliche Aufsicht“ löse das Risiko. Ist das System hochriskant, verbinden Sie die technischen Maßnahmen des Anbieters mit realen Personen, Rechten und Verfahren des Betreibers. Testen Sie anschließend den Weg und bewahren Sie Nachweise auf, dass ein Mensch Probleme erkennen und rechtzeitig handeln kann.

Das ist der Unterschied zwischen einer Person in der Nähe des Systems und wirksamer menschlicher Aufsicht.

Quellen

• Verordnung (EU) 2024/1689
• Artikel 6: Einstufung von Hochrisiko-KI-Systemen
• Artikel 14: Menschliche Aufsicht
• Artikel 26: Pflichten der Betreiber