Checkliste zur menschlichen Aufsicht

Menschliche Aufsicht muss das Ergebnis eines KI-gestuetzten Ablaufs veraendern koennen. Artikel 14 des EU AI Act verlangt fuer Hochrisiko-KI angemessene Aufsicht; Artikel 26 verlangt beim Betreiber Kompetenz, Schulung, Befugnis und Unterstuetzung. Klassifizieren Sie zuerst System und Unternehmensrolle. Ausserhalb von Artikel 14 kann Pruefung wegen anderer Gesetze, Vertraege oder interner Risiken sinnvoll sein.

Die zehn Pruefpunkte

1. Entscheidung definieren: System, Zweck, Output, Folgehandlung, Betroffene, Schaden und Reversibilitaet festhalten.
2. Klassifizierung bestaetigen: Hochrisiko-Pfad, Anbieter-/Betreiberrolle, Rechtsgrund und Aenderungsausloeser dokumentieren.
3. Kompetente Pruefer zuweisen: Fachwissen, Training, Zeit, Backup und Verhalten bei Nichtverfuegbarkeit bestimmen.
4. Nutzbare Informationen zeigen: Eingaben, Output, Quellen, Kontext, Grenzen, Unsicherheit und fehlende Daten sichtbar machen.
5. Echte Eingriffsrechte geben: Korrigieren, verwerfen, verschieben, umkehren, eskalieren und sicher stoppen ermoeglichen.
6. Pflichtausloeser setzen: Konflikte, Ausreisser, Beschwerden, Drift, moegliche Diskriminierung oder Zweckentfremdung eskalieren.
7. Automation Bias begrenzen: Keine Akzeptanz-Nudges; Abweichungen vereinfachen und ungewoehnlich niedrige Override-Raten pruefen.
8. Vor Launch testen: False Positives, False Negatives, fehlende Daten, Prueferausfall, Ueberlastung, Override und Stopp testen.
9. Wirksamkeitsnachweise behalten: Analyse, Verfahren, Training, Zugriffe, Tests, Logs, Overrides, Vorfaelle und Korrekturen sichern.
10. In Ablaufe integrieren: Product verantwortet Zweck, Engineering Eingriff und Logs, Fachteam Entscheidungsqualitaet, Legal/Compliance Einordnung.

Wiederholen Sie die Checkliste bei Aenderungen an Modell, Daten, Zweck, Schwellenwerten, UI, Nutzern, Vendor oder Prueferrolle sowie nach Vorfaellen und Beschwerden.

FAQ

Reicht ein Human-in-the-loop-Kaestchen?

Nein. Die Person braucht Informationen, Kompetenz, Zeit, Befugnisse, technische Eingriffswege und eine getestete Eskalation.

Was ist der groesste Fehler?

Symbolische Aufsicht: Eine Person erscheint im Prozess, kann das Ergebnis aber weder verstehen noch veraendern.