Checkliste verbotene KI-Praktiken fuer Gruender und Compliance-Leads

Verbotene KI-Praktiken sind KI-Nutzungen, die vor dem Produktivbetrieb gestoppt, umgestaltet oder eskaliert werden sollten. Fuer Gruender und Compliance-Leads reicht die Frage "Gilt Artikel 5 des EU AI Act?" nicht aus. Entscheidend ist, ob das Unternehmen frueh erkennt, wann eine KI-Nutzung unzulaessig sein koennte, und ob die Entscheidung vor Launch, Lieferanten-Rollout oder Kundenpruefung dokumentiert ist.

Diese Checkliste macht aus der rechtlichen Grenze einen operativen Ablauf. Nutzen Sie sie fuer eigene KI-Funktionen, eingebettete Drittanbieter-KI, interne Tools, regulierte Kundensegmente und Aenderungen daran, wie KI-Ergebnisse Menschen betreffen.

1. KI-Anwendungsfall erfassen

Beschreiben Sie System, Produkt, Workflow, Owner, Lieferant, Modell oder Dienst, Zweck, Nutzer, betroffene Personen, Datenkategorien, Geografie und die Frage, ob ein KI-Ergebnis eine Entscheidung beeinflusst.

Pruefen Sie:

• baut, kauft, integriert, konfiguriert oder nutzt das Unternehmen das System?
• ist der Einsatz kundenbezogen, intern oder Teil eines Lieferantenprozesses?
• beeinflusst, bewertet oder klassifiziert das System Menschen?
• verarbeitet es biometrische Daten oder leitet es Eigenschaften ab?
• koennte es EU-Nutzer, Beschaeftigte, Bewerber, Lernende oder Kunden betreffen?

Wenn der Fall klar ausserhalb liegt, dokumentieren Sie die Begruendung und gehen in die normale KI-Governance. Bei Ja oder Unsicherheit folgt der Screen fuer verbotene Praktiken.

2. Manipulation und Taeuschung pruefen

Artikel 5 adressiert bestimmte Systeme, die unterschwellige, gezielt manipulative oder taeuschende Techniken einsetzen und dadurch Verhalten wesentlich verzerren, informierte Entscheidungen beeintraechtigen und erheblichen Schaden verursachen oder wahrscheinlich verursachen.

Operativ heisst das: Pruefen Sie User Journey, Personalisierung, Empfehlungssysteme und Nudges. Wird wesentliche Information verborgen? Passt das System Druckmittel an einzelne Personen an? Drueckt es Nutzer in schaedliche Entscheidungen? Ist der KI-Einsatz fuer Betroffene verstaendlich?

Bewahren Sie Screenshots, Logikbeschreibung, betroffene Gruppen, Schadensanalyse und Redesign-Entscheidung auf. Bei verstecktem Druck oder taeuschender Einflussnahme sollte der Launch stoppen, bis die Gestaltung geprueft ist.

3. Ausnutzung von Schutzbeduerftigkeit ausschliessen

Der AI Act erfasst auch die Ausnutzung von Schutzbeduerftigkeit aufgrund von Alter, Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Lage, wenn Verhalten wesentlich verzerrt wird und erheblicher Schaden droht.

Fragen Sie, ob die KI besonders schutzbeduerftige Personen anspricht, profiliert, priorisiert oder unter Druck setzt. Relevant kann das bei Kindern, Patienten, Lernenden, Beschaeftigten, finanziell belasteten Verbrauchern, Menschen mit Behinderungen oder Nutzern wesentlicher Dienste sein.

Fuehren Sie vor Launch eine Vulnerable-User-Pruefung ein, wenn das System Ueberzeugung, Priorisierung, Eignung, Preise, Support oder Durchsetzung personalisiert.

4. Social Scoring und sachfremde Nachteile ausschliessen

Social-Scoring-Risiken entstehen, wenn Menschen ueber Zeit nach Sozialverhalten oder persoenlichen Merkmalen bewertet werden und daraus nachteilige Behandlung in anderen Kontexten oder unverhaeltnismaessige Behandlung folgt.

Auch B2B-SaaS kann solche Muster beruehren, etwa in Trust-, Fraud-, Safety-, HR-, Bildungs-, Community- oder Marketplace-Funktionen. Dokumentieren Sie, wofuer ein Score genutzt wird, ob natuerliche Personen betroffen sind, ob der Kontext zum Ausgangsdatum passt und ob die Folge verhaeltnismaessig ist.

5. Biometrie, Emotionserkennung und Strafrisiko eskalieren

Sofortige Fachpruefung ist noetig, wenn das System Kriminalitaetsrisiken allein aus Profiling oder Persoenlichkeitsmerkmalen ableitet, Gesichtserkennungsdatenbanken durch ungezieltes Scraping erweitert, Emotionen in Arbeitsplatz- oder Bildungsumgebungen erkennt, biometrische Daten fuer sensible Merkmale nutzt oder Echtzeit-Fernidentifikation in oeffentlichen Raeumen fuer Strafverfolgungszwecke unterstuetzt.

Lieferanten verwenden dafuer oft weichere Begriffe wie Sentiment, Engagement, Safety, Identity oder Insight. Entscheidend ist, was das System tatsaechlich tut.

6. Owner, Reviewer und Nachweise festlegen

Der Business Owner liefert Fakten; der Reviewer entscheidet, ob der Einsatz weitergehen, geaendert oder blockiert werden muss. Nutzen Sie ein kurzes Decision Record mit Systemname, Zweck, betroffenen Personen, Lieferant, beantworteten Fragen, Schlussfolgerung, Begruendung, Aenderungen, Freigabe und naechstem Review-Trigger.

7. Mit Launch- und Lieferantengates verbinden

Die Checkliste muss Produkt-Intake, Security Design Review, Privacy Impact Review, Lieferanten-Onboarding, interne Toolfreigabe und AI-Dokumentation beruehren. Kein KI-Feature, KI-Lieferant oder KI-gestuetzter interner Workflow sollte starten, bevor der Screen abgeschlossen oder als nicht erforderlich bestaetigt wurde.

8. Re-Review ausloesen

Oeffnen Sie die Entscheidung erneut, wenn Zweck, Nutzergruppe, Markt, Lieferantenverhalten, Datenkategorien, Automatisierungsgrad, Kundenkonfiguration oder EU-Leitlinien die Analyse veraendern.

FAQ

Was ist der praktische Zweck?

Unzulaessige KI-Nutzung soll gestoppt werden, bevor sie Teil von Produkt, Lieferantenbeziehung, internem Workflow oder Kundenzusage wird.

Wann ist das fuer SaaS relevant?

Wenn das Team KI baut, kauft, einbettet, verkauft, konfiguriert oder nutzt, die Menschen manipulieren, Schutzbeduerftigkeit ausnutzen, ueber Kontexte hinweg bewerten, biometrische Daten verarbeiten oder Emotionen am Arbeitsplatz oder in Bildung erkennen koennte.

Was zuerst dokumentieren?

Starten Sie mit Intake, Decision Owner, Reviewer, kurzer Entscheidungsvorlage und Launch-Gate. Verbinden Sie den Nachweis mit Lieferanten-, Datenschutz-, Security- und Customer-Trust-Prozessen.

Quellen

• Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence.
• European Commission guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689.