Haeufige Fehler bei Profiling und automatisierten Entscheidungen, die SaaS-Teams immer noch machen

Die haeufigsten Fehler bei Profiling und automatisierten Entscheidungen sind meist keine exotischen Rechtsfehler. Es sind operative Luecken: Das Team erkennt den bewertenden Workflow nicht, verlaesst sich auf Anbieterbegriffe, behandelt menschliche Pruefung als Formalitaet, vergisst Transparenz und Betroffenenrechte oder verteilt die Nachweise ueber Produkt-, Rechts- und Data-Science-Tools. Sicherer ist ein wiederholbarer Review-Prozess mit klaren Verantwortlichen, Ausloesern, Schutzmassnahmen und Aufzeichnungen.

Nach der DSGVO ist Profiling eine automatisierte Verarbeitung personenbezogener Daten, mit der persoenliche Aspekte einer natuerlichen Person bewertet werden. Automatisierte Entscheidungsfindung bedeutet, dass eine Entscheidung durch technische Mittel ohne menschliche Beteiligung getroffen wird. Artikel 22 ist der riskantere Fall: Er schuetzt Personen vor ausschliesslich automatisierten Entscheidungen, einschliesslich Profiling, wenn diese rechtliche Wirkungen oder aehnlich erhebliche Auswirkungen haben, sofern keine zulaessige Grundlage und geeignete Schutzmassnahmen vorliegen.

In SaaS-Produkten kann das bei Betrugswerten, Kontosperren, Identitaetspruefungen, Moderation, Eignungspruefungen, Customer-Health-Scores, Lead Scoring, Support-Priorisierung, Arbeitsplatzanalysen, Security-Risikoranking und KI-Funktionen auftreten, die Ergebnisse fuer benannte Nutzer empfehlen oder ausloesen. Fuer das Gesamtmodell siehe den Praxisleitfaden zu Profiling und automatisierten Entscheidungen.

Fehler 1: Die Funktion wird nicht als Profiling erkannt

Produktteams nennen eine Funktion selten "Profiling". Sie sprechen von Scoring, Ranking, Anreicherung, Personalisierung, Eignung, Risikopruefung, Empfehlungen, Triage oder Automatisierung. Diese Sprache verdeckt die eigentliche Frage: Nutzt das System personenbezogene Daten, um eine Person zu bewerten, vorherzusagen, einzustufen oder zu klassifizieren?

Die Loesung ist, die Funktion zu pruefen, nicht das Etikett. Jeder Workflow, der Personen bewertet, priorisiert, markiert, empfiehlt, genehmigt, ablehnt, sperrt oder weiterleitet, gehoert in den Profiling-Review.

Fehler 2: Alle Automatisierung wird gleich behandelt

Nicht jede Automatisierung hat dasselbe Risiko. Eine Vertrags-Erinnerung ist etwas anderes als ein Modell, das Betrugswahrscheinlichkeit vorhersagt. Ein Dashboard zur Entscheidungshilfe ist etwas anderes als ein System, das automatisch Zugang verweigert.

Teams sollten Workflows in Gruppen einteilen: gewoehnliche Automatisierung, Profiling mit menschlicher Nutzung, automatisierte Entscheidungshilfe und ausschliesslich automatisierte Entscheidungen mit rechtlicher oder aehnlich erheblicher Wirkung. Besonders die letzte Gruppe braucht eine Artikel-22-Pruefung.

Fehler 3: Anbieterbeschreibungen ersetzen den eigenen Use Case

Anbieter koennen Profiling leise einfuehren. CRM-Anreicherung, Betrugserkennung, Identitaetspruefung, Analyse, Werbung, Customer-Success-Tools, Produktivitaetssoftware, Security-Produkte und KI-Copilots koennen Personen klassifizieren oder bewerten. Entscheidend ist nicht die Marketingbeschreibung, sondern Ihre konkrete Nutzung.

Beschaffung und Produktreview sollten klaeren, welche personenbezogenen Daten genutzt werden, welches Ergebnis entsteht, wer es sieht, ob es die Behandlung einer Person beeinflusst, ob eine Person uebersteuern kann, ob der Anbieter mit Kundendaten Modelle trainiert und wie Rechteanfragen gehandhabt werden.

Fehler 4: Menschliche Pruefung ist nur Schein

Viele Teams glauben, Artikel 22 sei kein Thema, weil irgendwo ein Mensch beteiligt ist. Das reicht nicht. Die Beteiligung muss sinnvoll sein. Wer keine Informationen, Zeit, Schulung, Befugnis oder echte Moeglichkeit zur Aenderung hat, bestaetigt nur das Maschinenergebnis.

Definieren Sie deshalb, was echte Pruefung bedeutet: relevante Fakten sehen, das Modell- oder Regelresultat praktisch verstehen, weitere Informationen anfordern, das Ergebnis in Frage stellen und die Entscheidung aendern koennen. Der Nachweis muss zeigen, dass die Pruefung stattgefunden hat.

Fehler 5: Transparenz kommt erst nach dem Launch

Transparenz darf kein spaeter Datenschutzhinweis-Patch sein. Wenn ein Workflow Personen bewertet oder ein wichtiges Ergebnis beeinflusst, muss das Team vor dem Launch wissen, wie die Verarbeitung erklaert wird.

Je nach Kontext muessen Zwecke, Datenkategorien, die Grundlogik, Bedeutung, erwartete Folgen und verfuegbare Rechte verstaendlich beschrieben werden. Wenn das Team den Workflow nicht klar erklaeren kann, versteht es das Risiko wahrscheinlich noch nicht gut genug.

Fehler 6: Rechte und Widerspruchswege fehlen

Betroffene koennen Auskunft verlangen, unrichtige Daten bestreiten, widersprechen, Loeschung beantragen oder ein automatisiertes Ergebnis anfechten. Der Support bekommt solche Anfragen oft zuerst, weiss aber nicht, wo Modelldaten, Entscheidungsnachweise oder Review-Verantwortliche liegen.

Ein Rechte-Playbook sollte festhalten, woher Eingabedaten stammen, welche Daten genutzt wurden, welches Ergebnis erzeugt wurde, wer die Pruefung verantwortet, was korrigiert werden kann und wann Recht oder Datenschutz eingebunden werden.

Fehler 7: Datenqualitaet und Bias werden uebersprungen

Profiling ist nur so belastbar wie seine Eingaben. Alte, abgeleitete, unvollstaendige, irrelevante oder proxy-basierte Daten koennen unfaire oder falsche Ergebnisse erzeugen. Die Tiefe der Bias-Pruefung sollte zur Wirkung passen: Ein Support-Prioritaetswert braucht andere Kontrollen als ein Workflow fuer Zugang, Finanzen, Arbeit, Bildung, Gesundheit oder aehnlich wichtige Leistungen.

Dokumentieren Sie, warum wichtige Eingaben notwendig sind, wie sie aktuell gehalten werden und wie Fehler korrigiert werden koennen.

Fehler 8: Nachweise bleiben in getrennten Tools

Oft ist die Arbeit getan, aber nicht nachweisbar. Modellnotizen liegen bei Data Science, Produktentscheidungen im Ticket, Anbieterfragen in Procurement, Datenschutzanalyse bei Legal und Monitoring in einem Dashboard. Das erschwert Audits, Kundenreviews und interne Governance.

Definieren Sie vor dem Launch ein Nachweispaket: Workflow-Beschreibung, Dateninputs, Klassifizierung, Rechtsgrundlage, Transparenztext, menschlicher Review, Artikel-22-Analyse, Anbieterbewertung, Testergebnisse, Freigabe, Monitoringplan und Support-Playbook.

FAQ

Was sollten Teams ueber Profiling und automatisierte Entscheidungen verstehen?

Die Kernfrage ist, ob eine Funktion eine Person bewertet, ihre Behandlung beeinflusst oder ohne sinnvolle menschliche Beteiligung ueber sie entscheidet.

Warum ist das praktisch wichtig?

Diese Workflows koennen Zugang, Preise, Security-Reaktion, Support, Moderation, Betrugspruefung, arbeitsnahe Analysen und Kundenvertrauen beeinflussen. Compliance muss deshalb in Produkt-, Anbieter-, Support- und Nachweisprozesse eingebaut werden.

Was ist der groesste Fehler?

Der groesste Fehler ist, Profiling und automatisierte Entscheidungen als einmalige Rechtsauslegung zu behandeln, statt sie in einen wiederholbaren Workflow mit Verantwortlichen, Schutzmassnahmen, Nachweisen und Eskalationen zu uebersetzen.

Quellen

• Europaeische Union, Datenschutz-Grundverordnung.
• Europaeischer Datenschutzausschuss, Leitlinien zu automatisierten Entscheidungen und Profiling.
• Information Commissioner's Office, Guidance zu automated decision-making and profiling.
• Information Commissioner's Office, Rights related to automated decision making including profiling.