Autor*innen: Dr. Carsten Orwat, Institut für Technikfolgenabschätzung und Systemanalyse (ITAS), Karlsruher Institut für Technologie (KIT), im Auftrag der Antidiskriminierungsstelle des Bundes (ADS) Erscheinungsjahr: 2019

Kurzüberblick

Die vorliegende Studie untersucht, inwieweit die Verwendung von Algorithmen bei der Differenzierung von Personen zu ungerechtfertigter Diskriminierung führen kann.

Algorithmen dienen unter anderem der Automatisierung, indem auf Basis von computergestützter Datenverarbeitung und -analyse Empfehlungen für Entscheidungen abgeleitet oder Entscheidungsregeln vollautomatisiert ausgeführt werden. Durch die automatisierte Differenzierung von Personen anhand von geschützten Merkmalen oder mithilfe von Ersatzinformationen können menschliche Auslegungs- und Handlungsspielräume beschnitten, maschinell erzeugte Stereotypen und damit Diskriminierungsmöglichkeiten begründet werden. Die Studie analysiert anhand von Beispielfällen, wie Diskriminierungsrisiken entstehen, welche gesellschaftlichen Auswirkungen sie haben und leitet daraus Überlegungen zu Handlungsbedarfen und -optionen zur Diskriminierungsvermeidung ab.

nach oben

Wichtigste Ergebnisse

Ursachen von Diskriminierungsrisiken bei der Verwendung von Algorithmen

Bei der Entwicklung von Algorithmen und Modellen

• Risiken entstehen bei der Kennzeichnung von Kategorien für die Zuordnung von Personen gerade dann, wenn diese auf subjektive Annahmen und Auslegungen beruhen. (z.B. Merkmal: “Passfähigkeit zu einem Unternehmen“)

Durch verzerrte (Trainings-) Datensätze

• Wenn Datensätze unvollständig oder nicht mehr aktuell sind oder aus Situationen entstammen, in welchen Ungleichverteilung und Ungleichbehandlung von Personen bestand oder besteht, kann das dazu führen, dass bestimmte Gruppen über- oder unterrepräsentiert werden.
• Aufgrund der Substitution von geschützten Merkmalen mit vermeintlich „neutralen“ Variablen, können Risiken der mittelbaren Diskriminie¬rung dann entstehen, wenn zwischen den Variablen und den geschützten Merkmalen eine Korrelation besteht. (z.B. Korrelation zwischen Wohnort und Ethnie).
• In Verfahren des Data-Mining und des maschinellen Lernens werden im Vergleich zu „klassischen“ statistischen Verfahren mehr Variablen verwendet, was das Risiko von (unbemerkten) Korrelationen wachsen lässt.

Durch Onlineplattformen

• Dort können Nutzer*innen sich mithilfe von Algorithmen gegenseitig bewerten und selektieren, wodurch der Zugang zu gewissen Interaktionen und Transaktionen für bestimmte Nutzer*innen beschränkt werden kann.
• Wenn Algorithmen auf Bewertungen und Einstufungen von anderem Akteur*innen basieren, können sich gesellschaftliche Ungleichheiten reproduzieren.
• Ursache können Bepreisungs- und Marktmechanismen (z. B. Auktionsmechanismen) sein, die für die Werbungschaltung und Kundenselektion eingesetzt werden.

Durch die Verwendung von Computersystemen kann absichtliche Diskriminierung verschleiert werden.

Gesellschaftliche Risiken von algorithmenbasierten Differenzierungen

• Bei statistischer Diskriminierung findet keine Kategorisierung der tatsächlichen Eigenschaften eines Individuums statt, sondern diese werden durch die Auswertung von Daten über Gruppen gebildet. Damit entscheidet Stereotypisierung über die Ergebnisse der Entscheidungsprozesse. Generalisierungsunrecht kann gerade bei „untypischen“ Fällen auftreten.
• Durch algorithmische Zuschreibungen und Kategorisierung haben Betroffenen nicht die Möglichkeit, der Behandlung, der sie unterzogen werden, zuzustimmen oder sie abzulehnen Dies gefährdet auch die freie Entfaltung der Persönlichkeit, das Recht auf Selbstdarstellung und den Schutz der Menschenwürde.
• Risiken einer wirtschaftlich-rationalen Differenzierung können sich zu kumulativen Benachteiligungen aufsummieren, da sich algorithmische Auswertungen und darauf basierende Handlungen auf bereits benachteiligte Personen oder Personengruppen konzentrieren können und diese dann wiederum vermehrt in der Datenerfassung erscheinen.
• Wenn gesellschaftliche Abwägungen über, durch Algorithmen ermöglichte und wirtschaftlich sinnvoll erscheinende Differenzierung, einseitig zu Gunsten von Effizienzbestrebungen und zu Lasten von Gleichheitsbestrebungen laufen, können gleichheitsorientierte- und sozialpolitische Ziele abgeschwächt werden.

nach oben

Handlungsoptionen

Gesellschaftlicher Handlungsbedarf

• Es braucht gesellschaftliche Abwägungsprozesse, die Differenzierungs- und Effizienzgewinne, aber vor allem deren gesellschaftliche Verteilung berücksichtigen und die zu Festlegungen über gesellschaftlich akzeptable Differenzierungsanwendungen kommen.

Rechtliche Anpassungen

• Das Datenschutzrecht sollte im Hinblick auf die Konkretisierung der Informationspflichten und hinsichtlich des Konzepts der informierten Einwilligung korrigiert und spezifiziert werden, sodass die angestrebten Auswirkungen sowie Diskriminierungsrisiken der Verwendung von Algorithmen abschätzbar werden. Einer Konkretisierung bedarf ebenso die Regulierung automatisierter Entscheidungssysteme.
• Durch die Schwierigkeit für die Betroffenen, Benachteiligung durch Algorithmen nachzuvollziehen, ist die Regelung des AGG bezüglich der Beweislast zu problematisieren. Hier braucht es gegebenenfalls eine Dokumentationspflicht für Elemente und Ergebnisse der algorithmischen Verfahren.
• Außerdem sollte ein kollektiver Rechtsschutz in Form eines Verbandklagerechts geschaffen werden, sowie geprüft werden, ob Anwendungsbereiche des AGG und der Katalog geschützter Merkmale zu erweitern sind.

Optionen der Antidiskriminierungsstelle des Bundes (ADS)

• Um Benachteiligung präventiv entgegen zu wirken, sollten die Entwickelnden und Anwendenden von Algorithmen, im Hinblick auf daraus resultierende Diskriminierungsrisiken, beraten werden.
• Die ADS sollte bei Beschaffung von Algorithmen durch öffentliche Einrichtungen auf Bundesebene verpflichtend in den Entscheidungsprozess einbezogen werden.
• Es sollten Möglichkeiten der direkten Analyse und des Testens von Algorithmen und Softwaresystemen mithilfe von entsprechender Informatikexpertise geschaffen werden.
• Die ADS sollte auf diskriminierungsanfällige Situationen, Gruppierungen oder Merkmale hinweisen und bei der Auslegung des Antidiskriminierungsrechts und der Beurteilung der Legalität von Differenzierungen mitwirken.

nach oben

Steckbrief ausdrucken