Autor*innen: Prof. Dr. iur. Indra Spiecker gen. Döhmann, LL.M. (Georgetown Univ.)
und Prof. Dr. iur. Emanuel V. Towfigh, im Auftrag der Antidiskriminierungsstelle des Bundes (ADS) Erscheinungsjahr: 2023

Kurzüberblick

Der Einsatz algorithmischer Entscheidungssysteme (ADM-Systeme) stellt das Antidiskriminierungsrecht vor neue Herausforderungen. Selbstlernende ADM-Systeme werden auch KI (Künstliche Intelligenz) genannt. ADM-Systeme haben ein hohes Diskriminierungspotenzial, gleichwohl bleiben die Diskriminierungen oft im Verborgenen.

Das Rechtsgutachten untersucht, inwieweit das Allgemeine Gleichbehandlungsgesetz (AGG) geeignet ist, mit Diskriminierungen durch ADM-Systeme umzugehen. In die Prüfung einbezogen ist auch der Entwurf der sogenannten KI-Verordnung. Es wird erörtert, welche Schutzlücken im AGG für die von Diskriminierung durch ADM-Systeme Betroffenen bestehen, wie sie geschlossen werden können und wie der Bereich der Rechtsdurchsetzung gestärkt werden kann.

nach oben

Wichtigste Ergebnisse

ADM-Systeme haben ein erhebliches Diskriminierungspotenzial

• ADM-Systeme versprechen objektive und von persönlichen Anschauungen unbeeinflusste Entscheidungen. Tatsächlich verfügen ADM-Systeme jedoch über ein erhebliches Diskriminierungspotenzial.
• ADM-Systeme arbeiten auf der Grundlage eingespeister Daten und entscheiden durch Zuschreibung von Gruppenmerkmalen. Insbesondere die Vornahme von Gruppenzuschreibungen ist aus antidiskriminierungsrechtlicher Sicht problematisch.
• Die Qualität der Entscheidungen von ADM-Systemen hängt wesentlich von den in das System eingespeisten Daten ab. Ob die Daten fehlerfrei sind, einer Qualitätssicherung unterlagen oder für den Verwendungszweck überhaupt geeignet waren, ist in der Regel weder für die Verwender*innen noch für die Adressat*innen von ADM-Systemen nachvollziehbar.
• Waren die in das System eingespeisten Daten auch nur einmal nicht diskriminierungsfrei, können es die Entscheidungen des Systems auch nicht sein. Das System schreibt in einem solchen Fall die Diskriminierung verfestigend fort.
• ADM-Systeme sind besonders anfällig für sogenannte Proxy -Diskriminierungen. Diese Form von Diskriminierung ist besonders schwer nachzuvollziehen. Sie knüpft an Merkmale an, die vermeintlich neutral sind, jedoch in enger Beziehung zu den Diskriminierungsmerkmalen stehen. Antidiskriminierungsvorgaben können auf diese Weise bewusst oder unbewusst umgangen werden.
• Diskriminierungen durch ADM-Systeme bleiben aufgrund der Undurchsichtigkeit der Systeme und der Entscheidungsprozesse oft unerkannt.

Diskriminierungen durch ADM-Systeme können im AGG nicht ausreichend erfasst werden

• Die Regelungen des AGG sind nicht darauf ausgerichtet, die spezifischen Umstände von Diskriminierung durch algorithmische Entscheidungen zu erfassen.
• Im AGG wird zwischen mittelbarer und unmittelbarer Diskriminierung unterschieden. Bei Diskriminierungen durch ADM-Systeme ist eine klare Zuordnung in diese Kategorien oft nicht möglich.
• ADM-Systeme arbeiten durch Gruppenbildungen und Gruppenzuschreibungen. Das ADM-System stellt Beziehungen her. Benachteiligungen aufgrund von Beziehungen werden vom AGG nicht erfasst; das AGG knüpft an individuelle Merkmale an.
• Es fehlt im AGG an Auskunfts- und Offenlegungspflichten, die einen Einblick in die genutzten Daten und in die Funktionsweise des Systems ermöglichen.
• Das AGG kann die Problematik der unterschiedlichen Verantwortlichkeiten für ein ADM-System nicht erfassen. ADM-System-Dienstleister*innen oder die Entwickler*innen der ADM-Systeme, die hinter den Verwender*innen der Systeme stehen, können bisher nicht durch das AGG in Verantwortung genommen werden.

Die Defizite des AGG im Bereich der Rechtsdurchsetzung verhindern einen effektiven Rechtsschutz

• Die bekannten Schutzlücken des AGG wirken sich bei Diskriminierungen durch ADM-Systeme in verstärkter Form aus und verhindern einen effektiven Rechtsschutz.
• Die Beweislasterleichterung aus § 22 AGG hilft bei Diskriminierungen durch ADM-Systeme kaum weiter. Um die für das Greifen der Beweislasterleichterung erforderlichen Indizien einer Diskriminierung durch Algorithmen zusammentragen zu können, braucht es in der Regel Kenntnisse über die Funktionsweise des ADM-Systems. Diese haben die Betroffenen der Diskriminierung meist nicht.
• Es fehlt im AGG an Unterstützungsmöglichkeiten für die Betroffenen von Diskriminierung. Diese Problematik ist seit langem bekannt und schwächt die Rechtsdurchsetzung im Antidiskriminierungsrecht. Im Kontext der Diskriminierung durch ADM-Systeme wirkt dieses Defizit besonders schwer.

nach oben

Handlungsoptionen

Die Autor*innen unterbreiten Vorschläge für rechtliche Änderungen, durch die der Schutz vor Diskriminierung durch ADM-Systeme verbessert werden kann.

Dazu gehören:

• Eine grundsätzliche Neuausrichtung des AGG in Bezug auf die Rolle der ADS.
• Umfassende Auskunftsrechte der ADS gegenüber den Verwender*innen von ADM-Systemen sowie die Einbeziehung der ADS in den Anwendungsbereich der KI-Verordnung, um sie mit den in der KI-Verordnung geregelten Untersuchungs- und Informationsrechten auszustatten.
• Ein Verbandsklagerecht der ADS. Mit dem Verbandsklagerecht sollen systemische Verletzungen von Diskriminierungsverboten im Rahmen der Verwendung von ADM-Systemen verfolgt werden können.
• Die Einrichtung einer unabhängigen Schlichtungsstelle bei der ADS sowie die Regelung eines Schlichtungsverfahrens im AGG. Beantragen die Betroffenen ein Schlichtungsverfahren, soll die Teilnahme am Verfahren für die Verwender*innen des ADM-Systems verpflichtend sein.
• Das Recht zur Prozessstandschaft für Antidiskriminierungsverbände, um die Betroffenen von Diskriminierung besser bei der Rechtsdurchsetzung zu unterstützen und um strukturelle Ungleichgewichte abzubauen.
• Die Aufnahme eines Merkmals in § 1 AGG, mit dem Benachteiligungen aufgrund von Beziehungen erfasst werden können. So kann die Arbeitsweise von ADM-Systemen im AGG erfasst werden.
• Die Erweiterung des Adressat*innenkreises des AGG auf Entwickler*innen bzw. Dienstleister*innen der ADM-Systeme, um die unterschiedlichen Verantwortlichkeiten bei der Verwendung von ADM-Systemen erfassen zu können.
• Die Ergänzung der Regelung zur Rechtfertigung mittelbarer Diskriminierung in § 3 Abs. 2 AGG dahingehend, dass bei Beurteilung der Angemessenheit des Einsatzes eines ADM-Systems darzulegen ist, das dieses nicht diskriminierungsanfällig ist.
• Eine Anpassung der Auslegung der Beweislastumkehr, damit sie auch bei Diskriminierungen durch ADM-Systeme Wirkung entfalten kann.

nach oben

Steckbrief ausdrucken