Veröffentlichungen des Paritätischen Gesamtverbandes, Berlin, Teil 185Der Paritätische
Berlin (Weltexpresso) - Wissen Sie, wie Sie es erkennen können, wenn jemand durch Automaten oder Online-Software ungleich behandelt wird? Kennen Sie womöglich Fallbeispiele und könnten damit helfen, etwas dagegen zu unternehmen? Beim Digi-Dienstag am vergangenen September erläuterte Anne Mollen von AlgorithmWatch, wie sehr algorithmische Systeme unser Leben beeinflussen, wie sie dabei schlimmstenfalls gesellschaftliche Diskriminierungen online fortsetzen und was ihre Organisation dagegen tut.
Ob bei Stellenausschreibungen, beim Bewerten der Kreditwürdigkeit oder in der Preisgestaltung - zahlreiche Beispiele zeigen, wie sogenannte Systeme des automatisierten Entscheidens auf Grundlage von Algorithmen oder Künstlicher Intelligenz Menschen wegen ihres Geschlechts, ihrer Herkunft oder ihres Alters diskriminieren. So wird die soziale Benachteiligung von Nutzer*innen fortgeführt oder gar verstärkt.
Kein Wunder, dass auch in der Sozialen Arbeit automatisierte Entscheidungssysteme in der Verwaltung und bei Online-Unternehmen zunehmend Thema werden. Die Kolleg*innen der Organisation AlgorithmWatch haben sich mit dem Thema eingehend beschäftigt. Ihr Ratgeber „Automatisierte Entscheidungssysteme und Diskriminierung“ hilft Beratungsstellen und Betroffenen, Verdachtsfälle zu erkennen und aktiv zu werden. Beim AlgorithmWatchkönnen Sie sich melden, wenn Sie Fallbeispiele aus der eigenen Arbeit mit Betroffenen beisteuern können.
Laden Sie sich den Ratgeber „Automatisierte Entscheidungssysteme und Diskriminierung“ herunter Melden Sie sich bei AlgorithmWatch mit Beispielen aus Ihrer eigenen Arbeit
Beim Digi-Dienstag am 20. September führte Anne Mollen, Mitarbeiterin bei AlgorithmWatch, uns eingehend in das Problemfeld ein. Untersuchungsgegenstand der Organisation sind Softwareprodukte, die automatisierte Entscheidungen vornehmen. Das reicht von „einfachen“ Formularen, die nur bestimmte Eingaben erlauben, über die Verarbeitung von großen Datenmengen nach voreingestellten Regeln bis hin zu selbstlernenden System und sogenannter „Künstlicher Intelligenz“, die ihre Entscheidungsgrundlagen aus vorgegebenem Datenmaterial selbst entwickeln. Solche automatisierten Entscheidungssysteme machen in vielen Fällen unser (Online-) Leben leichter, bergen aber auch die Gefahr, dass – meist unbewusst oder aus Unwissen heraus – problematische Vorannahmen eingeschrieben und gesellschaftliche Ungleichbehandlungen fortgesetzt werden.
Das lässt sich an zahlreichen bereits bekannt gewordenen Beispielen illustrieren. So scheiterte in der dänischen Stadt Gladsaxe ein System, mit dem anhand von „Risikofaktoren“ frühzeitig „gefährdete“ Kinder identifiziert werden sollten. Zu den Risikofaktoren gehörten u.a. verpasste Arzttermine, die Einstufung der psychischen Gesundheit der Eltern oder deren Erwerbsarbeitsstatus. Das Projekt wurde aufgrund der eindeutig diskriminierenden Konzeption seitens der Entwickler*innen gestoppt. Ein weiteres bekannt gewordenes Beispiel betrifft die Beobachtung, dass bei vielen Automaten mit Gesichtserkennungssoftware Menschen mit dunkler Hautfarbe von der Software nicht akzeptiert wurden. Es stellte sich heraus, dass das Fotomaterial, mit dem die KI für die Software trainiert wurde, ganz überwiegend hellhäutige Menschen zeigte.
AlgorithmWatch kennt noch viele weitere Fallbeispiele, jedoch überwiegend aus anderen Ländern. Auch hierzulande beginnen Firmen und Verwaltungen, automatisierte Entscheidungssysteme vermehrt einzusetzen. Die Organisation freut sich darüber, mit Sozialen Trägern zusammenzuarbeiten, die bereits irritierende oder problematische Erfahrungen mit solchen Angeboten gemacht haben.
Um gegen solche Fälle wirkungsvoll vorgehen zu können, braucht es bessere gesetzliche Grundlagen. Anlässlich der Evaluation des Allgemeinen Gleichbehandlungsgesetzes hat AlgorithmWatch zentrale Forderungen eingebracht, um dieses auch auf automatisierte Systeme auszuweiten. Dazu gehören z.B. Vorgaben für die Vermeidung diskriminierender Kriterien, Transparenzverpflichtungen der Anbieter und ein Verbandsklagerecht. Zudem fordert AlgorithmWatch mehr Ressourcen für Antidiskriminierungsberatungsstellen.
Das Projekt #GleichImNetz freut sich sehr über die Zusammenarbeit mit AlgorithmWatch, die wir in Zukunft noch intensivieren möchten. Interessierten empfehlen wir sehr die Lektüre unseres Veranstaltungsprotokolls und der beiden o.g. Links. Sollten Sie weitergehendes Interesse haben, melden Sie sich gerne per E-Mail an Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!.
Foto:
©digilog-bw.de
