Skip to content
shawn-ang-r2A6WYI8YIg-unsplash
06 August 2020| doi: 10.5281/zenodo.3974153

Discrimination preprogrammed?

Technology is never neutral. And even if the Internet as a medium initially invited us to deconstruct established, fixed role models and identities in supposedly new publics, to break up traditional power and domination relationships, today we must above all talk about inequalities in digital space.


Schauen wir zum Beispiel auf das Thema der Digitalen Gewalt, so sind gerade marginalisierte Gruppen auch in der digitalen Welt nach wie vor besonders stark von Diskriminierung betroffen. Sexismus, Rassismus, Antisemitismus, Trans‑ und Homophobie sind die Hauptthemen von Hate Speech. Wer einer oder mehreren  Minderheiten angehört, die im Netz angefeindet werden, ist besonders gefährdet, Opfer digitaler Gewalt zu werden.

Wir müssen deshalb Diskriminierungs-Strukturen und manifeste Ausschluss-Systeme, die sich nicht zuletzt in Sprache manifestieren, sichtbar machen und analysieren, um digital und analog einen Zugriff auf dieses vielschichtige Thema zu finden.

Sprechen wir also über Ausschluss-Systeme als tradierte Strukturen, über gender und race, und die Frage nach Zugang zu materiellen wie immateriellen Ressourcen.

Zugangschancen und Teilhabemöglichkeiten, Chancen auf Bildung und Beteiligung sind innerhalb unserer Gesellschaft ungleich verteilt, darauf machen feministische und antirassistische Bewegungen schon lange aufmerksam. 

Das Internet als Spiegel der Gesellschaft

Es gilt: praktisch alle Ungleichheitsverhältnisse tragen sich nahtlos ins Internet, nicht selten lautverstärkt. Intersektional betrachtet wird schnell deutlich, dass Sexist oder Gendered Hate Speech Frauen* unterschiedlich stark betrifft, sie aber vor allem in ihrer Unterschiedlichkeit betrifft. Amnesty International hat in diesem Bereich festgestellt, dass Schwarze Frauen* zum Beispiel deutlich häufiger von Hate Speech auf Twitter betroffen sind als weiße Frauen*. Ständige Bedrohung online führt zu Rückzugsmechanismen oder Silencing, das ist empirisch belegt. Dies schließt digital wie analog Betroffene aus diskursiven Räumen aus, hindert sie daran ihre Meinungsfreiheit auszuüben, führt letztlich zu einer verzerrten Mehrheitswahrnehmung im sogenannten öffentlichen Raum und konterkariert mithin unser Verständnis von Demokratie.

Für eine umfassende wissenschaftliche Analyse von Diskriminierungsstrukturen in Deutschland aber fehlen uns schlicht die Zahlen. Denn, der erhobene Migrationshintergrund alleine, ist wenig aussagekräftig. Schaut man sich zum Beispiel Schwarze Lebensrealitäten in Deutschland an, so endet Rassismus-Erfahrung nicht nach der zweiten oder dritten Generation. Eine weiße deutsche Person mit Migrationshintergrund dagegen, die zum Beispiel weiße, sagen wir dänische Eltern hat, macht aber in Deutschland eher keine Rassismuserfahrungen. Der bald startende #AFROZENSUS soll hier Abhilfe schaffen und ist ein Projekt, das wir alle mit Spannung verfolgen sollten.

Wer schreibt den Code?

Mit Blick auf Künstliche Intelligenz ist schon länger klar, dass diskriminierende Stereotype sich im Code manifestieren. Es ist hinlänglich bekannt, dass biometrische Gesichtserkennung Schwarze Menschen und People of Colour nur unzureichend identifizieren kann, da sie sich überwiegend auf Trainingsdatensätze weißer Personen stützt. Noch Ende vergangenen Jahres hat das National Institute of Standards and Technology darauf hingewiesen, dass People of Colour überdurchschnittlich häufig falsch zugeordnet, also zum Beispiel im Rahmen der Strafverfolgung, für eine gesuchte Person auf einem Bild gehalten werden. Gebündelt als Big Data werden tradierte Ausschlusssysteme so implizit in den Code eingeschrieben. 

Wie kann das sein?

Silicon Valley ist nach wie vor von weißen Männern dominiert. Das führt dazu, dass auch alle Zukunftsinnovationen und Utopien, die uns von dort erreichen, aus den Köpfen von weißen, materiell durchaus gut ausgestatteten Cis-Männern kommen. 

Computer und Maschinen, lernen im Ende nicht anders als Menschen: Sie reproduzieren, was ihnen an Input angeboten wird und bilden daraus Kategoriensysteme. 

Auch Algorithmen also sind anfällig für Vorurteile.

Es scheint nun, als gäbe es als Reaktion auf die #BlackLivesMatter – Demonstrationen ein Umdenken bei Technologiekonzernen, was das Thema Gesichtserkennung im Rahmen der Strafverfolgung (Stichwort: Racial Profiling) angeht. Derzeit immerhin sieht es aus, als habe sich auch Microsoft nach IBM und Amazon dazu bekannt, US-amerikanischen Polizeibehörden ihre KI-Technologien zunächst nicht weiter zur Verfügung zu stellen.

Zurück zum Thema Sprache: Google will rassistische Begriffe aus seinem Code streichen: “Blacklist” wird durch “Blocklist” ersetzt und “Whitelist” durch “Allowlist” (Stichwort: Farblehre). Ebenso überarbeitet werden soll die Benennung der Hierarchie-Zusammenhänge von “Master” und “Slave” im Rahmen digitaler Architekturen. Code ist Sprache.

Sprache formt Denken, Sprache erst erzeugt Rahmen und Grenzen, ein Innen und Außen, Wir und Sie

Woher kommst du?

Stellen Sie Menschen diese Frage? Wen fragen Sie das? Und warum?


Dieser Text bildete die Einleitung für die Diskussion “Diskriminierung vorprogrammiert” aus unserer Veranstaltungsreihe Digitalen Salon.

Weiterführend: 

Blog-Beitrag: https://leibniz-hbi.de/de/blog/das-internet-eine-diskriminierungstechnologie
BredowCast: https://www.hans-bredow-institut.de/de/aktuelles/bredowcast-54-auch-im-internet-sind-nicht-alle-gleich
Missy Magazin: https://missy-magazine.de/blog/2020/05/11/zoff-um-wiki/

This post represents the view of the author and does not necessarily represent the view of the institute itself. For more information about the topics of these articles and associated research projects, please contact info@hiig.de.

Katharina Mosene

Researcher: AI & Society Lab

Sign up for HIIG's Monthly Digest

HIIG-Newsletter-Header

You will receive our latest blog articles once a month in a newsletter.

Explore current HIIG Activities

Research issues in focus

HIIG is currently working on exciting topics. Learn more about our interdisciplinary pioneering work in public discourse.

Further articles

The photo shows an arrow sign on a brick wall, symbolising the DSA in terms of navigating platform power.

Navigating platform power: from European elections to the regulatory future

Looking back at the European elections in June 2024, this blog post takes stock of the Digital Services Act’s effect in terms of navigating platform power.

The image shows a football field from above. The players are only visible because of their shadows, symbolizing Humans in the Loop.

AI Under Supervision: Do We Need ‘Humans in the Loop’ in Automation Processes?

Automated decisions have advantages but are not always flawless. Some suggest a Human in the Loop as a solution. But does it guarantee better outcomes?

The image shows blue dices that are connected to eachother, symbolising B2B platforms.

The plurality of digital B2B platforms

This blog post dives into the diversity of digital business-to-business platforms, categorising them by governance styles and strategic aims.