Skip to content
shawn-ang-r2A6WYI8YIg-unsplash

Discrimination preprogrammed?

06 August 2020| doi: 10.5281/zenodo.3974153

Technology is never neutral. And even if the Internet as a medium initially invited us to deconstruct established, fixed role models and identities in supposedly new publics, to break up traditional power and domination relationships, today we must above all talk about inequalities in digital space.


Schauen wir zum Beispiel auf das Thema der Digitalen Gewalt, so sind gerade marginalisierte Gruppen auch in der digitalen Welt nach wie vor besonders stark von Diskriminierung betroffen. Sexismus, Rassismus, Antisemitismus, Trans‑ und Homophobie sind die Hauptthemen von Hate Speech. Wer einer oder mehreren  Minderheiten angehört, die im Netz angefeindet werden, ist besonders gefährdet, Opfer digitaler Gewalt zu werden.

Wir müssen deshalb Diskriminierungs-Strukturen und manifeste Ausschluss-Systeme, die sich nicht zuletzt in Sprache manifestieren, sichtbar machen und analysieren, um digital und analog einen Zugriff auf dieses vielschichtige Thema zu finden.

Sprechen wir also über Ausschluss-Systeme als tradierte Strukturen, über gender und race, und die Frage nach Zugang zu materiellen wie immateriellen Ressourcen.

Zugangschancen und Teilhabemöglichkeiten, Chancen auf Bildung und Beteiligung sind innerhalb unserer Gesellschaft ungleich verteilt, darauf machen feministische und antirassistische Bewegungen schon lange aufmerksam. 

Das Internet als Spiegel der Gesellschaft

Es gilt: praktisch alle Ungleichheitsverhältnisse tragen sich nahtlos ins Internet, nicht selten lautverstärkt. Intersektional betrachtet wird schnell deutlich, dass Sexist oder Gendered Hate Speech Frauen* unterschiedlich stark betrifft, sie aber vor allem in ihrer Unterschiedlichkeit betrifft. Amnesty International hat in diesem Bereich festgestellt, dass Schwarze Frauen* zum Beispiel deutlich häufiger von Hate Speech auf Twitter betroffen sind als weiße Frauen*. Ständige Bedrohung online führt zu Rückzugsmechanismen oder Silencing, das ist empirisch belegt. Dies schließt digital wie analog Betroffene aus diskursiven Räumen aus, hindert sie daran ihre Meinungsfreiheit auszuüben, führt letztlich zu einer verzerrten Mehrheitswahrnehmung im sogenannten öffentlichen Raum und konterkariert mithin unser Verständnis von Demokratie.

Für eine umfassende wissenschaftliche Analyse von Diskriminierungsstrukturen in Deutschland aber fehlen uns schlicht die Zahlen. Denn, der erhobene Migrationshintergrund alleine, ist wenig aussagekräftig. Schaut man sich zum Beispiel Schwarze Lebensrealitäten in Deutschland an, so endet Rassismus-Erfahrung nicht nach der zweiten oder dritten Generation. Eine weiße deutsche Person mit Migrationshintergrund dagegen, die zum Beispiel weiße, sagen wir dänische Eltern hat, macht aber in Deutschland eher keine Rassismuserfahrungen. Der bald startende #AFROZENSUS soll hier Abhilfe schaffen und ist ein Projekt, das wir alle mit Spannung verfolgen sollten.

Wer schreibt den Code?

Mit Blick auf Künstliche Intelligenz ist schon länger klar, dass diskriminierende Stereotype sich im Code manifestieren. Es ist hinlänglich bekannt, dass biometrische Gesichtserkennung Schwarze Menschen und People of Colour nur unzureichend identifizieren kann, da sie sich überwiegend auf Trainingsdatensätze weißer Personen stützt. Noch Ende vergangenen Jahres hat das National Institute of Standards and Technology darauf hingewiesen, dass People of Colour überdurchschnittlich häufig falsch zugeordnet, also zum Beispiel im Rahmen der Strafverfolgung, für eine gesuchte Person auf einem Bild gehalten werden. Gebündelt als Big Data werden tradierte Ausschlusssysteme so implizit in den Code eingeschrieben. 

Wie kann das sein?

Silicon Valley ist nach wie vor von weißen Männern dominiert. Das führt dazu, dass auch alle Zukunftsinnovationen und Utopien, die uns von dort erreichen, aus den Köpfen von weißen, materiell durchaus gut ausgestatteten Cis-Männern kommen. 

Computer und Maschinen, lernen im Ende nicht anders als Menschen: Sie reproduzieren, was ihnen an Input angeboten wird und bilden daraus Kategoriensysteme. 

Auch Algorithmen also sind anfällig für Vorurteile.

Es scheint nun, als gäbe es als Reaktion auf die #BlackLivesMatter – Demonstrationen ein Umdenken bei Technologiekonzernen, was das Thema Gesichtserkennung im Rahmen der Strafverfolgung (Stichwort: Racial Profiling) angeht. Derzeit immerhin sieht es aus, als habe sich auch Microsoft nach IBM und Amazon dazu bekannt, US-amerikanischen Polizeibehörden ihre KI-Technologien zunächst nicht weiter zur Verfügung zu stellen.

Zurück zum Thema Sprache: Google will rassistische Begriffe aus seinem Code streichen: “Blacklist” wird durch “Blocklist” ersetzt und “Whitelist” durch “Allowlist” (Stichwort: Farblehre). Ebenso überarbeitet werden soll die Benennung der Hierarchie-Zusammenhänge von “Master” und “Slave” im Rahmen digitaler Architekturen. Code ist Sprache.

Sprache formt Denken, Sprache erst erzeugt Rahmen und Grenzen, ein Innen und Außen, Wir und Sie

Woher kommst du?

Stellen Sie Menschen diese Frage? Wen fragen Sie das? Und warum?


Dieser Text bildete die Einleitung für die Diskussion “Diskriminierung vorprogrammiert” aus unserer Veranstaltungsreihe Digitalen Salon.

Weiterführend: 

Blog-Beitrag: https://leibniz-hbi.de/de/blog/das-internet-eine-diskriminierungstechnologie
BredowCast: https://www.hans-bredow-institut.de/de/aktuelles/bredowcast-54-auch-im-internet-sind-nicht-alle-gleich
Missy Magazin: https://missy-magazine.de/blog/2020/05/11/zoff-um-wiki/

This post represents the view of the author and does not necessarily represent the view of the institute itself. For more information about the topics of these articles and associated research projects, please contact info@hiig.de.

Katharina Mosene

Associated Researcher: Research and event cooperations at Leibniz-Institut für Medienforschung | HBI

Sign up for HIIG's Monthly Digest

and receive our latest blog articles.

Man sieht in Leuchtschrift das Wort "Ethical"

Digital Ethics

Whether civil society, politics or science – everyone seems to agree that the New Twenties will be characterised by digitalisation. But what about the tension of digital ethics? How do we create a digital transformation involving society as a whole, including people who either do not have the financial means or the necessary know-how to benefit from digitalisation?  And what do these comprehensive changes in our actions mean for democracy? In this dossier we want to address these questions and offer food for thought on how we can use digitalisation for the common good.

Discover all 11 articles

Further articles

Image shows a visualized human brain with blue light effects

AI as a flying blue brain? How metaphors influence our visions about AI

Why is Artificial Intelligence so commonly depicted as a machine with a human brain? This article shows why one misleading metaphor became so prevalent.

Person in wheelchair taking photos outside

Exploiting potentials: Teaching AI Systems to See Accessibility Barriers

Barriers in our physical environment are still widespread. While AI systems could eventually support detecting them, it first needs open training data. Here we provide a dataset for detecting steps...

You can see a group of people from above doing lessons online. It symoblises digital teaching/digitale Lehre.

Sharing knowledge: Impact of Covid-19 on digital teaching

How can we address the many inequalities in access to digital resources and lack of digital skills that were revealed by the COVID-19 pandemic?