Skip to content
shawn-ang-r2A6WYI8YIg-unsplash
06 August 2020| doi: 10.5281/zenodo.3974153

Discrimination preprogrammed?

Technology is never neutral. And even if the Internet as a medium initially invited us to deconstruct established, fixed role models and identities in supposedly new publics, to break up traditional power and domination relationships, today we must above all talk about inequalities in digital space.


Schauen wir zum Beispiel auf das Thema der Digitalen Gewalt, so sind gerade marginalisierte Gruppen auch in der digitalen Welt nach wie vor besonders stark von Diskriminierung betroffen. Sexismus, Rassismus, Antisemitismus, Trans‑ und Homophobie sind die Hauptthemen von Hate Speech. Wer einer oder mehreren  Minderheiten angehört, die im Netz angefeindet werden, ist besonders gefährdet, Opfer digitaler Gewalt zu werden.

Wir müssen deshalb Diskriminierungs-Strukturen und manifeste Ausschluss-Systeme, die sich nicht zuletzt in Sprache manifestieren, sichtbar machen und analysieren, um digital und analog einen Zugriff auf dieses vielschichtige Thema zu finden.

Sprechen wir also über Ausschluss-Systeme als tradierte Strukturen, über gender und race, und die Frage nach Zugang zu materiellen wie immateriellen Ressourcen.

Zugangschancen und Teilhabemöglichkeiten, Chancen auf Bildung und Beteiligung sind innerhalb unserer Gesellschaft ungleich verteilt, darauf machen feministische und antirassistische Bewegungen schon lange aufmerksam. 

Das Internet als Spiegel der Gesellschaft

Es gilt: praktisch alle Ungleichheitsverhältnisse tragen sich nahtlos ins Internet, nicht selten lautverstärkt. Intersektional betrachtet wird schnell deutlich, dass Sexist oder Gendered Hate Speech Frauen* unterschiedlich stark betrifft, sie aber vor allem in ihrer Unterschiedlichkeit betrifft. Amnesty International hat in diesem Bereich festgestellt, dass Schwarze Frauen* zum Beispiel deutlich häufiger von Hate Speech auf Twitter betroffen sind als weiße Frauen*. Ständige Bedrohung online führt zu Rückzugsmechanismen oder Silencing, das ist empirisch belegt. Dies schließt digital wie analog Betroffene aus diskursiven Räumen aus, hindert sie daran ihre Meinungsfreiheit auszuüben, führt letztlich zu einer verzerrten Mehrheitswahrnehmung im sogenannten öffentlichen Raum und konterkariert mithin unser Verständnis von Demokratie.

Für eine umfassende wissenschaftliche Analyse von Diskriminierungsstrukturen in Deutschland aber fehlen uns schlicht die Zahlen. Denn, der erhobene Migrationshintergrund alleine, ist wenig aussagekräftig. Schaut man sich zum Beispiel Schwarze Lebensrealitäten in Deutschland an, so endet Rassismus-Erfahrung nicht nach der zweiten oder dritten Generation. Eine weiße deutsche Person mit Migrationshintergrund dagegen, die zum Beispiel weiße, sagen wir dänische Eltern hat, macht aber in Deutschland eher keine Rassismuserfahrungen. Der bald startende #AFROZENSUS soll hier Abhilfe schaffen und ist ein Projekt, das wir alle mit Spannung verfolgen sollten.

Wer schreibt den Code?

Mit Blick auf Künstliche Intelligenz ist schon länger klar, dass diskriminierende Stereotype sich im Code manifestieren. Es ist hinlänglich bekannt, dass biometrische Gesichtserkennung Schwarze Menschen und People of Colour nur unzureichend identifizieren kann, da sie sich überwiegend auf Trainingsdatensätze weißer Personen stützt. Noch Ende vergangenen Jahres hat das National Institute of Standards and Technology darauf hingewiesen, dass People of Colour überdurchschnittlich häufig falsch zugeordnet, also zum Beispiel im Rahmen der Strafverfolgung, für eine gesuchte Person auf einem Bild gehalten werden. Gebündelt als Big Data werden tradierte Ausschlusssysteme so implizit in den Code eingeschrieben. 

Wie kann das sein?

Silicon Valley ist nach wie vor von weißen Männern dominiert. Das führt dazu, dass auch alle Zukunftsinnovationen und Utopien, die uns von dort erreichen, aus den Köpfen von weißen, materiell durchaus gut ausgestatteten Cis-Männern kommen. 

Computer und Maschinen, lernen im Ende nicht anders als Menschen: Sie reproduzieren, was ihnen an Input angeboten wird und bilden daraus Kategoriensysteme. 

Auch Algorithmen also sind anfällig für Vorurteile.

Es scheint nun, als gäbe es als Reaktion auf die #BlackLivesMatter – Demonstrationen ein Umdenken bei Technologiekonzernen, was das Thema Gesichtserkennung im Rahmen der Strafverfolgung (Stichwort: Racial Profiling) angeht. Derzeit immerhin sieht es aus, als habe sich auch Microsoft nach IBM und Amazon dazu bekannt, US-amerikanischen Polizeibehörden ihre KI-Technologien zunächst nicht weiter zur Verfügung zu stellen.

Zurück zum Thema Sprache: Google will rassistische Begriffe aus seinem Code streichen: “Blacklist” wird durch “Blocklist” ersetzt und “Whitelist” durch “Allowlist” (Stichwort: Farblehre). Ebenso überarbeitet werden soll die Benennung der Hierarchie-Zusammenhänge von “Master” und “Slave” im Rahmen digitaler Architekturen. Code ist Sprache.

Sprache formt Denken, Sprache erst erzeugt Rahmen und Grenzen, ein Innen und Außen, Wir und Sie

Woher kommst du?

Stellen Sie Menschen diese Frage? Wen fragen Sie das? Und warum?


Dieser Text bildete die Einleitung für die Diskussion “Diskriminierung vorprogrammiert” aus unserer Veranstaltungsreihe Digitalen Salon.

Weiterführend: 

Blog-Beitrag: https://leibniz-hbi.de/de/blog/das-internet-eine-diskriminierungstechnologie
BredowCast: https://www.hans-bredow-institut.de/de/aktuelles/bredowcast-54-auch-im-internet-sind-nicht-alle-gleich
Missy Magazin: https://missy-magazine.de/blog/2020/05/11/zoff-um-wiki/

This post represents the view of the author and does not necessarily represent the view of the institute itself. For more information about the topics of these articles and associated research projects, please contact info@hiig.de.

Katharina Mosene

Researcher: AI & Society Lab

Explore current HIIG Activities

Research issues in focus

HIIG is currently working on exciting topics. Learn more about our interdisciplinary pioneering work in public discourse.

Sign up for HIIG's Monthly Digest

and receive our latest blog articles.

Further articles

The photo shows a hand holding a digital map on a smartphone, symbolising GIS technology and Geodata.

Navigating the Urban Maze: GIS technology and the blurring boundaries between digital and physical infrastructure

The progression of GIS technology and Geodata questions if digital maps should be regarded as physical public infrastructure.

Toolkit "Making Sense of the Future" lays on the table, representing digital futures in the classroom.

Making Sense of the Future: New brainteasers for digital futures in the classroom

Explore “Making Sense of the Future”, an open educational resource combining futures studies and creative exploration to reimagine our digital futures.

Generic visualizations generated by the author using Stable Diffusion AI representing futuristic visions for futures studies

Honey, we need to talk about the future

Can futures studies challenge the status quo beyond academia and approach public dialogue as an imaginative space for collective endeavours?