Zum Inhalt springen

Digital Society Blog

Unsere vernetzte Welt verstehen

Digital-Society-Blog-Language-Processing-Webseite

Wieso entsteht Bias in unseren Sprachtechnologien?

29 November 2021| doi: 10.5281/zenodo.5848912

Warum enthalten Übersetzungsprogramme oder Chatbots auf unseren Computern oft diskriminierende Tendenzen gegenüber wie Geschlecht oder Herkunft? Hier ist ein einfacher Leitfaden um Bias in Sprachtechnologien zu verstehen. Wir erklären, wie die Verarbeitung natürlicher Sprache funktioniert und warum sexistische Technologien wie Suchmaschinen nicht nur ein unglücklicher Zufall sind.

Was ist Bias in Übersetzungsprogrammen?

Hast Du schon mal maschinelles Übersetzen benutzt, um einen Satz ins Estnische zu übersetzen? Diese, wie auch andere Sprachen, nutzen kein grammatikalisches Geschlecht Artikel und Substantive lassen keine Rückschlüsse auf das Geschlecht zu. Bei der Übersetzung muss die Software eine eigene Entscheidung treffen. Diese Entscheidung orientiert sich aber häufig an Klischees. Ist das nur Zufall?

Abbildung 1: Screenshot einer Übersetzung von Deutsch nach Estnisch (und umgekehrt) von Google Translate. Weil im Estnischen keine grammatische Unterscheidung für das Geschlecht gemacht wird, dies im Deutschen aber nötig ist, muss das Programm entscheiden welches Wort welches Geschlecht bekommt. Häufig orientieren sich die Algorithmen dabei an Stereotypen, wie in diesem Beispiel.

Moderne Übersetzungsprogramme werden auf Basis von riesigen Mengen von Sprachdaten erstellt: Und diese aus dem Alltagsgebrauch entnommenen Sprachdaten haben häufig einen Bias. Unter Bias verstehen wir eine systematische und ungerechte Diskriminierung eines Indiviuums oder einer Gruppe von Individuen zugunsten anderer. Die Art und Weise, wie diese Systeme erstellt werden, kann sogar zu einer Verstärkung dieses Bias führen.

Wie lernen solche Systeme? Wir werden mit einer technischen Erklärung beginnen, wie Wörter mit Zahlen repräsentiert werden – sogenannte Worteinbettungen -, sodass sie von Computern verstanden werden können. Wir wollen damit nicht langweilen, sondern klarmachen, dass Bias in Worteinbettungen kein Zufall, sondern ein logisches Nebenprodukt ist. Im Anschluss diskutieren wir die Folgen verzerrter Einbettungen an einem Praxisbeispiel.

Was sind Worteinbettungen und wieso benutzen wir sie?

Worteinbettungen sind zunächst nichts anderes als Zahlenlisten. Wenn Du Google nach dem Wort “women” durchsuchst, sieht das Programm eine Liste aus Zahlen und berechnet die Ergebnisse auf dieser Grundlage. Computer können Wörter nämlich nicht direkt verarbeiten, deswegen braucht es Einbettungen.

Abbildung 2: Numerische Darstellung oder Worteinbettung des Wortes “women”. Es ist nichts anderes als eine lange Liste oder ein Vektor von Zahlen.

Wichtig ist, Wörter auf eine Weise in Zahlen zu übersetzen, dass möglichst wenig Information verloren geht. Wir könnten beispielsweise einfach Durchzählen, wie im Beispiel unten. Jedes Wort wird durch eine Zahl repräsentiert. Bei diesem Vorgehen bleibt die Information erhalten, dass sich manche Wörter wiederholen, denn denselben Wörtern werden dieselben Zahlen zugeordnet.

Abbildung 3

Aber da geht noch mehr. “Verunreinigung”, “Reinigungskraft” und “Putzen” sind in gewisser Hinsicht ähnliche Begriffe. Wir wollen, dass sich diese Ähnlichkeit auch in den Einbettungen spiegelt. Dafür braucht es noch cleverere Methoden.

Worteinbettungen und maschinelles Lernen

Wir fokussieren uns auf eine bestimmte Einbettungstechnik, nämlich GloVe. GloVe gehört zur Klasse des maschinellen Lernens. Das heißt, dass wir diesmal nicht manuell Zahlen zuweisen, sondern die Einbettung mittels eines riesigen Sprachkorpus lernen (und mit riesig meinen wir Milliarden von Wörtern).

Dieser Satz bringt die Idee hinter GloVe auf den Punkt: “Du sollst ein Wort an der Gesellschaft erkennen, die es umgibt.” Das heißt nichts anderes, als dass der Kontext eines Wortes schon sehr viel über dessen Bedeutung preisgibt. Kaschiert man Worte des vorigen Satzes, könnte man sie immer noch grob erraten: “Für solch eine ___ muss eine Reinigungskraft hier putzen.” Der GloVe Algorithmus besteht aus drei Schritten:

  1. Zunächst ziehen wir eine Art Fenster über unseren Korpus. Das Fenster repräsentiert den Kontext, wobei dessen  Größe experimentell zu bestimmen ist. Es gibt Experimente, die zeigen, dass bei einer Fenstergröße von 2 beispielsweise “Hogwarts” stärker mit anderen fiktiven Schulen wie “Sunnydale” oder “Evernight” assoziiert wird, bei einer Größe von 5 jedoch mit Wörtern wie “Dumbledore” oder “Malfoy”.
Abbildung 4
  1. Als zweites zählen wir das gemeinsame Auftauchen der Wörter. Wörter tauchen gemeinsam auf, wenn sie in dasselbe Fenster passen, wie z.B. “Verunreinigung” mit “solch”, “eine” und “muss”. Das Resultat kann wie folgt dargestellt werden.
Abbildung 5
  1. Der dritte Schritt ist nun das eigentliche Lernen an den Daten (Wir werden nicht zu sehr ins Detail gehen, denn das setzt versierte mathematische Kenntnisse voraus.) Die zugrundeliegende Idee ist aber recht simpel. Erst berechnen wir die Wahrscheinlichkeiten des gemeinsamen Auftauchens. Wörter, die häufig zusammen auftauchen, wie “Verunreinigung” und “Reinigungskraft”, werden eine hohe Wahrscheinlichkeit zugewiesen, seltenen Paaren, wie “Reinigungskraft” und “Elephant” eine niedrige. Zuletzt weisen wir den Wörtern auf Basis dieser Wahrscheinlichkeiten ihre Einbettungen zu. Die jeweiligen Zahlenlisten für “Verunreinigung” und “Reinigungskraft” werden sich ähneln und sehr verschieden sein von der für “Elephant”.
Abbildung 6: Dieses Codeschnipsel gibt die 20 ähnlichsten Wörter zu “Banane” aus. Die Zahlen neben den Wörtern zeigen ihre Ähnlichkeit mit “Banane” an. Hohe Zahlen bedeuten hohe Ähnlichkeit.

Das wars! Das sind alle Schritte der GloVe Einbettungen. Der gesamte Vorgang besteht daraus, ein Fenster über Millionen von Sätzen aus dem Internet zu ziehen, das gemeinsame Auftauchen zu zählen, die Wahrscheinlichkeiten zu berechnen und die Einbettungen entsprechend zuzuweisen.

Abbildung 7: Mit Worteinbettungen kannst Du mit Wörtern rechnen. Wenn man die Einbettung von “Mann” von der von “König” subtrahiert und die Einbettung von “Frau” addiert, ist das Ergebnis “Königin”.

GloVe wird zwar in den meisten modernen Technologien nicht mehr verwendet und ist durch etwas fortschrittlichere Methoden ersetzt worden, aber die zugrundeliegenden Prinzipien sind dieselben: Ähnlichkeit (und Bedeutung) werden auf der Grundlage des gemeinsamen Auftauchens zugewiesen.

Bias in Sprachtechonlogien: Nur ein Hirngespinst?

Aber zurück zum ursprünglichen Thema: Was macht diese Methode so anfällig für Bias? Stell dir vor, dass Wörter wie “Putzkraft” häufig gemeinsam mit “Frau” oder “Ingenieur” mit “Mann” auftauchen. GloVe wird auch diesen Paaren eine starke Ähnlichkeit zuordnen. Und das ist ein Problem: Bias in Worteinbettungen ist kein Zufall. Der gleiche Mechanismus, der ihnen die Fähigkeit verleiht, die Bedeutung von Wörtern zu erfassen, ist auch für Bias bezüglich Geschlecht, Herkunft etc. verantwortlich. 

Worteinbettungen befinden sich an der Basis der meisten modernen Systeme, inklusive der Technologien, die wir täglich benutzen. Von Suchmaschinen über Sprach- und Texterkennung bis hin zu Übersetzungsprogrammen, Einbettungen bilden die Grundlage von alledem. Und wenn die Grundlage einen Bias hat, dann ist es nicht unwahrscheinlich, dass dieser auf das gesamte System überspringt. Aber ist dieser Bias nur ein theoretisches Problem oder hat es auch Auswirkungen auf die reale Welt?

Männlich-trainierte Worteinbettungen fördern diskriminierende Tendenzen

Tippt man “maschinelles Lernen” in eine Suchmaschine ein, erhält man tausende Treffer –zu viele, um sie sich alle anzusehen. Sie müssen also nach Relevanz sortiert werden. Aber wie bestimmt man, was relevant ist? Es hat sich herausgestellt, dass Worteinbettungen und das Sortieren nach Ähnlichkeit eine gute Lösung ist. Wörter, die ähnlich zu “machinelles Lernen” sind, werden nach oben sortiert. Allerdings hat sich auch gezeigt herausgestellt, dass Worteinbettungen oft einen Gender Bias haben. Stell dir vor, Du suchst nach “Informatik Promovierende an der Humboldt Universität”. Was passieren kann, ist, dass dir die Webseiten männlicher Promovierender ganz oben angezeigt werden, weil deren Namen stärker mit “Informatik” assoziiert werden. Und das wiederum kann den Eindruck verstärken, dass es keine oder weniger Frauen in der Informatik gibt.

Vielleicht ist es keine Überraschung, dass Einbettungen einen Bias entwickeln, wenn man sich anschaut, womit sie gefüttert werden. Die Trainingsdaten von GPT-2, einem der größten Sprachmodelle, wurde über ausgehende Links von Reddit bezogen. Diese werden hauptsächlich von Männern zwischen 18 und 29 angelegt. Es gibt aber auch Einbettungen, die an Wikipedia Einträgen – einer vermeintlich Bias-freien Quelle – trainiert wurden. Und doch entwickelten sie einen Bias. Das könnte daran liegen, dass nur etwa 18 % der Biografien in der (englischen) Wikipedia über Frauen und nur 8-15 % der Beiträge von Autorinnen verfasst wurden. Die Wahrheit ist, dass es ziemlich schwierig ist, große ausgewogene Sprachdatensätze zu finden.

Wir könnten noch mehr und mehr und mehr und mehr Beispiele aufzeigen, aber wir werfen den Blick lieber auf etwas Optimistisches: Lösungen!

Was können wir also gegen Bias in Sprachtechnologien tun?

Sprachbasierte Technologie ist oft rassistisch, sexistisch, ableistisch, altersdiskriminierend etc. Aber es gibt auch den schwachen Schimmer einer guten Nachricht: Wir können etwas dagegen tun! Noch besser: Das Bewusstsein, dass diese Probleme existieren, ist bereits der erste Schritt. Zusätzlich können wir auch versuchen, einen Datensatz zu erstellen, der von vornherein weniger Bias enthält. 

Da dies so gut wie unmöglich ist, da linguistische Daten immer bereits vorhandenen Bias enthalten, besteht eine Alternative darin, den Datensatz genau zu beschreiben. Auf diese Weise können sowohl Forschung als auch Industrie sicherstellen, dass sie nur geeignete Datensätze verwenden, und sie können gründlicher abschätzen, welche Auswirkungen die Verwendung eines bestimmten Datensatzes in einem bestimmten Kontext haben wird. 

Auf technischer Ebene gibt es verschiedene Techniken, um Bias im eigentlichen System zu verringern. Einige dieser Techniken beinhalten die Beurteilung der Angemessenheit einer Unterscheidung. Zum Beispiel ist die geschlechtsspezifische Unterscheidung zwischen “Mutter” und “Vater” angemessen, während “Hausfrau” und “Programmierer” eher unangemessen sind. Die Worteinbettungen für diese unpassenden Wortpaare werden dann entsprechend angepasst. Wie erfolgreich diese Methoden in der Praxis tatsächlich sind, ist umstritten

Grundsätzlich sollten die Menschen, die von einer Technologie potenziell betroffen sind – insbesondere die negativ Betroffenen – im Mittelpunkt der Forschung stehen. Und dazu gehört ihre Einbeziehung in alle Phasen des Entwicklungsprozesses – je früher, desto besser! 

Vorsicht mit den Daten und probiers mit Partizipation

Vorurteile, die in unserer Gesellschaft bestehen, spiegeln sich in der Sprache, die wir verwenden, wider. Und dies kann durch Sprachtechnologien sogar noch verstärkt werden. Als Mindestanforderung sollten Technologien, die kritische Entscheidungen treffen – wie ein System, das automatisch entscheidet, ob ein Kredit gewährt wird oder nicht – partizipativ gestaltet werden. Und zwar vom Anfang bis zum Ende des Entwicklungsprozesses. Nur, weil Menschen diskriminierend sein können, heißt das nicht, dass Computer das auch sein müssen! Es gibt Werkzeuge und Methoden, um die Auswirkungen zu verringern. Und wir können Worteinbettungen sogar zur Erforschung von Bias verwenden. Also: Sei dir bewusst, welche Daten Du verwendest, probier technische Methoden zum Abbau von Bias aus und integriere stets die verschiedenen Interessengruppen.

Dieser Beitrag spiegelt die Meinung der Autorinnen und Autoren und weder notwendigerweise noch ausschließlich die Meinung des Institutes wider. Für mehr Informationen zu den Inhalten dieser Beiträge und den assoziierten Forschungsprojekten kontaktieren Sie bitte info@hiig.de

Freya Hewett

Wissenschaftliche Mitarbeiterin: AI & Society Lab

Sami Nenno

Studentischer Mitarbeiter: AI & Society Lab

HIIG Monthly Digest

Jetzt anmelden und  die neuesten Blogartikel gesammelt per Newsletter erhalten.

Titelbild European Platform Alternatives. Ein Schwimmbad mit zwei Sprungtürmen von oben.

European Platform Alternatives

Im Jahr 2020 begann das Platform Alternatives Projekt mit der Erforschung der europäischen Plattformökonomie, um die strukturellen Auswirkungen der großen amerikanischen Plattformen und die Strategien ihrer europäischen Wettbewerber zu verstehen. Das Team fand hier eine äußerst vielfältige und aktive Landschaft digitaler Plattformen vor, in der häufig andere Motivationen als Wachstum und Marktherrschaft im Zentrum stehen. Zwei Jahre später bieten die hier versammelten Beiträge nun eine Alternative zu den aktuellen öffentlichen und politischen Debatten, die sich oft nur um die Fragen der Regulierung großer Plattformen drehen. Neben vielfältigen organisatorischen Lösungen und Regulierungsfragen geht es vor allem die Frage, wie sie europäische Plattformen zu echten Alternativen im globalen Markt entwickeln können.

Discover all 5 articles

Weitere Artikel

Titelbild für den Blogbeitrag. Zu sehen ist ein Publikum von hinten fotografiert. Sie hören einem Vortrag zu.

Ethik der Digitalisierung: Dialog, Teilhabe & Visionen

Welche Visionen müssen wir umsetzen, damit eine ethikgeleitete Digitaliserung unserer Gesellschaft für alle funktioniert? Wir ziehen eine Bilanz.

Eine große Kreuzung mit viel Verkehr.

Neues Toolkit mit einfachen Tipps für intersektionale KI

Für viele haben KI-Systeme die Kluft der Ungleichheit weiter vergrößert. Aus diesem Grund nutzen intersektionale KI-Ansätze (IAI) die Perspektiven marginalisierter Gemeinschaften, um die Entwicklung und Nutzung von Künstlicher Intelligenz grundlegend...

OpenAI

Wann wird die erste KI die New York Times-Bestseller*innenliste anführen?

Sprachgeneratoren, die auf künstlicher Intelligenz basieren, produzieren immer überzeugendere Texte. Das hat uns zu der Frage geführt: Könnte eine KI als Gastautor einen Artikel in der encore schreiben? Dieser von...