Inside Content Moderation: Mensch, Maschine und unsichtbare Arbeit

Wer entscheidet, was wir online sehen und was nicht? Die Moderation von Inhalten in sozialen Netzwerken ist ein komplexes Zusammenspiel. Sie folgt nicht nur plattformeigenen Regeln und technischen Infrastrukturen, sondern auch gesetzlichen Vorgaben auf nationaler und internationaler Ebene. Damit verbunden ist stets die Frage nach gesellschaftlicher Verantwortung. Denn die Moderationspraxis reicht weit über das Löschen von problematischen Beiträgen hinaus: Jede Entscheidung betrifft Nutzer*innen auf digitalen Plattformen unmittelbar, weil sie bestimmt, welche Stimmen sichtbar bleiben und welche zum Schweigen gebracht werden. Die Arbeitsteilung zwischen algorithmischen Systemen und menschlichen Moderator*innen stößt dabei immer wieder an Grenzen. Plattformunternehmen lagern große Teile dieser Moderationsarbeit in Länder wie die Philippinen oder Kenia aus, wo Menschen unter prekären Bedingungen hochbelastende Inhalte prüfen. Gleichzeitig entstehen die Algorithmen und Richtlinien, nach denen sie arbeiten, überwiegend im Globalen Norden. Diese Verlagerung der Verantwortlichkeiten reproduziert oder verstärkt bestehende Ungleichheiten, etwa entlang von Geschlecht, Herkunft oder Ethnie. Dieser Beitrag stellt Forschungsansätze vor, die diese Machtasymmetrien kritisch beleuchten und intersektionale sowie dekoloniale Perspektiven einbeziehen. Ziel ist es, digitale Räume und ihre Ausgestaltung gerechter zu gestalten.

In der digitalen Kommunikation ist die Moderation von Online-Inhalten eine der größten Herausforderungen, da sie das Gleichgewicht zwischen Meinungsfreiheit und dem Schutz vor schädlichen Inhalten sichern muss. Diese sogenannte Content Moderation meint den Prozess, bei dem Beiträge von Nutzer*innen geprüft, bewertet und gegebenenfalls eingeschränkt, verstärkt oder gelöscht werden. Das ist notwendig, weil auf sozialen Plattformen jede Sekunde unzählige neue Texte, Bilder und Videos hochgeladen werden. Damit problematische Inhalte nicht ungebremst kursieren, brauchen Plattformen klare Regeln für den Umgang mit ihnen. Diese Regeln können aus Gesetzen stammen, etwa den Vorgaben des europäischen Digital Services Act (DSA / Digitale Dienste Gesetz). Daneben gibt es eigene Community Guidelines von Plattformen wie TikTok, YouTube oder Instagram. Sie sind in Richtlinien und FAQs dokumentiert und legen fest, welche Inhalte von ihren Nutzer*innen geteilt werden dürfen und welche nicht. 

Warum braucht es Regeln für den Umgang mit Inhalten im Netz?

Im Mittelpunkt der Moderation stehen in der Regel Inhalte, die Hassrede, Beleidigungen oder gezielt verbreitete Desinformation enthalten. Werden diese nicht rechtzeitig erkannt und bearbeitet, können sie sich ungehindert verbreiten. In solchen Fällen steigt das Risiko, dass diskriminierende oder falsche Informationen große Reichweite erlangen, öffentliche Debatten verzerren und das Vertrauen in Plattformen schwächen.

Ein Beispiel hierfür ist die Situation der Rohingya in Myanmar, einer muslimischen Minderheit, die dort seit Jahrzehnten systematisch diskriminiert und verfolgt wird. Im Jahr 2017 wurden über Facebook Rohingya-feindliche Inhalte verbreitet, die zu Gewalt, Menschenrechtsverletzungen und Vertreibungen beigetragen haben (Amnesty International, 2022). Ein weiterer besonders drastischer Fall ist der Mord an dem äthiopischen Professor Meareg Amare im Jahr 2021. Über ihn kursierten auf Facebook wiederholt Hassrede und Desinformationen, die trotz vielfacher Meldungen nicht entfernt wurden. Diese Tatsache wurde später zur Grundlage einer Sammelklage gegen Facebooks Mutterkonzern Meta, in der es um Schadensersatz wegen unterlassener Moderation schädlicher Inhalte, und so auch um Mitschuld an dem Mord ging (Milmo, 2025). 

Solche Ereignisse zeigen: Werden gefährliche Inhalte nicht rechtzeitig moderiert, können die Folgen gravierend sein. Das führt zu einer zentralen Frage: Wer entscheidet eigentlich, welche Beiträge online bleiben und welche nicht? 

Wer bestimmt, was online bleibt: Menschen und Maschinen? 

Die Moderation von Inhalten ist kein neues Phänomen, das erst mit digitalen Plattformen entstanden ist. Schädliche Inhalte, Falschinformationen und Beleidigungen gab es schon immer, ebenso Debatten darüber, was veröffentlicht werden darf. Auch Zeitungen wählen seit jeher aus, welche Texte oder Bilder erscheinen, besonders in sensiblen Themenfeldern wie Krieg und Gewalt. In Deutschland orientieren sich Journalist*innen beispielsweise dafür am Pressekodex (Deutscher Presserat, 2025). Dieser sorgt für eine quellenbasierte, vertrauenswürdige und verantwortungsvolle Berichterstattung. Mit dem Internet hat diese Aufgabe jedoch eine neue Dimension bekommen. Inhalte verbreiten sich heute in Sekundenschnelle rund um den Globus und müssen praktisch in Echtzeit daraufhin geprüft werden, ob sie gegen nationale Gesetze oder die Community Standards der jeweiligen Plattform verstoßen. Dabei sind nationale Gesetze und kulturelle Kontexte lokal sowie regional sehr unterschiedlich. Das macht die Moderation besonders anspruchsvoll, weil ein Beitrag, der in einem Land unproblematisch ist, in einem anderen deutlich gegen geltendes Recht oder gesellschaftliche Normen verstoßen kann.

Um der Flut an Informationen und Moderationsanforderungen gerecht zu werden, teilen sich heute Maschinen und Menschen die Arbeit. Algorithmen übernehmen einen großen Teil der Vorarbeit. Sie sortieren Inhalte, ordnen sie in Kategorien ein und führen automatisch bestimmte Schritte aus. Unklare oder besonders sensible Fälle werden an menschliche Moderator*innen weitergegeben. Diese Arbeitsteilung soll in der Theorie das Arbeitsvolumen verringern, damit Menschen mehr Zeit für schwierige Entscheidungen haben.

Wenn Moderation an ihre Grenzen stößt 

In der Praxis erfüllt sich diese Hoffnung jedoch nicht immer. Algorithmen erkennen und kategorisieren  Inhalte wie Texte, Bilder oder Videos anhand von Mustern oder gleichen sie mit Datenbanken ab. Sie stoßen dabei jedoch schnell an Grenzen, wenn es um die Bedeutung von Sprache, Symbolen oder Kontext geht. Ein Wort kann in einem Land harmlose Umgangssprache sein, in einem anderen als Beleidigung gelten. Ähnlich können Bilder oder Gesten im sozialen und gesellschaftlichen Umfeld sehr unterschiedliche Bedeutungen haben. Ein Beispiel hierfür ist das 👌-Emoji. In den USA und vielen anderen westlichen Ländern wird damit Zustimmung ausgedrückt, in Brasilien gilt dasselbe Zeichen jedoch als beleidigend, ähnlich dem Zeigen des Mittelfingers hierzulande (vgl. Moran, Abramson & Moran, 2014, S. 352). Auch Übergänge zwischen Satire und Beleidigung, Ironie und Kritik oder zwischen legitimer Meinungsäußerung und Hetze sind oft fließend. 

Dies ist jedoch kein rein technisches Problem, denn auch Menschen können diese Nuancen nicht immer eindeutig beurteilen. Hinzu kommt, dass (semi-)automatisierte Systeme in der Content Moderation – also der Mix aus algorithmischer Vorfilterung und menschlicher Entscheidung– nicht neutral entscheiden. Der folgende Abschnitt zeigt, warum sie bestehende Ungleichheiten in der Welt oft verstärken, statt  abbauen.

Wie verstärkt Content Moderation globale Ungleichheiten? 

Forschung zeigt, dass die verbleibenden Fälle, die am Ende von Menschen moderiert werden, oft besonders komplex und belastend sind (vgl. Roberts, 2019). Besonders problematisch ist dabei, dass die große Plattformunternehmen ihre Moderationsarbeit häufig in Länder der sogenannten  Majority World ¹  auslagern. Insbesondere in Ländern wie Kenia oder den Philippinen müssen Menschen unter prekären Bedingungen täglich extrem belastende Inhalte prüfen. Sie übernehmen so oft die „letzte Meile“ der Moderation unter Bedingungen, die psychische Traumata, ökonomische Unsicherheit und Unsichtbarkeit verstärken (Gray/Suri 2019). Diese Arbeit kann mithin gravierende Folgen für ihre Gesundheit haben (Dachwitz, 2024) .

Eine solche Verteilung der Arbeitslast spiegelt die kolonialen Nachwirkungen der globalen ökonomischen Ungleichheit wider. Sie folgen der Logik historischer Ausbeutung, die bis heute fortwirkt. Während also Länder und Gemeinschaften  aus der Majority World noch immer einen großen Teil der schlecht bezahlten und belastenden Arbeit übernehmen, bleibt der wirtschaftliche Gewinn bei den großen Plattformunternehmen im Globalen Norden (vgl. Siapera, 2022).

Doch nicht nur die Verteilung der Arbeit, auch der Prozess der Content Moderation selbst verstärkt Ungleichheiten. Die Trainingsdaten, Kategorien und Normen, nach denen Algorithmen Inhalte filtern, sortieren und prüfen, stammen ebenfalls meist aus dem Globalen Norden. Dadurch werden kulturelle Ausdrucksformen oft fehlerhaft oder stigmatisierend eingeordnet (Noble 2018; Eubanks 2017). Marginalisierte Stimmen werden so überproportional häufig gelöscht, während Hassrede bestehen bleibt. Beispiele hierfür sind das vielfache Löschen feministischer oder queerer Inhalte unter Berufung auf „Nacktheit“ (Dalek et al., 2021), während misogyn-sexistische Inhalte viral gehen (Regehr et al., 2024).

Zudem investieren Plattformen kaum in die Moderation von Inhalten in sogenannten Minderheitensprachen, wodurch Communities der Majority World zunehmend unsichtbar sind und werden (De Gregorio/Stremlau, 2023).  Content Moderation ist damit kein rein technischer Vorgang. Sie ist ein politisches Feld, das Macht- und Sichtbarkeitsverhältnisse prägt und entweder Teilhabe fördert oder Ungleichheiten verschärft.

Ungleichheiten verstehen und sichtbar machen

Um diese Strukturen sichtbar zu machen, helfen feministische, intersektionale und dekoloniale Ansätze. Sie zeigen auf, wer besonders von diesen Ungleichheiten betroffen ist und wie verschiedene Formen von Diskriminierung zusammenwirken. Dazu zählen Frauen, genderdiverse Personen, rassifizierte Gemeinschaften und sprachliche Minderheiten. Prekär beschäftigte Content Moderator*innen sind zudem von multiplen Belastungen betroffen. Intersektionalität beschreibt dabei, wie sich verschiedene Diskriminierungsformen – zum Beispiel Geschlecht (gender), Hautfarbe (race) oder sozialer Status (class) – überlagern und gegenseitig verstärken. Dekoloniale Perspektiven fordern darauf aufbauend, tradierte Machtverhältnisse kritisch zu hinterfragen und marginalisierten Stimmen in den Mittelpunkt zu rücken. 

Wie also kann Content Moderation so gestaltet werden, dass sie nicht bestehende Machtverhältnisse verfestigt, sondern Teilhabe fördert und Ungleichheiten abbaut?

Wie können intersektionale und dekoloniale Ansätze in der Content Moderation berücksichtigt werden?

Diese Herausforderungen lassen sich nicht allein durch besser gestaltete Technologien lösen. Intersektionalität sollte deshalb als grundlegendes Gestaltungsprinzip sozio-technischer Systeme verstanden werden; marginalisierte Gruppen brauchen dabei einen Platz am Tisch. (Crenshaw 1989; Gebru et al. 2021, D’Ignazio/Klein 2020). 

Dekoloniale, feministische Perspektiven fordern zudem, sprachliche und kulturelle Vielfalt systematisch im Kontext der Entwicklung zu berücksichtigen, lokales Wissen anzuerkennen und community-basierte Modelle zu stärken. Ein zentraler Baustein hierfür sind partizipative Entwicklungsprozesse, die betroffene Communities von Beginn an in die Technologieentwicklung einbeziehen. Statt KI-Systeme „über“ marginalisierte Gruppen zu entwickeln, geht es darum, diese „mit“ ihnen zu gestalten. Beispiele solcher partizipativen Ansätze finden sich in community-basierten Projekten zur Entwicklung von datenbasierten (KI-) Systemen für die Erkennung und Prävention geschlechtsspezifischer Gewalt, wie zum Beispiel im Kontext Femizide, bei denen Betroffene nicht nur als Datenquellen, sondern als Co-Designerinnen fungieren (D‘Ignazio 2024; Suresh et al. 2022). Solche Ansätze erfordern tiefgreifende strukturelle Veränderungen: in den Institutionen, die KI regulieren, in den Unternehmen, die sie entwickeln, und in den gesellschaftlichen Prozessen, die festlegen, wessen Perspektiven zählen. Ebenso gibt es Initiativen, die lokale Sprach- und Wissensbestände in Datensätzen verankern, um kulturelle Diversität zu bewahren. Das Data Justice Lab oder das DAIR Institute von Timnit Gebru zeigen, wie Forschung und Praxis zusammenwirken können, um dekoloniale und genderreflektierte KI zu fördern.

Gerade im Kontext von (semi-)automatisierten Systemen in der Content Moderation  können solche intersektionalen und dekolonialen Ansätze dazu beitragen, dass Moderationspraktiken nicht länger bestehende Ungleichheiten reproduzieren, sondern Vielfalt sichtbar machen und Teilhabe ermöglichen. Nur so kann dieser Bereich zu einem Feld werden, das mehr ist als Löschen und Filtern, sondern eines, das Fürsorge, Widerstand und Reflektion ermöglicht (Costanza-Chock 2020; Benjamin 2019).

Inside Automation: Ein Sammelband zu Content Moderation aus Perspektive der Majority World

Die Diskussion um intersektionale und dekoloniale Ansätze macht auch deutlich, dass es Räume braucht, in denen die marginalisierten Stimmen der Content Moderator*innen selbst zu Wort kommen und ihre Erfahrungen in der Moderationsarbeit in die Debatte um eine faire Gestaltung der Strukturen einbringen können. Ein solcher Raum entsteht im Rahmen des Forschungsprojekts Human in the Loop?. 

Dessen zweite Fallstudie widmet sich der Frage, wie Mensch-Maschine-Interaktion in der Content Moderation wirksam gestaltet werden kann. Der Sammelband bringt theoretische Analysen, empirische Fallstudien und Erfahrungsberichte zusammen. Stimmen aus der Majority World bringen nicht nur die alltäglichen Belastungen und Lebensrealitäten von Content Moderator*innen innerhalb der globalen Strukturen der Plattformökonomie in die Debatte ein. Die Beiträge zeigen auch widerständige Praktiken und Ansätze auf, die für gerechtere digitale Infrastrukturen von zentraler Bedeutung sind. Ohne ihre Perspektiven bleibt jede Diskussion über Content Moderation unvollständig – und jeder Reformversuch läuft Gefahr, bestehende Machtverhältnisse zu verfestigen, statt sie zu transformieren.

Der Sammelband erscheint voraussichtlich im Sommer 2026 im transcript Verlag.

Anmerkungen

¹ Der Begriff bezeichnet Regionen, in denen der Großteil der Weltbevölkerung lebt – etwa in Afrika, Teile Asiens und Lateinamerika. Er wird bewusst verwendet, um eine andere Perspektive einzunehmen als Begriffe wie ‚Globaler Süden‘ oder ‚Entwicklungsländer‘, die oft mit einer defizitorientierten Sichtweise verbunden sind.

Referenzen

Amnesty International (2022). Myanmar: Facebook-Algorithmen haben Gewalt gegen Rohingya befördert. https://www.amnesty.de/allgemein/pressemitteilung/myanmar-facebook-algorithmen-haben-gewalt-gegen-rohingya-befoerdert 

Benjamin, R. (2019). Race after technology: Abolitionist tools for the new Jim code. Polity Press.

Costanza-Chock, S. (2020). Design justice: Community-led practices to build the worlds we need. The MIT Press.

Crenshaw, K. (1989). Demarginalizing the intersection of race and sex: A Black feminist critique of antidiscrimination doctrine. University of Chicago Legal Forum, 1989(1), 139–167.

Dachwitz, I. (2024).  Facebook: Moderator:innen leiden unter schweren psychischen Erkrankungen. https://netzpolitik.org/2024/facebook-moderatorinnen-leiden-unter-schweren-psychischen-erkrankungen/ 

Dalek, J., Dumlao, N., Kenyon, M., Poetranto, I., Senft, A., Wesley, C., Filastò, A., Xynou, A. & Bishop A., (2021). No Access LGBTIQ Website Censorship in Six Countries. https://citizenlab.ca/2021/08/no-access-lgbtiq-website-censorship-in-six-countries/

De Gregorio, G. & Stremlau, N. (2023) Inequalities and content moderation. Global Policy, 14, 870–879. Available from: https://doi.org/10.1111/1758-5899.13243

D’Ignazio, C., & Klein, L. F. (2020). Data feminism. The MIT Press.

Eubanks, V. (2017). Automating inequality: How high-tech tools profile, police, and punish the poor. St. Martin’s Press.

Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., & Crawford, K. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86–92. https://doi.org/10.1145/3458723

Gray, M. L., & Suri, S. (2019). Ghost Work: How to Stop Silicon Valley from Building a New Global Underclass. Houghton Mifflin Harcourt

Kloiber, J. (2023): Without Us, There Are No Social Media Platforms. https://superrr.net/en/blog/without-us-there-are-no-social-media-platforms

Lee, C., Gligorić, K., Kalluri,  P.R., Harrington, M., Durmus, E., Sanchez,  K.L., San, N., Tse, D., Zhao, X., Hamedani,  M.G., Markus,  H.R., Jurafsky, D. & Eberhardt, J.L. (2024).  People who share encounters with racism are silenced online by humans and machines, but a guideline-reframing intervention holds promise, Proc. Natl. Acad. Sci. U.S.A. 121 (38) e2322764121, https://doi.org/10.1073/pnas.2322764121

Mignolo, W. D. (2011). The darker side of Western modernity: Global futures, decolonial options. Duke University Press

Milmo, D. (2025). Meta faces £1.8bn lawsuit over claims it inflamed violence in Ethiopia. https://www.theguardian.com/technology/2025/apr/03/meta-faces-18bn-lawsuit-over-claims-it-inflamed-violence-in-ethiopia

Moran, R.T., Abramson, N.R., & Moran, S.V. (2014). Managing Cultural Differences (9th ed.). Routledge. https://doi.org/10.4324/9781315871417

Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. NYU Press.

Regehr, K., Shaughnessy, C., Zhao, M. & Shaughnessy, N. (2024). SAFER SCROLLING. How algorithms popularise and gamify online hate and misogyny for young people. https://www.ascl.org.uk/ASCL/media/ASCL/Help%20and%20advice/Inclusion/Safer-scrolling.pdf

Roberts, S. (2021). Behind the Screen: Content Moderation in the Shadows of Social Media. New Haven and London: Yale University Press

Siapera, E. (2022). Content Moderation, Racism and (de)Coloniality. Int Journal of Bullying Prevention 4, 55–65. https://doi.org/10.1007/s42380-021-00105-7Suresh, H., Movva, R., Lee Dogan, A., Bhargava, R., Cruxen, I., Martinez Cuba, A., Taurino, G., So, W. & D’Ignazio, C. (2022). Towards Intersectional Feminist and Participatory ML: A Case Study in Supporting Feminicide Counterdata Collection. In Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’22). Association for Computing Machinery, New York, NY, USA, 667–678. https://doi.org/10.1145/3531146.3533132