(Teil-)automatisierte Content Moderation: Macht, Recht und die Rolle menschlicher Entscheidungen. Abschlussbericht der zweiten Fallstudie des Projekts „Human in the Loop? Autonomie und Automation in sozio-technischen Systemen“

Content Moderation ist ein zentrales gesellschaftspolitisches Handlungsfeld, da sie über die Sichtbarkeit von Inhalten im digitalen Raum entscheidet und damit Meinungsbildung, gesellschaftliche Teilhabe und den demokratischen Diskurs prägt. Angesichts der enormen Menge nutzer*innengenerierter Inhalte ist der Einsatz algorithmischer Systeme unverzichtbar. Die bloße formale Einbindung menschlicher Moderator*innen garantiert jedoch noch keine wirksame Mitwirkung. Erforderlich ist vielmehr ein vertieftes Verständnis der normativen, organisatorischen, kulturellen und technischen Bedingungen, unter denen Menschen in (teil-)automatisierten Entscheidungsprozessen tatsächlich Einfluss nehmen können. Dieser Abschlussbericht stellt das Konzept des “Human in the Loop” im Rahmen der Content Moderation in den Fokus. Grundlage sind die Erkenntnisse der zweiten Fallstudie des interdisziplinären Forschungsprojekts ‘Human in the Loop? Autonomie und Automation in sozio-technischen Systemen’. Ziel der Untersuchung war es, Einflussfaktoren auf die Qualität hybrider Entscheidungsprozesse zwischen Mensch und Maschine zu identifizieren und daraus Anregungen für eine verantwortungsvolle, transparente und grundrechtewahrende Gestaltung der Content Moderation abzuleiten. Die Ergebnisse umfassen 14 Einflussfaktoren aus einer strukturierten Literaturanalyse, einen gemeinsam mit Stakeholdern entwickelten Verhaltenskodex mit zehn Richtlinien, einen Sammelband mit Perspektiven aus der Majority World sowie ein Escape Game zur niederschwelligen Wissensvermittlung. Das Forschungsprojekt ‘Human in the Loop? Autonomie und Automation in sozio-technischen Systemen’ wird vom Alexander von Humboldt Institut für Internet und Gesellschaft durchgeführt und von der Stiftung Mercator gefördert. Das Forschungsteam untersucht in vier Fallstudien, wie eine sinnvolle Interaktion zwischen Mensch und Maschine gestaltet werden kann.