Zum Inhalt springen
projektseite_project page_human in the loop

Human in the Loop?

In unserer digitalen Welt gewinnen automatisierte Entscheidungen und KI-Systeme zunehmend an Bedeutung. Ein bekanntes Beispiel ist die Kreditvergabe, bei der Banken technologische Systeme einsetzen, um die Kreditwürdigkeit von Antragsteller*innen automatisch zu bewerten. Auch in der Moderation von Inhalten (Englisch: Content Moderation) auf digitalen Plattformen wie Instagram, YouTube oder TikTok werden Entscheidungsprozesse zunehmend automatisiert. Hier bewerten Algorithmen unter anderem Beiträge, Bilder und Videos von Nutzer*innen und kennzeichnen sie je nach Inhalt als freigegeben oder unangemessen. Je größer ihre Verantwortung ist, desto kritischer wird die Rolle automatisierter Systeme – etwa im Cockpit eines Flugzeugs. Technologien wie der Autopilot oder Warnmechanismen unterstützen dort die Pilot*innen bei sicherheitsrelevanten Entscheidungen. 

Hier gilt zu beachten, dass solche (teil-)automatisierten Entscheidungen häufig nicht fehlerfrei sind. Das liegt beispielsweise daran, dass sie unbeabsichtigte Vorurteile (Biases) aus Trainingsdaten beinhalten und reproduzieren. Zudem fehlt Maschinen die Fähigkeit  menschliches Kontextverständnis abzubilden. So werden einzelne, maschinelle Entscheidungen den individuellen Situationen von Personen häufig nicht gerecht. Deshalb wird schon lange gefordert, Menschen in solche Prozesse sinnvoll zu integrieren, damit sie eine bestimmte Rolle bei der Überwachung und Verbesserung technologischer Systeme spielen.

In diesem Zusammenhang untersucht das Forschungsprojekt Human in the Loop? Autonomie und Automation in sozio-technischen Systemen untersucht, inwiefern eine aktive und gezielte Einbindung von Menschen (teil-)automatisierte Entscheidungsprozesse beeinflussen und verändern kann. Die zentralen Fragen lauten: Wie lässt sich eine  sinnvolle Interaktion zwischen Mensch und Maschine in komplexen Anwendungskontext gestalten? Welche Rolle spielt das menschliche Urteilsvermögen bei der Überprüfung und Qualitätssicherung automatisierter Prozesse? Wie können wir sicherstellen, dass der Entscheidungsprozess nicht nur rechtssicher, sondern auch transparent und nachvollziehbar ist? Und welche Anforderungen ergeben sich in der Gestaltung der Mensch-Maschine-Interaktion, wenn neben  technischen Systemen und menschlichen Entscheidungsträger*innen auch der konkrete Nutzungskontext und das soziale sowie organisatorische Umfeld berücksichtigt werden?

Forschungsschwerpunkte und Transfer

Vier Fallstudien

Analyse der menschlichen Beteiligung in automatisierten Entscheidungsprozessen durch Feldanalysen, Workshops und Dialogformate in vier ausgewählten Szenarien.

Einflussfaktoren-Taxonomie

Untersuchung der Faktoren, die Entscheidungsprozesse beeinflussen und Identifizierung der Fehler, Anfälligkeiten und Stärken aller an Entscheidungsprozessen beteiligten technischen Systeme und Personen.

Handlungsempfehlungen

Entwicklung praxisnaher Anregungen und Lösungsansätze, um die Zusammenarbeit zwischen Mensch und Maschine zu verbessern und die Umsetzung und Interpretation bestehender Gesetzes- und Regulierungsvorhaben mitzugestalten. Dazu zählen zum Beispiel die Datenschutz-Grundverordnung (DSGVO), der Artificial Intelligence Act (AI Act) und der Digital Services Act (DSA).

 

Automatisierte Content-Moderation: Macht, Recht und die Rolle menschlicher Entscheidungen

Governance bezeichnet allgemein die Steuerung und Regelsetzung in gesellschaftlichen Bereichen – auch im digitalen Raum. In sozialen Netzwerken umfasst das verschiedene Aufgaben: Plattform-Governance beschreibt, wie Anbieter wie Meta, TikTok oder YouTube ihre Strukturen, Inhalte und Interaktionen organisieren und Rahmenbedingungen für den gesellschaftlichen Austausch schaffen. Ein zentraler Teilbereich ist die Content-Governance, die sich speziell auf den Umgang mit nutzergenerierten Inhalten bezieht. Hier spielt die Moderation von Inhalten – die sogenannte Content Moderation – eine entscheidende Rolle: Sie umfasst die Kontrolle, Bewertung und gegebenenfalls Entfernung von Beiträgen, um plattforminterne Richtlinien sowie gesetzliche Vorgaben einzuhalten. Ziel einer wirksamen Content-Governance und Content Moderation ist es, einen respektvollen und sicheren Online-Diskurs zu ermöglichen – etwa durch das Erkennen und Eindämmen von Hassrede, Beleidigungen oder Desinformation.

Dieser Moderationsprozess erfolgt zunehmend im Zusammenspiel zwischen algorithmischen Systemen und menschlichen Moderator*innen. Automatisierte Verfahren filtern Inhalte anhand vordefinierter Kriterien vor, erkennen problematische Inhalte oder ordnen sie bestimmten Kategorien zu. Oft treffen jedoch weiterhin Menschen die finale Entscheidung über die Zulässigkeit eines Inhaltes. 

Diese Fallstudie modelliert die Rahmenbedingungen und Erfolgsfaktoren  dieses komplexen Zusammenspiels. Wir analysieren die Vor- und Nachteile automatisierter und menschlicher Moderationsentscheidungen. In Zusammenarbeit mit einer Expert*innengruppe entwickelt wir zudem einen “Code of Conduct”, der normative und ethische Leitlinien für die Prozessgestaltung und Regulierung von Moderationsprozesse formuliert. Besonderes Augenmerk liegt dabei auf praxisnahen Handlungsempfehlungen sowie auf dem Spannungsverhältnis zwischen der aktuellen Praxis großer US-amerikanischer Plattformen und den Vorgaben europäischer Regulierungsansätze wie dem Digital Services Act.

Feldanalyse

Januar bis April 2025

Dialogformate mit Expert*innen und Praktiker*innen

April bis Juli 2025
Workshopformate zur Entwicklung der Codes of Conduct

7. Oktober 2024
Auftaktevent: Zukunft der Content Moderation durch effektive Mensch-Maschine-Kollaboration

Handlungsempfehlung für automatisierte Content-Moderation

August 2025

Zwischen Autopilot und Aufsicht: Menschliche Kontrolle in der automatisierten Luftfahrt

In der modernen Luftfahrt – im Englischen Aviation – übernehmen automatisierte Systeme viele sicherheitsrelevante Aufgaben, vom Start bis zur Landung. Trotz aller technischen Fortschritte bleibt der Mensch im Cockpit jedoch unverzichtbar. Diese Fallstudie analysiert, wie Entscheidungsprozesse gestaltet sind, um menschliche Kontrolle auch in hochautomatisierten Umgebungen zu erhalten – und ob dies in der Praxis tatsächlich gelingt. Dabei stellen sich zentrale Fragen: Wie wird Verantwortung verteilt? Wie entsteht Vertrauen? Und welche Rolle spielt menschliches Urteilsvermögen in Situationen, in denen Technik, aber auch Menschen, an ihre Grenzen stoßen?

Literaturrecherche

März bis Juli 2025

Feldanalyse

Juli bis Dezember 2025

Dialogformate mit Expert*innen und Praktiker*innen

Ab August 2025

Handlungsempfehlungen

Ab März 2026

Kreditvergabe im Fokus: Zwischen Automatisierung und ethischen Herausforderungen

Die (teil-)automatisierte Vergabe von Verbraucher*innen-Krediten durch Kreditinstitute bringt Effizienzvorteile, birgt aber auch ethische und Vertrauensfragen. In dieser Fallstudie untersuchen wir die Einflussfaktoren auf menschliche Entscheidungsträger*innen im Prozess der Kreditvergabe. Dabei identifizieren wir sowohl allgemeine Rahmenbedingungen – etwa die wirtschaftliche Ausrichtung oder Risikobereitschaft eines Kreditinstituts – als auch spezifische Aspekte des Zusammenspiels von Mensch und Maschine, wie das Rollenverständnis der beteiligten Personen (Humans-in-the-Loop) und die technische Gestaltung der Systeme.  Unsere Forschungsfragen betreffen unter anderem den Einfluss automatisierter Kreditentscheidungen auf das Vertrauen von Verbraucher*innen in ihre Kreditinstitute. Zudem untersuchen wir, welche Bedeutung das Gebot der Nichtdiskriminierung und weitere rechtliche Rahmenbedingungen in diesem Kontext haben. 

Besonders interessiert uns, welche Verantwortung die Humans-in-the-Loop – also die menschlichen Entscheidungsträger*innen im Vergabeprozess – für die finale Kreditentscheidung tragen. Dabei untersuchen wir, in welchem Maß sie Einfluss auf automatisiert vorbereitete Entscheidungen nehmen können: etwa ob sie diese vollständig revidieren dürfen, lediglich Änderungen vornehmen können oder an vorgegebene Prüfkriterien gebunden sind. Wie diese Einwirkungsmöglichkeiten effektiv ausgestaltet werden können, hängt stark vom konkreten institutionellen und technischen Kontext der jeweiligen Kreditvergabe ab.

Literaturrecherche

Oktober 2023 bis Februar 2024

Feldanalyse

Mai bis September 2024

Dialogformate mit Expert*innen und Praktiker*innen

10. April 2024
Auftaktveranstaltung: Human in the Loop: Kreditvergabe im Fokus

29. Mai 2024
Digitaler Salon: Damage Control

20. Januar 2025
Abschlussveranstaltung: Human in the Loop: Mensch und Maschine in der Kreditvergabe

„Wenn Automatisierung – beschleunigt, durch künstliche Intelligenz – Risiken hervorruft, wird häufig darauf verwiesen, dass letztlich ein Mensch einbezogen sein muss und die Letzt-Entscheidung trifft. Aber unter welchen Voraussetzungen macht dieser ‘Human in the Loop‘ wirklich einen Unterschied? Das hängt von vielen Bedingungen ab: seiner Qualifikation, den Möglichkeiten, die maschinellen Prozesse zu beeinflussen, Haftungsregungen und anderes mehr. In dem nun startenden Projekt  wollen wir diese Bedingungen in unterschiedlichen Gesellschaftsbereichen untersuchen. Die Ergebnisse sollen helfen, einen an Rechten und Werten orientierten Einsatz von KI zu ermöglichen.“

Wolfgang Schulz

„Wir sind fasziniert von der Frage, wie Menschen und KI-Systeme in Entscheidungsprozessen interagieren. Was dürfen Maschinen für uns steuern? Wann müssen Menschen entscheiden? Das sind Themen, die zunehmend Relevanz gewinnen und uns helfen, einen Beitrag dazu zu leisten, die Rolle der Menschen in digitalen Zeiten neu zu bestimmen. Der Mensch wird hier oft als Allheilmittel für die Probleme und Fehlerquellen automatisierter Entscheidungen verstanden. Wie genau eine solche Einbindung funktionieren soll, ist jedoch oft unklar. Mit unseren verschiedenen Fallstudien im Forschungsprojekt Human in the Loop? suchen wir Lösungen für dieses Problem, die auch in der Praxis Bestand haben. Sie sollen die Integration menschlicher Entscheidungen in KI-gestützte Prozesse auf eine ethisch verantwortungsvolle und praktisch umsetzbare Weise ermöglichen.“

Matthias C. Kettemann

„In vielen Bereichen sollen Aufsicht und Letztentscheidung im Zusammenspiel zwischen Menschen und KI-Systemen und Algorithmen beim Menschen bleiben. Wir fragen uns, wie dieses Zusammenspiel gestaltet werden muss, damit dies gelingt und wie überhaupt ‘gute’ Entscheidungssysteme aussehen. Denn in unserer Gesellschaft spielt das Zusammenspiel zwischen Mensch und Maschine für immer mehr Entscheidungen eine Rolle. Dies bringt positive Effekte mit sich, zum Beispiel kann es Effektivität steigern oder auch Entscheidungen unterstützen. Gleichzeitig birgt der Einsatz von KI-Systemen auch Risiken. Wir fragen uns im Forschungsprojekt Human in the Loop?, wie das Zusammenspiel zwischen Mensch und KI-Systemen gestaltet sein muss, damit sie auch in Zukunft demokratische Werte und bürgerliche Rechte sicherstellen.“

Theresa Züger

Die Integration von KI in Entscheidungsprozesse wirft nicht nur organisatorische, technische und rechtliche, sondern auch gesellschaftliche Fragen auf: Was verstehen wir unter einer ‚guten Entscheidung' und wer definiert die Kriterien? Oft wird suggeriert, menschliches Eingreifen führe automatisch zu besseren Ergebnissen. Doch menschliche Entscheidungen sind nicht immer rational, sondern sozio-kulturell eingebettet und von Machtverhältnissen geprägt. Dies setzt sich auch in KI-Technologien fort. Wir müssen also die Entscheidungsprozesse selbst betrachten: Wie werden sie organisiert, kommuniziert und legitimiert? Erst wenn diese offen, nachvollziehbar und plural gestaltet sind, ist auch das Ergebnis demokratisch tragfähig – unabhängig davon, ob es von Mensch, Maschine oder beiden stammt.

Maurice Stenzel

Ehemalige Mitarbeiter*innen

  • Lara Kauter
    Ehem. studentische Mitarbeiterin: Human in the loop?

Andere Publikationen

Züger, T., Mahlow, P., Pothmann, D., & Mosene, K. (2025). Human in the Loop im Feld Kreditvergabe. Praxisbericht für den Sektor Finanzdienstleistung. HIIG Impact Publication Series. Weitere Informationen

Mahlow, P., Züger, T., & Kauter, L. (2024). KI unter Aufsicht: Brauchen wir ‘Humans in the Loop’ in Automatisierungsprozessen? Digital Society Blog. Weitere Informationen

Vorträge

Recht und Ethik der Mensch-Maschine-Interaktion
Workshop: Zukunft der Content Moderation durch effektive Mensch-Maschine-Kollaboration. Humboldt Institut für Internet und Gesellschaft. Humboldt Institut für Internet und Gesellschaft, Berlin, Germany: 07.10.2024 Weitere Informationen

Matthias C. Kettemann

Organisation von Veranstaltungen

Codes of Conduct Expert*innenrunde: Human in the Loop
02.04.2025. Humboldt Institute for Internet and Society, Berlin, Germany (International)

Daniel Pothmann, Sarah Spitz, Katharina Mosene

Human in the Loop: Mensch und Maschine in der Kreditvergabe
20.01.2025. Humboldt Institut für Internet und Gesellschaft, Berlin, Germany (National) Weitere Informationen

Philipp Mahlow, Lara Kauter, Daniel Pothmann, Sarah Spitz, Katharina Mosene, Matthias C. Kettemann, Theresa Züger

Human in the Loop: Content Moderation
Zukunft der Content Moderation durch effektive Mensch-Maschine-Kollaboration. 07.10.2024. Humboldt Institut für Internet und Gesellschaft, Berlin, Germany (National) Weitere Informationen

Philipp Mahlow, Ann-Kathrin Watolla, Lara Kauter, Daniel Pothmann, Sarah Spitz, Katharina Mosene, Matthias C. Kettemann, Wolfgang Schulz, Theresa Züger

Human in the Loop: Kreditvergabe im Fokus
Human in the Loop: Kreditvergabe im Fokus. 10.04.2024. Humboldt Institut für Internet und Gesellschaft, Berlin, Germany (National) Weitere Informationen

Philipp Mahlow, Lara Kauter, Daniel Pothmann, Sarah Spitz, Vincent Hofmann, Katharina Mosene, Matthias C. Kettemann, Theresa Züger, Wolfgang Schulz

Gefördert durch

 

 

ProjektdauerOktober 2023 - September 2027
FörderungStiftung Mercator

 

Kontakt

Sarah Spitz

Leitung Event & Wissenstransfer I Projektkoordinatorin Human in the Loop?

TEIL DES FORSCHUNGSLABORS

AI & Society Lab

Das AI & Society Lab ist eine interdisziplinäre Schnittstelle und ein Experimentierraum für neue Forschungsprojekte und Transferformate.

Digital Society Blog