Zum Inhalt springen
projektseite_project page_human in the loop

Human in the loop?

In unserer digitalen Welt gewinnen automatisierte Entscheidungen und KI-Systeme zunehmend an Bedeutung. Ein bekanntes Beispiel ist die Kreditvergabe, bei der Banken technologische Systeme einsetzen, um die Kreditwürdigkeit von Antragsteller*innen automatisch zu bewerten. Ähnliche Entscheidungsprozesse finden sich auch in der Content-Moderation auf digitalen Plattformen wie Instagram, Facebook oder TikTok. Hier treffen Algorithmen unter anderem Entscheidungen darüber, welche Beiträge, Bilder und Videos von Nutzer*innen freigegeben oder als unangemessen gekennzeichnet werden.

Solche automatisierten Entscheidungen sind häufig nicht fehlerfrei. Das liegt daran, dass sie unbeabsichtigte Vorurteile (Biases) aus Trainingsdaten beinhalten oder es fehlt menschliches Kontextverständnis. So werden einzelne, maschinelle Entscheidungen den individuellen Situationen von Personen häufig nicht gerecht. Deshalb wird schon lange gefordert,  Menschen in solche Prozesse zu integrieren, damit sie eine bestimmte Rolle bei der Überwachung und Verbesserung von technologischen Systemen spielen.

Das Forschungsprojekt Human in the Loop? Autonomie und Automation in sozio-technischen Systemen untersucht deshalb, wie eine aktive Einbindung des Menschen einen Unterschied in automatisierten Entscheidungsprozessen bewirken kann. Die zentralen Fragen lauten: Wie sollte eine sinnvolle Interaktion zwischen Mensch und Maschine gestaltet sein? Welche Rolle spielen menschliche Entscheidungen bei der Qualitätssicherung von automatisierten Entscheidungen? Wie können wir sicherstellen, dass diese Interaktion nicht nur rechtssicher, sondern auch transparent und nachvollziehbar ist? Und welche Anforderungen gelten für die Interaktion zwischen Mensch und Maschine, wenn man das technische System, die menschlichen Entscheidungsträger*innen, ihren Kontext und ihre Umwelt betrachtet?

Projektschwerpunkte und Transfer

Vier Fallstudien

Analyse der menschlichen Beteiligung in automatisierten Entscheidungsprozessen durch Feldanalysen, Workshops und Dialogformate in vier ausgewählten Szenarien.

Einflussfaktoren-Taxonomie

Untersuchung der Faktoren, die menschliche Entscheidungen beeinflussen und Identifizierung der Fehler, Anfälligkeiten und Stärken aller an Entscheidungsprozessen beteiligten technischen Systeme und Personen.

Handlungsempfehlungen

Entwicklung praxisnaher Lösungen, um die Zusammenarbeit zwischen Mensch und Maschine zu optimieren und die Umsetzung und Interpretation bestehender Gesetzes- und Regulierungsvorhaben zu verbessern (DSGVO, AI Act und DSA).

 

Kreditvergabe im Fokus: Zwischen Automatisierung und ethischen Herausforderungen

Die automatisierte Kreditvergabe im Fall von Verbraucher*innen bringt Effizienzvorteile, birgt aber auch ethische und Vertrauensfragen. Wir untersuchen Risiken wie zum Beispiel Verzerrungen in Kreditentscheidungen durch Faktoren wie Geschlecht und Wohnort sowie die mögliche Priorisierung von Gewinnmaximierung der Kreditinstitute gegenüber den Bedürfnissen der Kreditnehmer*innen. Unsere Forschungsfragen betreffen den Einfluss automatisierter Kreditentscheidungen auf das Vertrauen von Verbraucher*innen in ihre Kreditanstalten. Ebenso wie Fragen nach dem Gebot der Nichtdiskriminierung und die Rolle rechtlicher Rahmenbedingungen. Wo ist außerdem der Mensch in der Kette? Welche Verantwortung trägt er für die finale Entscheidung?

Feldanalyse

Mai bis September 2024

Zusammenarbeit mit Expert*innen und Praktiker*innen

September bis Dezember 2024

Handlungsempfehlung für automatisierte Kreditvergabe

2025

Automatisierte Content-Moderation: Macht, Recht und die Rolle menschlicher Entscheidungen

In der Online-Welt ist Content Moderation von großer Bedeutung. Sie beinhaltet die Kontrolle und Regelung von Inhalten, um sicherzustellen, dass sie den Plattformrichtlinien entsprechen. Dabei werden unangemessene oder schädliche Inhalte wie Beleidigungen, Hassrede und Falschinformationen identifiziert und bearbeitet oder gelöscht. Dieser Prozess involviert sowohl automatisierte Entscheidungen, bei denen Algorithmen bestimmte Kriterien verwenden, um Inhalte zu bewerten, als auch menschliche Entscheidungen. Unsere Forschungsfragen zielen darauf ab, die Interaktion zwischen automatisierten und menschlichen Entscheidungen zu analysieren. Hier sollen ethische Standards bestimmt und Lösungsvorschläge für ihre Umsetzung entwickelt werden. Insbesondere im Spannungsfeld zwischen dem derzeitigen Vorgehen großer US-Plattformen und europäischen Normen.

Feldanalyse

Januar bis April 2025

Dialogformate mit Expert*innen und Praktiker*innen

April bis Juni 2025

Handlungsempfehlung für automatisierte Content-Moderation

August 2025

„Wenn Automatisierung – beschleunigt, durch künstliche Intelligenz – Risiken hervorruft, wird häufig darauf verwiesen, dass letztlich ein Mensch einbezogen sein muss und die Letzt-Entscheidung trifft. Aber unter welchen Voraussetzungen macht dieser ‘Human in the Loop‘ wirklich einen Unterschied? Das hängt von vielen Bedingungen ab: seiner Qualifikation, den Möglichkeiten, die maschinellen Prozesse zu beeinflussen, Haftungsregungen und anderes mehr. In dem nun startenden Projekt  wollen wir diese Bedingungen in unterschiedlichen Gesellschaftsbereichen untersuchen. Die Ergebnisse sollen helfen, einen an Rechten und Werten orientierten Einsatz von KI zu ermöglichen.“

Wolfgang Schulz

„Wir sind fasziniert von der Frage, wie Menschen und KI-Systeme in Entscheidungsprozessen interagieren. Was dürfen Maschinen für uns steuern? Wann müssen Menschen entscheiden? Das sind Themen, die zunehmend Relevanz gewinnen und uns helfen, einen Beitrag dazu zu leisten, die Rolle der Menschen in digitalen Zeiten neu zu bestimmen. Der Mensch wird hier oft als Allheilmittel für die Probleme und Fehlerquellen automatisierter Entscheidungen verstanden. Wie genau eine solche Einbindung funktionieren soll, ist jedoch oft unklar. Mit unseren verschiedenen Fallstudien im Forschungsprojekt Human in the Loop? suchen wir Lösungen für dieses Problem, die auch in der Praxis Bestand haben. Sie sollen die Integration menschlicher Entscheidungen in KI-gestützte Prozesse auf eine ethisch verantwortungsvolle und praktisch umsetzbare Weise ermöglichen.“

Matthias C. Kettemann

„In vielen Bereichen sollen Aufsicht und Letztentscheidung im Zusammenspiel zwischen Menschen und KI-Systemen und Algorithmen beim Menschen bleiben. Wir fragen uns, wie dieses Zusammenspiel gestaltet werden muss, damit dies gelingt und wie überhaupt ‘gute’ Entscheidungssysteme aussehen. Denn in unserer Gesellschaft spielt das Zusammenspiel zwischen Mensch und Maschine für immer mehr Entscheidungen eine Rolle. Dies bringt positive Effekte mit sich, zum Beispiel kann es Effektivität steigern oder auch Entscheidungen unterstützen. Gleichzeitig birgt der Einsatz von KI-Systemen auch Risiken. Wir fragen uns im Forschungsprojekt Human in the Loop?, wie das Zusammenspiel zwischen Mensch und KI-Systemen gestaltet sein muss, damit sie auch in Zukunft demokratische Werte und bürgerliche Rechte sicherstellen.“

Theresa Züger

Andere Publikationen

Mahlow, P., Züger, T., & Kauter, L. (2024). KI unter Aufsicht: Brauchen wir ‘Humans in the Loop’ in Automatisierungsprozessen? Digital Society Blog. Weitere Informationen

Organisation von Veranstaltungen

Human in the Loop: Kreditvergabe im Fokus
Human in the Loop: Kreditvergabe im Fokus. 10.04.2024. Humboldt Institut für Internet und Gesellschaft, Berlin, Germany (National) Weitere Informationen

Philipp Mahlow, Lara Kauter, Daniel Pothmann, Sarah Spitz, Vincent Hofmann, Katharina Mosene, Matthias C. Kettemann, Theresa Züger, Wolfgang Schulz

Gefördert durch

 

 

ProjektdauerOktober 2023 - September 2027
FörderungStiftung Mercator

 

Kontakt

Sarah Spitz

Leitung Event & Wissenstransfer I Projektkoordinatorin Human in the Loop?

Begleitveranstaltungen

Roundtable: Zukunft der Content Moderation
Digitaler Salon: Damage Control
Roundtable: Kreditvergabe im Fokus
Digitaler Salon: Fahrplan 4.0

TEIL DES FORSCHUNGSLABORS

AI & Society Lab

Das AI & Society Lab ist eine interdisziplinäre Schnittstelle und ein Experimentierraum für neue Forschungsprojekte und Transferformate.

Aktuelle HIIG-Aktivitäten entdecken

Du siehst Eisenbahnschienen. Die vielen verschiedenen Abzweigungen symbolisieren die Entscheidungsmöglichkeiten von Künstlicher Intelligenz in der Gesellschaft. Manche gehen nach oben, unten, rechts. Manche enden auch in Sackgassen. Englisch: You see railway tracks. The many different branches symbolise the decision-making possibilities of artificial intelligence and society. Some go up, down, to the right. Some also end in dead ends.

Künstliche Intelligenz und Gesellschaft

Die Zukunft der künstliche Intelligenz funktioniert in verschiedenen sozialen Kontexten. Was können wir aus ihren politischen, sozialen und kulturellen Facetten lernen?