Zum Inhalt springen
projektseite_project page_human in the loop

Human in the loop?

In unserer digitalen Welt gewinnen automatisierte Entscheidungen und KI-Systeme zunehmend an Bedeutung. Ein bekanntes Beispiel ist die Kreditvergabe, bei der Banken technologische Systeme einsetzen, um die Kreditwürdigkeit von Antragsteller*innen automatisch zu bewerten. Ähnliche Entscheidungsprozesse finden sich auch in der Content-Moderation auf digitalen Plattformen wie Instagram, Facebook oder TikTok. Hier treffen Algorithmen unter anderem Entscheidungen darüber, welche Beiträge, Bilder und Videos von Nutzer*innen freigegeben oder als unangemessen gekennzeichnet werden.

Solche automatisierten Entscheidungen sind häufig nicht fehlerfrei. Das liegt daran, dass sie unbeabsichtigte Vorurteile (Biases) aus Trainingsdaten beinhalten oder es fehlt das menschliches Kontextverständnis. So werden einzelne, maschinelle Entscheidungen den individuellen Situationen von Personen häufig nicht gerecht. Deshalb wird schon lange gefordert,  Menschen in solche Prozesse zu integrieren, damit sie eine bestimmte Rolle bei der Überwachung und Verbesserung von technologischen Systemen spielen.

Das Forschungsprojekt Human in the Loop? Autonomie und Automation in sozio-technischen Systemen untersucht deshalb, wie eine aktive Einbindung des Menschen einen Unterschied in automatisierten Entscheidungsprozessen bewirken kann. Die zentralen Fragen lauten: Wie sollte eine sinnvolle Interaktion zwischen Mensch und Maschine gestaltet sein? Welche Rolle spielen menschliche Entscheidungen bei der Qualitätssicherung von automatisierten Entscheidungen? Wie können wir sicherstellen, dass diese Interaktion nicht nur rechtssicher, sondern auch transparent und nachvollziehbar ist? Und welche Anforderungen gelten für die Interaktion zwischen Mensch und Maschine, wenn man das technische System, die menschlichen Entscheidungsträger*innen, ihren Kontext und ihre Umwelt betrachtet?

 

Projektschwerpunkte und Transfer

Vier Fallstudien

Analyse der menschlichen Beteiligung in automatisierten Entscheidungsprozessen durch Feldanalysen, Workshops und Dialogformate in vier ausgewählten Szenarien.

Einflussfaktoren-Taxonomie

Untersuchung der Faktoren, die menschliche Entscheidungen beeinflussen und Identifizierung der Fehler, Anfälligkeiten und Stärken aller an Entscheidungsprozessen beteiligten technischen Systeme und Personen.

Handlungsempfehlungen

Entwicklung praxisnaher Lösungen, um die Zusammenarbeit zwischen Mensch und Maschine zu optimieren und die Umsetzung und Interpretation bestehender Gesetzes- und Regulierungsvorhaben zu verbessern (DSGVO, AI Act und DSA).

 

Kreditvergabe im Fokus: Zwischen Automatisierung und ethischen Herausforderungen

Die automatisierte Kreditvergabe im Fall von Verbraucher*innen bringt Effizienzvorteile, birgt aber auch ethische und Vertrauensfragen. Wir untersuchen Risiken wie zum Beispiel Verzerrungen in Kreditentscheidungen durch Faktoren wie Geschlecht und Wohnort sowie die mögliche Priorisierung von Gewinnmaximierung der Kreditinstitute gegenüber den Bedürfnissen der Kreditnehmer*innen. Unsere Forschungsfragen betreffen den Einfluss automatisierter Kreditentscheidungen auf das Vertrauen von Verbraucher*innen in ihre Kreditanstalten. Ebenso wie Fragen nach dem Gebot der Nichtdiskriminierung und die Rolle rechtlicher Rahmenbedingungen. Wo ist außerdem der Mensch in der Kette? Welche Verantwortung trägt er für die finale Entscheidung?

Feldanalyse

Mai bis September 2024

Zusammenarbeit mit Expert*innen und Praktiker*innen

September bis Dezember 2024

Handlungsempfehlung für automatisierte Kreditvergabe

2025

Automatisierte Content-Moderation: Macht, Recht und die Rolle menschlicher Entscheidungen

In der Online-Welt ist Content Moderation von großer Bedeutung. Sie beinhaltet die Kontrolle und Regelung von Inhalten, um sicherzustellen, dass sie den Plattformrichtlinien entsprechen. Dabei werden unangemessene oder schädliche Inhalte wie Beleidigungen, Hassrede und Falschinformationen identifiziert und bearbeitet oder gelöscht. Dieser Prozess involviert sowohl automatisierte Entscheidungen, bei denen Algorithmen bestimmte Kriterien verwenden, um Inhalte zu bewerten, als auch menschliche Entscheidungen. Unsere Forschungsfragen zielen darauf ab, die Interaktion zwischen automatisierten und menschlichen Entscheidungen zu analysieren. Hier sollen ethische Standards bestimmt und Lösungsvorschläge für ihre Umsetzung entwickelt werden. Insbesondere im Spannungsfeld zwischen dem derzeitigen Vorgehen großer US-Plattformen und europäischen Normen.

Feldanalyse

Januar bis April 2025

Dialogformate mit Expert*innen und Praktiker*innen

April bis Juni 2025

Handlungsempfehlung für automatisierte Content-Moderation

August 2025

Gefördert durch

 

 

ProjektdauerOktober 2023 - September 2027
FörderungStiftung Mercator

 

Kontakt

Sarah Spitz

Leitung Event & Wissenstransfer I Projektkoordinatorin Frauen* im Tech-Sektor

Begleitveranstaltung

Digitaler Salon: Fahrplan 4.0
Auftaktveranstaltung

April 2024

TEIL DES FORSCHUNGSLABORS

AI & Society Lab

AI & Society Lab

Das AI & Society Lab ist ein inter- und transdisziplinäres Forschungslabor an der Schnittstelle zwischen Forschung, Industrie und Zivilgesellschaft.

Aktuelle HIIG-Aktivitäten entdecken

Forschungsthemen im Fokus

Das HIIG beschäftigt sich mit spannenden Themen. Erfahren Sie mehr über unsere interdisziplinäre Pionierarbeit im öffentlichen Diskurs.