Human in the loop?
In unserer digitalen Welt gewinnen automatisierte Entscheidungen und KI-Systeme zunehmend an Bedeutung. Ein bekanntes Beispiel ist die Kreditvergabe, bei der Banken technologische Systeme einsetzen, um die Kreditwürdigkeit von Antragsteller*innen automatisch zu bewerten. Ähnliche Entscheidungsprozesse finden sich auch in der Content-Moderation auf digitalen Plattformen wie Instagram, Facebook oder TikTok. Hier treffen Algorithmen unter anderem Entscheidungen darüber, welche Beiträge, Bilder und Videos von Nutzer*innen freigegeben oder als unangemessen gekennzeichnet werden.
Solche automatisierten Entscheidungen sind häufig nicht fehlerfrei. Das liegt daran, dass sie unbeabsichtigte Vorurteile (Biases) aus Trainingsdaten beinhalten oder es fehlt das menschliches Kontextverständnis. So werden einzelne, maschinelle Entscheidungen den individuellen Situationen von Personen häufig nicht gerecht. Deshalb wird schon lange gefordert, Menschen in solche Prozesse zu integrieren, damit sie eine bestimmte Rolle bei der Überwachung und Verbesserung von technologischen Systemen spielen.
Das Forschungsprojekt Human in the Loop? Autonomie und Automation in sozio-technischen Systemen untersucht deshalb, wie eine aktive Einbindung des Menschen einen Unterschied in automatisierten Entscheidungsprozessen bewirken kann. Die zentralen Fragen lauten: Wie sollte eine sinnvolle Interaktion zwischen Mensch und Maschine gestaltet sein? Welche Rolle spielen menschliche Entscheidungen bei der Qualitätssicherung von automatisierten Entscheidungen? Wie können wir sicherstellen, dass diese Interaktion nicht nur rechtssicher, sondern auch transparent und nachvollziehbar ist? Und welche Anforderungen gelten für die Interaktion zwischen Mensch und Maschine, wenn man das technische System, die menschlichen Entscheidungsträger*innen, ihren Kontext und ihre Umwelt betrachtet?
Projektschwerpunkte und Transfer
 | Vier Fallstudien |
 | Einflussfaktoren-TaxonomieUntersuchung der Faktoren, die menschliche Entscheidungen beeinflussen und Identifizierung der Fehler, Anfälligkeiten und Stärken aller an Entscheidungsprozessen beteiligten technischen Systeme und Personen. |
 | HandlungsempfehlungenEntwicklung praxisnaher Lösungen, um die Zusammenarbeit zwischen Mensch und Maschine zu optimieren und die Umsetzung und Interpretation bestehender Gesetzes- und Regulierungsvorhaben zu verbessern (DSGVO, AI Act und DSA). |
Kreditvergabe im Fokus: Zwischen Automatisierung und ethischen Herausforderungen
Die automatisierte Kreditvergabe im Fall von Verbraucher*innen bringt Effizienzvorteile, birgt aber auch ethische und Vertrauensfragen. Wir untersuchen Risiken wie zum Beispiel Verzerrungen in Kreditentscheidungen durch Faktoren wie Geschlecht und Wohnort sowie die mögliche Priorisierung von Gewinnmaximierung der Kreditinstitute gegenüber den Bedürfnissen der Kreditnehmer*innen. Unsere Forschungsfragen betreffen den Einfluss automatisierter Kreditentscheidungen auf das Vertrauen von Verbraucher*innen in ihre Kreditanstalten. Ebenso wie Fragen nach dem Gebot der Nichtdiskriminierung und die Rolle rechtlicher Rahmenbedingungen. Wo ist außerdem der Mensch in der Kette? Welche Verantwortung trägt er für die finale Entscheidung?
Feldanalyse
Mai bis September 2024
Zusammenarbeit mit Expert*innen und Praktiker*innen
September bis Dezember 2024
Handlungsempfehlung für automatisierte Kreditvergabe
2025
Automatisierte Content-Moderation: Macht, Recht und die Rolle menschlicher Entscheidungen
In der Online-Welt ist Content Moderation von großer Bedeutung. Sie beinhaltet die Kontrolle und Regelung von Inhalten, um sicherzustellen, dass sie den Plattformrichtlinien entsprechen. Dabei werden unangemessene oder schädliche Inhalte wie Beleidigungen, Hassrede und Falschinformationen identifiziert und bearbeitet oder gelöscht. Dieser Prozess involviert sowohl automatisierte Entscheidungen, bei denen Algorithmen bestimmte Kriterien verwenden, um Inhalte zu bewerten, als auch menschliche Entscheidungen. Unsere Forschungsfragen zielen darauf ab, die Interaktion zwischen automatisierten und menschlichen Entscheidungen zu analysieren. Hier sollen ethische Standards bestimmt und Lösungsvorschläge für ihre Umsetzung entwickelt werden. Insbesondere im Spannungsfeld zwischen dem derzeitigen Vorgehen großer US-Plattformen und europäischen Normen.
Feldanalyse
Januar bis April 2025
Dialogformate mit Expert*innen und Praktiker*innen
April bis Juni 2025
Handlungsempfehlung für automatisierte Content-Moderation
August 2025
„Wenn Automatisierung – beschleunigt, durch künstliche Intelligenz – Risiken hervorruft, wird häufig darauf verwiesen, dass letztlich ein Mensch einbezogen sein muss und die Letzt-Entscheidung trifft. Aber unter welchen Voraussetzungen macht dieser ‘Human in the Loop‘ wirklich einen Unterschied? Das hängt von vielen Bedingungen ab: seiner Qualifikation, den Möglichkeiten, die maschinellen Prozesse zu beeinflussen, Haftungsregungen und anderes mehr. In dem nun startenden Projekt wollen wir diese Bedingungen in unterschiedlichen Gesellschaftsbereichen untersuchen. Die Ergebnisse sollen helfen, einen an Rechten und Werten orientierten Einsatz von KI zu ermöglichen.“
Wolfgang Schulz
„Wir sind fasziniert von der Frage, wie Menschen und KI-Systeme in Entscheidungsprozessen interagieren. Was dürfen Maschinen für uns steuern? Wann müssen Menschen entscheiden? Das sind Themen, die zunehmend Relevanz gewinnen und uns helfen, einen Beitrag dazu zu leisten, die Rolle der Menschen in digitalen Zeiten neu zu bestimmen. Der Mensch wird hier oft als Allheilmittel für die Probleme und Fehlerquellen automatisierter Entscheidungen verstanden. Wie genau eine solche Einbindung funktionieren soll, ist jedoch oft unklar. Mit unseren verschiedenen Fallstudien im Forschungsprojekt Human in the Loop?suchen wir Lösungen für dieses Problem, die auch in der Praxis Bestand haben. Sie sollen die Integration menschlicher Entscheidungen in KI-gestützte Prozesse auf eine ethisch verantwortungsvolle und praktisch umsetzbare Weise ermöglichen.“
Matthias C. Kettemann
„In vielen Bereichen sollen Aufsicht und Letztentscheidung im Zusammenspiel zwischen Menschen und KI-Systemen und Algorithmen beim Menschen bleiben. Wir fragen uns, wie dieses Zusammenspiel gestaltet werden muss, damit dies gelingt und wie überhaupt ‘gute’ Entscheidungssysteme aussehen. Denn in unserer Gesellschaft spielt das Zusammenspiel zwischen Mensch und Maschine für immer mehr Entscheidungen eine Rolle. Dies bringt positive Effekte mit sich, zum Beispiel kann es Effektivität steigern oder auch Entscheidungen unterstützen. Gleichzeitig birgt der Einsatz von KI-Systemen auch Risiken. Wir fragen uns im Forschungsprojekt Human in the Loop?, wie das Zusammenspiel zwischen Mensch und KI-Systemen gestaltet sein muss, damit sie auch in Zukunft demokratische Werte und bürgerliche Rechte sicherstellen.“
Theresa Züger
Daniel PothmannProjektmitarbeiter: Wissenstransfer | Public Interest AI
Katharina MoseneWissenschaftliche Mitarbeiterin: AI & Society Lab
Lara KauterStudentische Mitarbeiterin: Human in the loop?
Matthias C. Kettemann, Prof. Dr. LL.M. (Harvard)Forschungsgruppenleiter und Assoziierter Forscher: Globaler Konstitutionalismus und das Internet
Sarah SpitzLeitung Event & Wissenstransfer I Projektkoordinatorin Frauen* im Tech-Sektor
Theresa Züger, Dr.Leiterin AI & Society Lab & Forschungsgruppe Public Interest AI
Vincent HofmannWissenschaftlicher Mitarbeiter: AI & Society Lab
Wolfgang Schulz, Prof. Dr.Forschungsdirektor
Organisation von Veranstaltungen
Human in the Loop: Kreditvergabe im FokusHuman in the Loop: Kreditvergabe im Fokus. 10.04.2024. Humboldt Institut für Internet und Gesellschaft, Berlin, Germany (National) Weitere Informationen
Sarah Spitz, Theresa Züger
Gefördert durch
| Projektdauer | Oktober 2023 - September 2027 |
| Förderung | Stiftung Mercator |
AI & Society Lab
