Zum Inhalt springen
the-blowup-C8D0upr8H-Y-unsplash
30 November 2020

„Die Vorstellung, dass algorithmische Entscheidungen noch nicht reguliert werden, ist falsch“

Ein Interview mit Matthias Spielkamp

Sollten Maschinen wichtige Entscheidungen im Personalmanagement und in der Verwaltung treffen? Wer trägt die Verantwortung dafür, dass es dabei fair zugeht – und wie verhindern wir, dass diskriminierende Strukturen algorithmisch fortgeschrieben werden? Gerade wenn es um die Automatisierung von Prozessen geht, ist die Verunsicherung groß und wirft die Frage danach auf, wie wir als digitale Gesellschaft mit Entwicklungen wie künstlicher Intelligenz umgehen. Auf dem Roundtable zum Thema „Inklusive KI” unseres AI & Society Labs in Kooperation mit der Vertretung der Europäischen Kommission in Deutschland hatte Katrin Werner die Gelegenheit, mit Journalist, Unternehmer und Bürgerrechtsaktivisten Matthias Spielkamp zu sprechen.


Welche Chancen und Herausforderungen bietet die Einführung künstlicher Intelligenz im Personalwesen und in der Verwaltung? 

Spielkamp: Beim Einsatz von KI-Systemen kommen immer (mindestens) zwei verschiedene Aspekte zusammen: Effizienz und Fairness. Ich bin überzeugt davon, dass Automatisierungssysteme uns Arbeit abnehmen können, denn das passiert schon sehr, sehr lange. Wer möchte heute noch Güter zu Fuß oder mit der Sackkarre transportieren, wenn es LKWs oder Förderbänder gibt? Der zweite Aspekt – die Frage nach der Fairness – ist eine ganz andere Ebene. Denn wenn tatsächlich Entscheidungen automatisiert werden, müssen wir uns genau anschauen: Wird das richtig gemacht? Das klingt im ersten Moment trivial, bringt aber eine ganze Reihe komplexer und weitreichender Fragen mit sich: Ist das gerecht, wie da gearbeitet wird? Ist das diskriminierungsfrei? 

Führen diskriminierende Algorithmen zu struktureller Diskriminierung?

Spielkamp: Es besteht zumindest die Möglichkeit, dass diskriminierendes Verhalten von Menschen in solche automatisierten Systeme übersetzt wird. Nehmen wir das bekannt gewordene Amazon-Beispiel: das Unternehmen setzte für sein Recruiting ein automatisiertes Bewertungssystem ein, das Frauen systematisch benachteiligte, weil der Algorithmus mit Datensätzen erfolgreicher Bewerberinnen und Bewerber trainiert worden war. In einer von Männern dominierten Industrie meinte erfolgreich in den Jahren zuvor zumeist männlich – mit der Folge, dass Bewerbungen von Frauen schlechter einzustufen seien. 
Aber wie erkenne ich, dass diese Diskriminierung eintritt? Ich suche ja nicht explizit nach Frauennamen oder nach der Geschlechtsangabe. Genügt es im oben skizzierten Beispiel bereits, wenn jemand Mitglied eines weiblich konnotierten Vereins ist? Wir wissen es nicht, und darin liegt genau das Problem: Es geht letztlich darum, dass das KI-gestützte System eine bestimmte Suche ausübt, von der ich nicht vorher weiß, dass sie so unterschiedliche oder diskriminierende Ergebnisse bringt. 

Welche gesellschaftlichen Gruppen sind dann besonders durch diese Diskriminierung, z.B. im Bereich Recruiting, betroffen? 

Spielkamp: Darüber haben wir keine genauen Erkenntnisse, was ein großes Problem darstellt. Privatwirtschaftlichen Regelungen folgend kann ein Unternehmen bekanntlich selbst darüber entscheiden, wen es zum Bewerbungsgespräch einladen möchte, ohne den Prozess dahinter transparent machen zu müssen. Diskriminierende Auswahlmethoden können demnach nicht ohne Weiteres aufgedeckt werden. Was automatisierte Systeme angeht, so lässt sich mithilfe von Audits unter Umständen sogar feststellen, dass eine Diskriminierung stattgefunden hat – wohingegen es bei einer menschlichen Auswahl wahrscheinlich sehr viel schwieriger ist. Um eine mögliche Diskriminierung effektiv verfolgen zu können, braucht es zunächst konkrete Hinweise, dass tatsächlich Diskriminierung stattgefunden hat – wofür wiederum tiefe Einsicht in die Verfahren vonnöten ist. Diese Nachweispflicht ist meiner Erkenntnis nach der Grund, warum so selten ein Rechtsstreit aus Diskriminierungsgründen begonnen wird.

Solche Prozesse ließen sich demnach verbessern, wenn uns KI-Systeme erklären könnten, wie sie welche Entscheidungen treffen und warum?

Spielkamp: Wir setzen uns für Nachvollziehbarkeit von solchen Systemen ein, was allerdings ein wirklich dickes Brett ist: Was soll das bedeuten? Welche Aspekte dieser Automatisierung möchte ich nachvollziehen können? Wer soll das tundie nachvollziehen können?, Soll das eine Expertin für Machine Learning nachvollziehen können, soll das die betroffene Person nachvollziehen können, soll das eine öffentliche Institution nachvollziehen können, auf der Grundlage welcher Informationen? Wir stehen wirklich noch ziemlich am Anfang. Es gibt tatsächlich die Idee, zu versuchen, solche Module – ich nenne sie mal Module, das ist softwaretechnisch unsinnig, aber dient der besseren Vorstellung – in die Systeme selbst einzubauen. Diese Module würden jeden Schritt innerhalb eines Verfahrens skizzieren und erläutern, wie die finale Entscheidung zustande gekommen ist. 

Die Europäische Kommission hat sich für die Entwicklung einer inklusiven europäischen KI ausgesprochen. Was wären konkrete Schritte dahin?

Spielkamp: Ich finde das Statement, dass wir eine werteorientierte, d.h. vertrauenswürdige und trotzdem konkurrenzfähige Entwicklung haben wollen, prinzipiell unterstützenswert. Aber wie sieht das in der Praxis aus? Wir können uns nicht einfach darauf verlassen, dass die beteiligten Akteure – Hersteller, Anwender und die betroffenen Bürgerinnen und Bürger – sich im Rahmen von Selbstverpflichtungsprozessen irgendwie einig werden. Muss nicht stattdessen vielleicht auch gesetzlich eingegriffen werden? Das ist genau im Moment die wahnsinnig schwer zu beantwortende Frage. Es gibt Beispiele aus anderen Sektoren, wo algorithmische Systeme bereits reguliert werden: algorithmisch gesteuerte Systeme für den Hochgeschwindigkeitshandel an Börsen unterliegen schon seit Längerem der Finanzmarktregulierung.

Die weit verbreitete Vorstellung, dass algorithmische Prozesse oder automatisierte Entscheidungsprozesse noch nicht reguliert würden, ist falsch. Aber bislang war das Ganze noch zu abstrakt, weil es nur indirekt das Leben der Menschen betroffen hat.

Mit dem zunehmenden Einsatz von KI-Systemen z.B. im Recruitment oder in der Beurteilung am Arbeitsplatz sind sie davon potenziell viel direkter betroffen, und das beschäftigt sie. Plötzlich kommen wir also von Finanzmarktregulierungen auch zu Prozessen, die das Allgemeine Gleichbehandlungsgesetz und Betriebsverfassungsgesetz betreffen. Die Verunsicherung ist groß – und wirft die Frage danach auf, wie wir mit solchen Entwicklungen als Gesellschaft umgehen wollen. 


Journalist, Unternehmer und Bürgerrechtsaktivist Matthias Spielkamp ist Mitgründer und Geschäftsführer von AlgorithmWatch und Vorstandsmitglied der deutschen Reporter ohne Grenzen.

Katrin Werner

Ehem. Koordinatorin für Wissenschaftskommunikation und Fundraising

Aktuelle HIIG-Aktivitäten entdecken

Forschungsthemen im Fokus

Das HIIG beschäftigt sich mit spannenden Themen. Erfahren Sie mehr über unsere interdisziplinäre Pionierarbeit im öffentlichen Diskurs.

Forschungsthema im Fokus Entdecken

Du siehst Eisenbahnschienen. Die vielen verschiedenen Abzweigungen symbolisieren die Entscheidungsmöglichkeiten von Künstlicher Intelligenz in der Gesellschaft. Manche gehen nach oben, unten, rechts. Manche enden auch in Sackgassen. Englisch: You see railway tracks. The many different branches symbolise the decision-making possibilities of artificial intelligence and society. Some go up, down, to the right. Some also end in dead ends.

Künstliche Intelligenz und Gesellschaft

Die Zukunft der künstliche Intelligenz funktioniert in verschiedenen sozialen Kontexten. Was können wir aus ihren politischen, sozialen und kulturellen Facetten lernen?

HIIG Monthly Digest

Jetzt anmelden und  die neuesten Blogartikel gesammelt per Newsletter erhalten.

Weitere Artikel

Welche Skills braucht man heutzutage auf dem Arbeitsmarkt?

Im Wettlauf gegen die Maschinen: Skills für die Zukunft

Welche Skills brauchen Arbeitnehmer*innen, um mit dem wandelnden Arbeitsmarkt Schritt halten zu können? Die Untersuchung einer der weltweit größten Online-Freelancer-Plattformen gibt wichtige Einblicke.

eine geschwungene weiße Linie vom rechten unteren bis zum oberen rechten Bildrand auf grünem Kunstrasen, die dafür steht, wie Plattformräte zu einer besseren Regulierung von Online-Kommunikation betiragen können

Die Mächtigen regulieren: Das Potenzial von Plattformräten

Unternehmen regulieren öffentliche Debatten im digitalen Raum. Könnten Plattformräte Online-Kommunikation demokratischer machen?

Russische Online-Plattformen halten mit Amazon, Facebook und Co. mit

Wie russische Online-Plattformen mit den globalen Giganten konkurrieren

Russland ist eines der wenigen Länder, in denen inländische Online-Plattformen mit den US-Giganten mithalten können. Was können wir von ihnen lernen?