{"id":72436,"date":"2020-11-30T13:09:12","date_gmt":"2020-11-30T12:09:12","guid":{"rendered":"https:\/\/www.hiig.de\/?p=72436"},"modified":"2023-03-28T14:07:02","modified_gmt":"2023-03-28T12:07:02","slug":"the-idea-that-algorithmic-decisions-are-not-yet-regulated-is-wrong","status":"publish","type":"post","link":"https:\/\/www.hiig.de\/en\/the-idea-that-algorithmic-decisions-are-not-yet-regulated-is-wrong\/","title":{"rendered":"“The idea that algorithmic decisions are not yet regulated is wrong”"},"content":{"rendered":"\n

An interview with Matthias Spielkamp <\/strong><\/h4>\n\n\n\n

Should machines make important decisions in HR management and administration? Who is responsible for ensuring that these decisions are taken fairly \u2013 and how do we prevent discriminatory structures from being algorithmically perpetuated? Particularly when it comes to automated processes, there is a great deal of uncertainty and this raises the question of how we as a digital society deal with developments such as artificial intelligence. At the <\/span>\u00a0Roundtable on \u201cInclusive AI<\/span><\/a>\u201d, which was part of an event series organised by our <\/span>AI & Society Lab<\/span><\/a> in cooperation with the Representation of the European Commission in Germany, Katrin Werner had the opportunity to talk to journalist, entrepreneur and civil rights activist Matthias Spielkamp.<\/span><\/em><\/p><\/p>\n\n\n\n

\n\n\n\n

Welche Chancen und Herausforderungen bietet die Einf\u00fchrung k\u00fcnstlicher Intelligenz im Personalwesen und in der Verwaltung? <\/strong><\/h3>\n\n\n\n

Spielkamp<\/strong>: Beim Einsatz von KI-Systemen kommen immer (mindestens) zwei verschiedene Aspekte zusammen: Effizienz und Fairness. Ich bin \u00fcberzeugt davon, dass Automatisierungssysteme uns Arbeit abnehmen k\u00f6nnen, denn das passiert schon sehr, sehr lange. Wer m\u00f6chte heute noch G\u00fcter zu Fu\u00df oder mit der Sackkarre transportieren, wenn es LKWs oder F\u00f6rderb\u00e4nder gibt? Der zweite Aspekt \u2013 die Frage nach der Fairness \u2013 ist eine ganz andere Ebene. Denn wenn tats\u00e4chlich Entscheidungen automatisiert werden, m\u00fcssen wir uns genau anschauen: Wird das richtig gemacht? Das klingt im ersten Moment trivial, bringt aber eine ganze Reihe komplexer und weitreichender Fragen mit sich: Ist das gerecht, wie da gearbeitet wird? Ist das diskriminierungsfrei? <\/p>\n\n\n\n

F\u00fchren diskriminierende Algorithmen zu struktureller Diskriminierung?<\/strong><\/h3>\n\n\n\n

Spielkamp<\/strong>: Es besteht zumindest die M\u00f6glichkeit, dass diskriminierendes Verhalten von Menschen in solche automatisierten Systeme \u00fcbersetzt wird. Nehmen wir das bekannt gewordene Amazon-Beispiel: das Unternehmen setzte f\u00fcr sein Recruiting ein automatisiertes Bewertungssystem ein, das Frauen systematisch benachteiligte, weil der Algorithmus mit Datens\u00e4tzen erfolgreicher Bewerberinnen und Bewerber trainiert worden war. In einer von M\u00e4nnern dominierten Industrie meinte erfolgreich<\/em> in den Jahren zuvor zumeist m\u00e4nnlich<\/em> \u2013 mit der Folge, dass Bewerbungen von Frauen schlechter einzustufen seien. 
Aber wie erkenne ich, dass diese Diskriminierung eintritt? Ich suche ja nicht explizit nach Frauennamen oder nach der Geschlechtsangabe. Gen\u00fcgt es im oben skizzierten Beispiel bereits, wenn jemand Mitglied eines weiblich konnotierten Vereins ist? Wir wissen es nicht, und darin liegt genau das Problem: Es geht letztlich darum, dass das KI-gest\u00fctzte System eine bestimmte Suche aus\u00fcbt, von der ich nicht vorher wei\u00df, dass sie so unterschiedliche oder diskriminierende Ergebnisse bringt. <\/p>\n\n\n\n

Welche gesellschaftlichen Gruppen sind dann besonders durch diese Diskriminierung, z.B. im Bereich Recruiting, betroffen? <\/strong><\/h3>\n\n\n\n

Spielkamp<\/strong>: Dar\u00fcber haben wir keine genauen Erkenntnisse, was ein gro\u00dfes Problem darstellt. Privatwirtschaftlichen Regelungen folgend kann ein Unternehmen bekanntlich selbst dar\u00fcber entscheiden, wen es zum Bewerbungsgespr\u00e4ch einladen m\u00f6chte, ohne den Prozess dahinter transparent machen zu m\u00fcssen. Diskriminierende Auswahlmethoden k\u00f6nnen demnach nicht ohne Weiteres aufgedeckt werden. Was automatisierte Systeme angeht, so l\u00e4sst sich mithilfe von Audits unter Umst\u00e4nden sogar feststellen, dass eine Diskriminierung stattgefunden hat \u2013 wohingegen es bei einer menschlichen Auswahl wahrscheinlich sehr viel schwieriger ist. Um eine m\u00f6gliche Diskriminierung effektiv verfolgen zu k\u00f6nnen, braucht es zun\u00e4chst konkrete Hinweise, dass tats\u00e4chlich Diskriminierung stattgefunden hat \u2013 wof\u00fcr wiederum tiefe Einsicht in die Verfahren vonn\u00f6ten ist. Diese Nachweispflicht ist meiner Erkenntnis nach der Grund, warum so selten ein Rechtsstreit aus Diskriminierungsgr\u00fcnden begonnen wird.<\/p>\n\n\n\n

Solche Prozesse lie\u00dfen sich demnach verbessern, wenn uns KI-Systeme erkl\u00e4ren k\u00f6nnten, wie sie welche Entscheidungen treffen und warum?<\/strong><\/h3>\n\n\n\n

Spielkamp<\/strong>: Wir setzen uns f\u00fcr Nachvollziehbarkeit von solchen Systemen ein, was allerdings ein wirklich dickes Brett ist: Was soll das bedeuten? Welche Aspekte dieser Automatisierung m\u00f6chte ich nachvollziehen k\u00f6nnen? Wer soll das tundie nachvollziehen k\u00f6nnen?, Soll das eine Expertin f\u00fcr Machine Learning nachvollziehen k\u00f6nnen, soll das die betroffene Person nachvollziehen k\u00f6nnen, soll das eine \u00f6ffentliche Institution nachvollziehen k\u00f6nnen, auf der Grundlage welcher Informationen? Wir stehen wirklich noch ziemlich am Anfang. Es gibt tats\u00e4chlich die Idee, zu versuchen, solche Module \u2013 ich nenne sie mal Module, das ist softwaretechnisch unsinnig, aber dient der besseren Vorstellung \u2013 in die Systeme selbst einzubauen. Diese Module w\u00fcrden jeden Schritt innerhalb eines Verfahrens skizzieren und erl\u00e4utern, wie die finale Entscheidung zustande gekommen ist. <\/p>\n\n\n\n

Die Europ\u00e4ische Kommission hat sich f\u00fcr die Entwicklung einer inklusiven europ\u00e4ischen KI ausgesprochen. Was w\u00e4ren konkrete Schritte dahin?<\/strong><\/h3>\n\n\n\n

Spielkamp<\/strong>: Ich finde das Statement, dass wir eine werteorientierte, d.h. vertrauensw\u00fcrdige und trotzdem konkurrenzf\u00e4hige Entwicklung haben wollen, prinzipiell unterst\u00fctzenswert. Aber wie sieht das in der Praxis aus? Wir k\u00f6nnen uns nicht einfach darauf verlassen, dass die beteiligten Akteure \u2013 Hersteller, Anwender und die betroffenen B\u00fcrgerinnen und B\u00fcrger \u2013 sich im Rahmen von Selbstverpflichtungsprozessen irgendwie einig werden. Muss nicht stattdessen vielleicht auch gesetzlich eingegriffen werden? Das ist genau im Moment die wahnsinnig schwer zu beantwortende Frage. Es gibt Beispiele aus anderen Sektoren, wo algorithmische Systeme bereits reguliert werden: algorithmisch gesteuerte Systeme f\u00fcr den Hochgeschwindigkeitshandel an B\u00f6rsen unterliegen schon seit L\u00e4ngerem der Finanzmarktregulierung. <\/p>\n\n\n\n

Die weit verbreitete Vorstellung, dass algorithmische Prozesse oder automatisierte Entscheidungsprozesse noch nicht reguliert w\u00fcrden, ist falsch. Aber bislang war das Ganze noch zu abstrakt, weil es nur indirekt das Leben der Menschen betroffen hat. <\/p><\/blockquote>\n\n\n\n

Mit dem zunehmenden Einsatz von KI-Systemen z.B. im Recruitment oder in der Beurteilung am Arbeitsplatz sind sie davon potenziell viel direkter betroffen, und das besch\u00e4ftigt sie. Pl\u00f6tzlich kommen wir also von Finanzmarktregulierungen auch zu Prozessen, die das Allgemeine Gleichbehandlungsgesetz und Betriebsverfassungsgesetz betreffen. Die Verunsicherung ist gro\u00df \u2013 und wirft die Frage danach auf, wie wir mit solchen Entwicklungen als Gesellschaft umgehen wollen. <\/p>\n\n\n\n

\n\n\n\n

Journalist, entrepreneur and civil rights activist Matthias Spielkamp<\/strong> is co-founder and managing director of AlgorithmWatch<\/a> and board member of German Reporters Without Borders<\/a>.<\/em><\/p>\n