Zum Inhalt springen
austris-augusts-52p1K0d0euM-unsplash
25 Januar 2021

Auftakt-Match: Der Wettstreit um Inklusion in algorithmischen Systemen

Ein Kopf-an-Kopf-Rennen um Bedingungen und Regeln für inklusives Design

Wie kann die zunehmende Automatisierung von Infrastrukturen inklusiver und nachhaltiger gestaltet und mit den Menschenrechten in Einklang gebracht werden? Das AI & Society Lab geht dieser Kernfrage nach, indem es den Austausch zwischen Wissenschaft, Industrie und Zivilgesellschaft fördert und dabei mit verschiedenen Formaten und Ansätzen experimentiert. Als eines seiner ersten Vorhaben veranstaltete es eine Reihe von Roundtables in Kooperation mit der Vertretung der Europäischen Kommission in Deutschland, um an der Umsetzung und Operationalisierung des Weißbuchs der Kommission zu KI zu arbeiten. 


Um die gesellschaftliche Debatte zu inklusiver KI, dem Thema unseres dritten Roundtables, zu erweitern und aufrechtzuerhalten, haben wir zwei Stakeholder-Gruppen zu einem Ping-Pong-Match herausgefordert, dem schnellsten Rückschlagsport der Welt – allerdings digital und mit dem AI & Society Lab als erstem Aufschläger. Für das Team Zivilgesellschaft spielte Lajla Fetic, Wissenschaftlerin und Mitautorin der Algo.Rules, einem praktischen Leitfaden für das Design von algorithmischen Systemen. Ihr gegenüber auf der anderen Seite des Netzes stand Finn Grotheer, AI Business Development Fellow bei Merantix, einem in Berlin ansässigen AI Venture Studio. Auf die Plätze, fertig, los!

Welches KI-Thema lässt dich nachts nicht schlafen?

Finn: Vor allem sogenannte GANs (Generative Adversarial Networks) sind ein großes gesellschaftliches Problem. Diese können Videos und Tonspuren künstlich erzeugen, die nicht als Fälschungen erkennbar sind. Mit Blick auf unsere Social Media Kultur und ihren Einfluss auf Gesellschaft und Politik können wir viele Herausforderungen erst erahnen.

Lajla: Der Hype um KI beschert mir keine Albträume. Worüber ich länger nachdenke, sind die Fragen dahinter: Wie können alle Menschen gleichermaßen von Technologie profitieren? Wie finden marginalisierte Gruppen Gehör bei der Gestaltung von KI? Wenn Frauen, Menschen mit Be_hinderung, Migrationserfahrungen, oder ohne Hochschulabschluss gleichberechtigt an Debatten und der Entwicklung von KI partizipieren können, würde ich noch mehr Schlaf finden.

Welches KI-Thema wird noch nicht ausreichend diskutiert?

Finn: Wettbewerbsfähigkeit. Es ist nicht sexy und löst keine Begeisterung aus. Wir werden unsere ethischen Ansprüche aber nur umsetzen werden können, wenn wir – Deutschland und Europa – federführend die besten KI-Anwendungen entwickeln, erproben und skalieren. Sonst laufen wir Gefahr, dass sich die Erfahrungen, die wir derzeit mit den amerikanischen Internet-Giganten machen, wiederholen.

Lajla: Die „Warum“-Frage wird in der hochgepushten Debatte zu selten gestellt. Zu welchem Zweck und zu welchem Preis entwickeln wir algorithmische Systeme? Als Faustregel gilt: Mehr ist nicht immer besser. Algorithmische Systeme bieten viele (ungenutzte) Potenziale. Und wir müssen darüber diskutieren, unter welchen Bedingungen neueste Entwicklungen zustande kommen. Das Trainieren komplexer Machine-Learning Systeme kostet viel Energie. Tools, die unsichtbare CO2-Kosten sichtbar machen, sind ein erster guter Schritt, um über gemeinwohlorientierte Ziele von Technologiegestaltung zu sprechen.

Was sollte KI lieber schon heute als erst morgen können?

Finn: Was KI kann, ist nicht unbedingt das Nadelöhr. Viele Potenziale sind schlicht noch ungenutzt. Im Healthcare-Bereich sterben zum Beispiel weltweit viele Menschen immer noch an behandelbaren Krankheiten, weil sie keinen Zugang zu Diagnostik und Behandlung haben. Wir unterschätzen, wie viel Positives wir mit einer weltweiten Durchdringung von KI-Anwendungen heute schon bewegen könnten.

Lajla: Mir ist wichtig, dass wir lieber heute als morgen Lösungen entwickeln, wie wir KI als Werkzeug sinnvoll nutzen. Dafür braucht es ein Verständnis darüber, was Möglichkeiten und Grenzen sind und wie die Interaktion zwischen Mensch und Maschine wirklich abläuft. 

„Wir können durch kritische Reflektion lernen, mit dem Bias in Kopf und Code umzugehen“

Lajla, inklusive und diskriminierungsfreie KI entwickeln – geht das überhaupt?

Die inklusive Gestaltung von KI ist eine große Aufgabe der nächsten Jahre – diskriminierungsfreie KI wird es niemals geben. Wie auch? Sind wir Menschen frei von Vorurteilen? Wir können aber durch kritische Reflektion lernen, mit dem Bias in Kopf und Code umzugehen. Dabei helfen Regeln zur Gestaltung algorithmischer Systeme. Zum Beispiel können wir nur durch eine gute Dokumentation der verarbeiteten Daten und Beurteilungskriterien feststellen, ob eine bestimmte Gruppe von Personen durch den Einsatz von Technologie schlechter gestellt wird.

Finn: Definitiv: Die Gestaltung kann inklusiv sein, daran sollten wir arbeiten. Dass KI nicht garantiert und immer diskriminierungsfrei sein wird, ist in Teilen allerdings nicht auf menschliche Biases zurückzuführen. Selbstlernende System werden auf Datensätzen trainiert, die im ersten Schritt meist nicht Gegenstand einer bewussten menschlichen Auswahl waren, sondern ein Produkt ihrer Umgebung sind. Beispielsweise: Verfügbare Bilder oder Sprachproben. Eben darin liegt die Herausforderung. Eine wichtige Maßnahme ist daher, Möglichkeiten zu institutionalisieren, um auf im Nachhinein bemerkte Biases aufmerksam zu machen.

Lajla: Damit KI bestehende Vorurteile nicht reproduziert und skaliert, müssen entwickelnde und einsetzende Personen von Anfang an Verantwortung übernehmen. Die Trainingsdatensätze werden im Vorfeld zusammengestellt, kuratiert und gelabelt. Bei diesem Prozess kann vieles – menschengemacht – schief gehen. So hat ein Experiment von Kate Crawford gezeigt, wie das bekannte Datenset ImageNet (mit mehr als 14 Millionen Bildern und Grundlage für viele Objekterkennungssysteme) aufgrund schlechter Labels misogyne Ergebnisse hervorrief. Damit gute Datensets ausgewählt und mögliche (Gender-)Data-Gaps vermieden werden, brauchen wir Maßnahmen, um das Garbage-In-Garbage-Out Phänomen frühzeitig anzugehen. Eine erste Lösung wäre es, diversere und sensibilisierte Entwickler*innen-Teams aufzustellen. Eine andere, Qualitätsstandards für Datensets einzuführen, die auch auf Repräsentanz achten, so wie das Data Nutrition Label von Harvard University und MIT Media Labs.

Finn: Hier herrscht keine Uneinigkeit. Entwickler*innen-Teams stehen in der Verantwortung und übernehmen sie auch gerne. Es ist nicht so, als gäbe es keine Qualitätsstandards. Die Relevanz von Trainingsdaten ist bekannt. Alle seriösen Unternehmen arbeiten täglich an möglichst repräsentativen und unbiased Datensätzen. Diversität in Teams ist im Individuellen eine sehr hilfreiche Maxime, in der gesamten KI-Industrie können Teams aber natürlich nur den Grad an Diversität abbilden, der von den Universitäten kommt.

Lajla: Mit den Qualitätsstandards ist es nicht so einfach. Oft ist die Dokumentation, zum Beispiel zu Trainings-Datensets für ML-Modelle, nicht umfassend. Oft können sich Start-Ups, kleinere Unternehmen den Aufwand einer ausreichende Dokumentation und ethischen Sorgfaltspflicht nicht leisten. Deshalb helfen verpflichtende Mindeststandards, gesellschaftlich Wünschenswertes auch verbindlich in der Unternehmenspraxis zu verankern. In Sachen Diversität müssen wir viel früher ansetzen, den Anteil an Studentinnen in MINT-Fächern erhöhen, gesellschaftliche Hürden abbauen und den Fachkräftemangel ernst nehmen.

Finn: Bei Mindeststandards frage ich mich im Konkreten, ob ein Gesetz die Komplexität, die Vielfalt und die Dynamik der KI-Branche abbilden kann. Wir arbeiten viel mit Industriekund*innen – Maschinenbau, E-Commerce, Synthetische Biologie – und entwickeln mit deren Daten maßgeschneiderte Systeme, wie für die Verbesserung der Produktion oder im Quality Control. Jede Branche hat ihre Eigenheit und nicht bei jedem B2B-Use Case drängen sich ethische Fragen auf. Mich würde interessieren, wie gesetzliche Mindeststandards aussehen würden und unter welchen Umständen sie greifen.

KI-Systeme könnten Diskriminierung potentiell auch sichtbar machen, werden aber meist eher aus Effizienzgründen und teilweise gezielt zur Selektion und Diskriminierung eingesetzt (aktuelles Beispiel: Wechsel Energieversorger). Hinzu kommt das berechtigte Bedürfnis, zu experimentieren und Entwicklung voranzutreiben – wie kann Vertrauen hierbei nicht verspielt, sondern sogar aufgebaut werden?

Finn: Indem man auf Potentiale verweist, Erfolgsgeschichten erzählt und sich der Proportionen von bedenkenlosen zu kritischen Anwendungen bewusst wird. Industrielle Anwendungen nutzen beispielsweise keine Daten von Privatperson und helfen dabei, Arbeit besser und sicherer zu machen. Auf jeden von uns diskutierten Fall gibt es vier, die stillschweigend etwas verbessert haben – von geheilten Krankheiten bis zur Bekämpfung von Umweltkatastrophen. 

„Beim Einsatz von heutigen algorithmischen Anwendungen stellen sich uns technisch und gesellschaftlich noch viele Fragen“

Lajla: Beim Einsatz von heutigen algorithmischen Anwendungen stellen sich uns technisch und gesellschaftlich noch viele Fragen, beispielsweise zur Mensch-Technik Interaktion. Deshalb müssen wir bei besonders sensiblen Bereichen (Personalauswahl, Gesundheit und öffentliche Daseinsvorsorge) genau hinschauen. Eine Zertifizierung in diesen Bereichen könnte für Anwender*innen und Betroffene mehr Sicherheit schaffen.

Wo seht ihr besonders dringenden Handlungsbedarf in der europäischen Gesetzgebung? Findet ihr den Ansatz einer ausschließlich risikobezogenen Regulierung sinnvoll? Womit könnte die EU als Gesetzgeber jetzt vielleicht sogar ein positives Zeichen setzen?

Finn: Die EU wird mit der ausschließlichen Konzentration auf eine möglichst gewissenhafte Regulierung feststellen, dass es schwierig ist, ausländischen Unternehmen, die Innovation treiben, rückwirkend die eigenen Standards aufzuoktroyieren – wie schon bei den Tech-Riesen der 2000er. Es muss um die Förderung des hiesigen KI-Ökosystems gehen: Partnerschaften, Förderungen, Investitionen in Bildung und Lehrstühle, die Eröffnung von Testfeldern und eine Klarstellung der rechtlichen Rahmen. Das sogenannte „Ökosystem für Exzellenz“ ist notorisch unterbetont. 

Lajla: Europa hat mit der DSGVO gezeigt, dass es eine Vorreiter-Rolle in Tech-Regulierungsfragen einnehmen kann. Zukünftige KI-Regulierung auf europäischer Ebene kann dieser Erfolgsstory ein weiteres Kapitel hinzufügen, wenn sie verbindliche Standards für Anwendungen schafft. Das kann auch kleinen und mittleren Unternehmen oder Startups einen sicheren Rahmen für Innovationen bieten. Risikobezogene Regulierung kombiniert dabei Innovationsförderung und notwendige Standards. Trotzdem braucht es für „vertrauenswürdige KI“ neben Gesetzen auch Aufsichtsinstitutionen und Anlaufstellen für Bürger*innen.

Für gute Lösungen sind sowohl die Bereitstellung von als auch der Zugriff auf (persönliche) Daten in einem größeren Ausmaß als bisher erforderlich. Als Gesellschaft müssen wir zukünftig dafür mehr Verständnis und eine größere Bereitschaft aufbringen, diese Daten preiszugeben. Stimmt ihr dieser Aussage zu?

Finn: An dieser Bereitschaft scheint es nicht zu mangeln, wenn man sich den eigenen Umgang mit sozialen Medien selbstkritisch vor Augen führt. Und obwohl es sicherlich einen Trend zum massenhaften Datensammeln gibt, ist nicht alles davon gewinnbringend einsetzbar. Es wird zunehmend um eine Bewusstwerdung gehen: Wo sind meine Daten? Welche Daten möchte ich niemals preisgeben? Im Hinblick auf Transparenz und Haftung sehe ich eine starke Rolle des Gesetzgebers, die dieser auch anfängt, anzunehmen.


Lajla: Zustimmung Finn! Schon heute gibt es Zettabytes von Daten, die ungenutzt auf Servern rumliegen. Aber wer ist vor allem im Besitz? Große ausländische Tech-Unternehmen. Ich wünsche mir, dass Bürger*innen und auch die Zivilgesellschaft das Potenzial der Daten für sich nutzbar machen. Dafür braucht es in erster Linie intelligente Datenteilungsmodelle und mehr Beispiele für den Einsatz der Daten für Gemeinschaftsprojekte zum Beispiel durch Projekte wie „Gieß den Kiez“ vom CityLAB Berlin.


Dieses Interview wurde zuerst in unserem jährlichen Forschungsmagazin encore  veröffentlicht.

Dieser Beitrag spiegelt die Meinung der Autorinnen und Autoren und weder notwendigerweise noch ausschließlich die Meinung des Institutes wider. Für mehr Informationen zu den Inhalten dieser Beiträge und den assoziierten Forschungsprojekten kontaktieren Sie bitte info@hiig.de

Juliane Henn

Ehem. Studentische Mitarbeiterin: AI & Society Lab

Auf dem Laufenden bleiben

HIIG-Newsletter-Header

Jetzt anmelden und  die neuesten Blogartikel einmal im Monat per Newsletter erhalten.

Forschungsthema im Fokus Entdecken

Du siehst Eisenbahnschienen. Die vielen verschiedenen Abzweigungen symbolisieren die Entscheidungsmöglichkeiten von Künstlicher Intelligenz in der Gesellschaft. Manche gehen nach oben, unten, rechts. Manche enden auch in Sackgassen. Englisch: You see railway tracks. The many different branches symbolise the decision-making possibilities of artificial intelligence and society. Some go up, down, to the right. Some also end in dead ends.

Künstliche Intelligenz und Gesellschaft

Die Zukunft der künstliche Intelligenz funktioniert in verschiedenen sozialen Kontexten. Was können wir aus ihren politischen, sozialen und kulturellen Facetten lernen?

Weitere Artikel

Ein moderner U-Bahnhof mit Rolltreppen, die zu den Plattformen führen – ein Sinnbild für den geregelten Zugang zu Daten, wie ihn Zugangsrechte im NetzDG und DSA ermöglichen.

Plattformdaten und Forschung: Zugangsrechte als Gefahr für die Wissenschaftsfreiheit?

Neue Digitalgesetze gewähren Forschenden Zugangsrechte zu Plattformdaten, doch strikte Vorgaben werfen Fragen zur Wissenschaftsfreiheit auf.

Drei Gruppen von Menschen haben Formen über sich, die zwischen ihnen und in Richtung eines Papiers hin und her reisen. Die Seite ist ein einfaches Rechteck mit geraden Linien, die Daten darstellen. Die Formen, die auf die Seite zusteuern, sind unregelmäßig und verlaufen in gewundenen Bändern.

Beschäftigte durch Daten stärken

Arbeitsplätze werden zunehmend datafiziert. Doch wie können Beschäftigte und Gewerkschaften diese Daten nutzen, um ihre Rechte zu vertreten?

Eine stilisierte Illustration mit einem großen „X“ in einer minimalistischen Schriftart, mit einem trockenen Zweig und verblichenen Blättern auf der einen Seite und einem leuchtend blauen Vogel im Flug auf der anderen Seite. Das Bild symbolisiert einen Übergangsprozess, wobei der Vogel das frühere Twitter-Logo darstellt und das „X“ das Rebranding der Plattform und Änderungen im Regelwerk von X symbolisiert.

Zwei Jahre nach der Übernahme: Vier zentrale Änderungen im Regelwerk von X unter Musk

Der Artikel beschreibt vier zentrale Änderungen im Regelwerk der Plattform X seit Musks Übernahme 2022 und deren Einfluss auf die Moderation von Inhalten.