Algorithmen unter Beobachtung: KI-Observatorien als demokratische Infrastruktur

KI-Systeme entscheiden heute darüber, wer einen Kredit erhält, welche Bewerber*innen zu Vorstellungsgesprächen eingeladen werden und welche Informationen Milliarden von Menschen online sehen. Dennoch haben die meisten Bürger*innen – und selbst die meisten politischen Entscheidungsträger*innen – kaum Einblick in die Funktionsweise dieser folgenreichen Entscheidungsprozesse. KI-Observatorien sind eine mögliche Lösung: Als unabhängige Institutionen beobachten sie KI-Systeme, bewerten ihre gesellschaftlichen Auswirkungen und machen diese Erkenntnisse zur Grundlage demokratischer Governance. Sie fragen nicht nur: „Funktioniert dieser Algorithmus?”, sondern auch: „Für wen funktioniert er? Wer profitiert? Wer wird geschädigt?”. Dieser Artikel untersucht, warum KI-Observatorien von Bedeutung sind und wodurch sie sich von anderen bestehenden Governance-Mechanismen unterscheiden.

Was sind KI-Observatorien?

Stellen Sie sich ein Gesundheitsobservatorium für Algorithmen vor. So wie Epidemiolog*innen Krankheitsausbrüche verfolgen, um die Gesundheit der Bevölkerung zu schützen, überwachen KI-Observatorien algorithmische Systeme, um demokratische Werte und Menschenrechte zu wahren. Es handelt sich um unabhängige Institutionen, die aus mehreren Interessengruppen bestehen – typischerweise aus Forschenden, zivilgesellschaftlichen Organisationen, politischen Entscheidungsträger*innen und betroffenen Gemeinschaften.  KI-Observatorien beobachten, dokumentieren und bewerten die realen Wirkungen von KI-Systemen systematisch. Damit erfüllen sie mehrere zentrale Funktionen:

• Monitoring und Kartierung: Sie identifizieren, wo KI-Systeme eingesetzt werden, von wem und zu welchem Zweck. Damit schaffen sie ein öffentliches Verzeichnis, das von Regierungen und Unternehmen oft nicht bereitgestellt wird.
• Impact Assessment: Sie bewerten, wie KI-Systeme verschiedene Bevölkerungsgruppen betreffen, mit besonderem Augenmerk auf verletzliche Gruppen und strukturelle Ungleichheiten.
• Wissensproduktion: Sie erzeugen unabhängige, evidenzbasierte Forschung, die sowohl unternehmerischen Narrativen als auch regulatorischen blinden Flecken entgegenwirkt.
• Öffentliches Engagement: Sie übersetzen technische Erkenntnisse für unterschiedliche Zielgruppen – von politischen Entscheidungsträger:innen bis hin zu betroffenen Gemeinschaften –, um informierte demokratische Debatten zu fördern.
• Epistemische Gerechtigkeit: Indem sie verschiedene Wissensformen einbeziehen – etwa Stimmen aus dem Globalen Süden und indigene Wissensformen –, stellen sie dem Monopol techno-solutionistischer Deutungsrahmen etwas entgegen.

KI-Observatorien in der Praxis: Eine globale Bestandsaufnahme

KI-Observatorien sind weltweit in unterschiedlichen institutionellen Kontexten entstanden. So verfolgt das OECD.AI Policy Observatory KI-Politiken und nationale Strategien in 69 Ländern und dient als Referenzpunkt für vergleichende Governance. Das „AI Watch” der Europäischen Kommission beobachtet Marktentwicklungen, technologische Kapazitäten und politische Umsetzungen in der EU und informiert über die Weiterentwicklung des AI Acts. Das International Research Centre on Artificial Intelligence (IRCAI) der UNESCO mit Sitz in Slowenien konzentriert sich auf KI für nachhaltige Entwicklung und vernetzt Forschungsgemeinschaften auf allen Kontinenten. Die Global Partnership on AI (GPAI), die von den G7 ins Leben gerufen wurde, vereint 29 Mitgliedsstaaten in thematischen Arbeitsgruppen, um eine verantwortungsvolle KI-Entwicklung zu unterstützen.

Regionale und nationale Observatorien bieten weitere Modelle. Das Observatoire international sur les impacts sociétaux de l’IA et du numérique (OBVIA) in Kanada steht beispielhaft für eine universitätsgeleitete, institutionenübergreifende Zusammenarbeit zur Bewertung gesellschaftlicher Auswirkungen. Das 2024 im Rahmen des Brasilianischen KI-Plans (2024–2028) ins Leben gerufene AI Observatory (OBIA) priorisiert ausdrücklich epistemische Vielfalt und internationale Süd-Süd-Kooperation.

Warum KI-Observatorien wichtig sind

KI-Systeme werden immer häufiger in sensiblen sozialen Bereichen eingesetzt, ohne demokratisch legitimiert zu sein. Drei exemplarische Fälle zeigen, warum das problematisch sein kann:

Fall 1: algorithmische Sozialleistungsvergabe

In mehreren europäischen Ländern entscheiden algorithmische Systeme inzwischen über den Bezug von Sozialleistungen. Als die niederländische Regierung das System SyRI (System Risk Indication) zur Aufdeckung von Sozialhilfemissbrauch einsetzte, wurden einkommensschwache Stadtteile und migrantische Gemeinschaften überproportional häufig ins Visier genommen. Ein Gericht erklärte das System schließlich für menschenrechtswidrig – allerdings erst nach jahrelanger folgenreicher Diskriminierung. (Office of the United Nations High Commissioner for Human Rights 2020) Ein KI-Observatorium hätte diese Ungleichbehandlung früher identifizieren, ihre Muster dokumentieren und die Betroffenen mit Belegen handlungsfähiger machen können.

Fall 2: Einstellungsalgorithmen und strukturelle Diskriminierung

Große Unternehmen setzen inzwischen KI zur Vorselektion von Bewerbungen ein, ohne die Bewertungskriterien transparent zu machen. Berichte von Upturn und anderen Organisationen haben gezeigt, dass diese Systeme Frauen, ethnische Minderheiten und Menschen mit Behinderungen systematisch benachteiligen (Bogen & Rieke 2018), da KI-Systeme aus historischen Daten lernen und so verzerrte Einstellungsmuster reproduzieren können. (Mosene 2024) Observatorien können solche Systeme unabhängig prüfen, Ergebnisse veröffentlichen und Rechenschaft einfordern, was Einzelbeschwerden nicht leisten können.

Fall 3: Kreditwürdigkeitsprüfung und algorithmisches Redlining

Fintech-Unternehmen nutzen zunehmend alternative Daten wie Social-Media-Aktivitäten oder das Online-Verhalten zur Bonitätsbewertung. Studien deuten darauf hin, dass diese Systeme historische Muster des Redlinings reproduzieren und Angehörigen Schwarzer Gemeinschaften Kredite verweigern, selbst wenn vergleichbare Bonitätswerte vorliegen. (Bartlett et al. 2022) Ohne systematische Beobachtung operiert diese neue Form algorithmischer Diskriminierung unsichtbar. Observatorien machen sie lesbar und damit anfechtbar.

In all diesen Fällen liegt das Problem nicht nur in einem technischen Versagen, sondern auch in einem demokratischen Defizit: Entscheidungen, die das Leben von Menschen tiefgreifend beeinflussen, werden von proprietären, intransparenten und unkontrollierbaren Systemen getroffen. Herkömmliche Governance-Mechanismen erweisen sich als unzulänglich: Regulierungsbehörden fehlt es oft an technischer Kompetenz, Gerichte behandeln Einzelfälle, übersehen dabei jedoch systemische Muster und die unternehmerische Selbstregulierung dient erwartungsgemäß den eigenen Interessen.

Informationsasymmetrie gleich Machtasymmetrie

Diese Governance-Lücke spiegelt ein tiefer liegendes Strukturproblem wider: die Informationsasymmetrie. Wie Antoinette Rouvroy und Thomas Berns in ihrer Arbeit zur „algorithmischen Gouvernementalität” darlegen, leben wir in einer Ära, in der Governance durch datengesteuerte Prognosen und Verhaltensmodulation statt durch explizite politische Debatten funktioniert. (Rouvroy & Berns 2013) Big-Tech-Konzerne monopolisieren nicht nur die Algorithmen, sondern auch die Daten, die Infrastruktur und das Fachwissen, das zu ihrem Verständnis erforderlich ist.

Jüngste Berichte unterstreichen dieses Ungleichgewicht. Der MIT Sloan Management Review-Bericht The Emerging Agentic Enterprise (2025) zeigt, dass agentische KI in einem Tempo eingesetzt wird, das die Entwicklung entsprechender Governance-Strukturen deutlich übersteigt. (Ransbotham et al. 2025) Der Artificial Power Landscape Report 2025 des AI Now Institute dokumentiert darüber hinaus, dass externe Audits – soweit sie überhaupt stattfinden – in der Regel von den geprüften Unternehmen selbst in Auftrag gegeben und kontrolliert werden, was die beanspruchte Unabhängigkeit strukturell untergräbt. (Brennan et al. 2025)

Am ausgeprägtesten ist diese Asymmetrie im Globalen Süden, wo Bevölkerungen zu Orten der Datenextraktion werden, ohne dass ihnen Mitspracherecht zugesprochen oder Nutzen zuteil wird. Nick Couldry und Ulises Mejía bezeichnen diese Dynamik als „Datenkolonialismus” – die Fortsetzung historischer Muster der Ressourcenaneignung durch neue technologische Mittel. (Couldry & Mejías 2019) KI-Systeme, die auf Bevölkerungen des Globalen Südens trainiert werden, werden von Institutionen des Globalen Nordens reguliert, mit minimaler Rechenschaftspflicht gegenüber den betroffenen Gemeinschaften. KI-Observatorien stellen eine partielle Abhilfe dar: Sie bauen technische Kapazitäten im öffentlichen Interesse auf, erzeugen unabhängige Erkenntnisse und schaffen Foren, in denen diese Asymmetrie zumindest teilweise herausgefordert werden kann.

Ein anderes Governance-Modell

Um den Beitrag von KI-Observatorien zu verstehen, ist es hilfreich, zunächst zu klären, was sie nicht sind und welche Alternativen sie zu bestehenden Governance-Mechanismen bieten.

Observatorien vs. Regulierungsbehörden

Regulierungsbehörden wie die europäischen Datenschutzbehörden haben zwar Durchsetzungsbefugnisse, sind aber oft unterfinanziert, politisch gebunden und handeln meist erst dann, wenn Schäden bereits eingetreten sind. Observatorien haben keine rechtliche Autorität, dafür aber mehr Unabhängigkeit und die Fähigkeit, Probleme frühzeitig zu erkennen. Sie funktionieren gewissermaßen als die „Augen“ demokratischer Governance. Sie identifizieren, was Regulierungsbehörden dann angehen können.

Observatorien vs. Unternehmensaudits

Unternehmen beauftragen zunehmend Audits, um Regelkonformität nachzuweisen. Wie Meredith Whittaker vom AI Now Institute argumentiert, sind solche Audits jedoch typischerweise darauf ausgelegt, Haftungsrisiken zu minimieren, nicht echte Rechenschaft herzustellen. (Whittaker et al. 2018) Observatorien hingegen sind dem öffentlichen Interesse verpflichtet. Ihre Ergebnisse können nicht unterdrückt oder selektiv veröffentlicht werden.

Observatorien vs. akademische Forschung

Universitäten produzieren wichtige KI-Forschung, doch akademische Anreize folgen oft anderen Logiken als politische Dringlichkeit. Observatorien überbrücken diese Lücke: Sie übersetzen Forschungsergebnisse in Formate, die für politische Entscheidungsträger*innen, Journalist*innen und die Zivilgesellschaft nutzbar sind.

Observatorien vs. zivilgesellschaftliche Akteure

Advocacy-Organisationen wie Access Now, die Algorithmic Justice League und die Digital Rights Foundation leisten unverzichtbare Arbeit, um Macht zur Rechenschaft zu ziehen. KI-Observatorien ergänzen diese Arbeit, indem sie die empirische Infrastruktur in Form von Daten, Analysen und Längsschnittstudien bereitstellen, die Kampagnen glaubwürdig und nachhaltig macht.

Epistemische und kognitive Gerechtigkeit

Einer der wichtigsten, aber häufig übersehenen Beiträge von KI-Observatorien ist epistemischer Natur: Sie erweitern den Kreis derer, die Wissen über künstliche Intelligenz produzieren, interpretieren und hinterfragen können.

Der derzeit vorherrschende KI-Diskurs ist stark techno-solutionistisch geprägt. Er stellt algorithmische Systeme als unvermeidlich, neutral und per Voreinstellung vorteilhaft dar. Diese Rahmung verschleiert Machtverhältnisse, verschließt Alternativen und marginalisiert abweichende Stimmen, insbesondere jene aus den Gemeinschaften, die am stärksten von KI-Schäden betroffen sind.

KI-Observatorien schaffen Raum für epistemische Vielfalt. Indem sie kritische Perspektiven wie feministische Technowissenschaft, dekoloniale Theorie, Disability Justice oder Environmental Humanities einbeziehen, stellen sie enge Vorstellungen davon in Frage, was als „Expertise” gilt. Durch die Auseinandersetzung mit lokalen und indigenen Wissenssystemen erkennen sie an, dass das Verständnis der gesellschaftlichen Auswirkungen von Technologie mehr erfordert als Informatik. Das brasilianische OBIA beispielsweise ist bestrebt, verschiedene Perspektiven in die Bewertung von KI-Auswirkungen zu integrieren. (Indice Latinoamericano de Inteligencia Artificial 2024) Dabei geht es über technokratische Metriken hinaus, um kulturelle, relationale und ökologische Dimensionen zu berücksichtigen. Diese werden in Rahmungen des Globalen Nordens oft ignoriert. Dieses Engagement für epistemische Gerechtigkeit ist nicht nur formaler Natur, sondern verändert auch, welche Fragen gestellt werden, welche Schäden erkannt werden und welche Zukünfte vorstellbar sind.

KI-Observatorien als demokratische Infrastruktur

All das verweist auf mehr als eine funktionale Nische. KI-Observatorien schließen nicht einfach Lücken, die Behörden, Unternehmen oder die Wissenschaft hinterlassen. Sie leisten etwas anderes: Sie sorgen dafür, dass algorithmische Macht sichtbar, anfechtbar und rechenschaftspflichtig bleibt. Darin liegt ihre Bedeutung als demokratische Infrastruktur. Wie Gerichte, freie Presse oder öffentlich-rechtliche Medien liegt ihr Wert nicht in einzelnen Befunden, sondern in dem, was sie erst möglich machen: informierte Öffentlichkeit, politische Rechenschaft und die Fähigkeit der Bürger*innen, an Entscheidungen teilzuhaben, die ihr Leben unmittelbar betreffen.

Dieses Potenzial entfaltet sich jedoch nicht von selbst. Inklusion bleibt folgenlos, wenn Machtungleichgewichte unberührt bleiben. Observatorien können Ungleichheiten reproduzieren, etwa wenn sie rassistische Diskriminierung in Algorithmen benennen, aber keine Wege zur Wiedergutmachung aufzeigen. Echte epistemische Gerechtigkeit erfordert nicht nur vielfältige Stimmen, sondern eine Umverteilung von Macht – und das können Observatorien allein nicht leisten. Ob sie tatsächlich als demokratische Infrastruktur wirken, hängt davon ab, wie sie konzipiert, finanziert und kontrolliert werden.

Die Herauforderung

KI-Observatorien sind deshalb kein Allheilmittel. Sie sehen sich mit erheblichen Herausforderungen konfrontiert:

• Vereinnahmungsrisiken: Die Abhängigkeit von staatlicher oder unternehmerischer Finanzierung kann Druck erzeugen, Kritik abzumildern. Der Drehtür-Effekt zwischen Industrie und Governance-Institutionen bedroht die Unabhängigkeit. In Mehrstakeholder-Modellen können Machtungleichgewichte reproduziert werden, wenn Unternehmensakteure dominieren.
• Ressourcenknappheit: Effektives Monitoring erfordert erhebliche technische Kapazitäten, Datenzugang und eine nachhaltige Finanzierung. Viele Observatorien arbeiten mit prekären Budgets, was den Umfang und die Beständigkeit einschränkt.
• Legitimitätsfragen: Im Gegensatz zu gewählten Regulierungsbehörden besitzen Observatorien kein direktes demokratisches Mandat. Ihre Autorität gründet auf Fachkompetenz und Transparenz, was jedoch als technokratisch oder elitär angefochten werden kann.
• Begrenzte Wirkung: Ohne regulatorische Befugnisse sind Observatorien auf „Soft Power” angewiesen, beispielsweise auf die Benennung und Beschämung von Akteuren, das Agenda-Setting oder die Bereitstellung von Belegen. Wenn Institutionen ihre Erkenntnisse jedoch ignorieren, ist die Wirkung begrenzt.
• Geopolitische Ungleichgewichte: Die meisten gut ausgestatteten Observatorien haben ihren Sitz im Globalen Norden und reproduzieren damit möglicherweise epistemische Hierarchien, auch wenn sie diese zu überwinden beanspruchen.

Um diese Herausforderungen zu bewältigen, sind institutionelle Designentscheidungen erforderlich: transparente Governance-Strukturen, vielfältige Finanzierungsquellen, explizite Prinzipien für den Mehrstakeholder-Ausgleich, vom Globalen Süden geleitete und auf ihn ausgerichtete Initiativen sowie klare Wege, die die Erkenntnisse von Observatorien mit regulatorischem Handeln verbinden.

Was politische Entscheidungsträger tun müssen

Damit KI-Observatorien ihr demokratisches Potenzial entfalten können, müssen politische Entscheidungsträger:

• in echte Unabhängigkeit investieren: Observatorien über Arm’s-Length-Mechanismen finanzieren, die sie vor politischem und kommerziellem Druck schützen. Entsprechende Modelle existieren: Beispiele sind Forschungsräte, unabhängige Kommissionen und Mehrgeber-Fonds.
• Datenzugang vorschreiben: KI-Entwickler und -Betreiber müssen verpflichtet werden, den Observatorien die für eine sinnvolle Aufsicht erforderlichen Daten und Dokumentationen bereitzustellen – selbstverständlich unter Einhaltung angemessener Datenschutzvorkehrungen.
• Erkenntnisse in die Regulierung einbinden: Es müssen formale Kanäle geschaffen werden, die die Observatoriumsforschung mit der Politikgestaltung verknüpfen. Dazu gehören Anforderungen für Expertenzeugenaussagen, verpflichtende Konsultationen und eine parlamentarische Prüfung.
• Vom Globalen Süden geleitete Initiativen unterstützen: Die Finanzierung und den Kapazitätsaufbau von Observatorien im Globalen Süden priorisieren, um sicherzustellen, dass die Governance diejenigen widerspiegelt, die am stärksten von Datenkolonialismus und algorithmischen Schäden betroffen sind.
• Transnationale Kooperation fördern: Da KI-Systeme Grenzen überqueren, muss es die Governance ebenfalls tun. Observatorien sollten Netzwerke bilden, die gemeinsames Lernen und koordinierte Antworten auf globale Plattformen ermöglichen.

Vor allem müssen politische Entscheidungsträger:innen erkennen, dass Observatorien keine Regulierung ersetzen, sondern ergänzen. Sie sind demokratische Infrastruktur, die wirksame Regulierung erst möglich macht.

Ausblick: Den Raum für demokratische Entscheidung bewahren

Wie Hannah Arendt bemerkte, beseitigt technologische Beschleunigung nicht die Notwendigkeit des Urteilens – sie verstärkt sie. (Arendt 1971) Die entscheidende Frage ist daher nicht, ob KI-Systeme weiter an Bedeutung gewinnen. Das werden sie. Die Frage ist, wer darüber entscheidet, wie sie eingesetzt werden und wer von ihnen profitiert.

KI-Observatorien halten diesen Entscheidungsraum offen. Sie stehen für die Überzeugung, dass algorithmische Macht nicht im Verborgenen wirken darf, sondern sichtbar, anfechtbar und rechenschaftspflichtig sein muss. Wer die Demokratie im digitalen Zeitalter für verteidigungswürdig hält, kommt an Institutionen, die das gewährleisten, nicht vorbei. KI-Observatorien als demokratische Infrastruktur sind solche Institutionen – unvollkommen und noch im Werden, aber unverzichtbar. Die Zukunft der Künstlichen Intelligenz muss eine gesellschaftliche Entscheidung bleiben. KI-Observatorien können dabei helfen, genau das sicherzustellen.

Referenzen

Arendt, H. (1971). Thinking and Moral Considerations. Social Research, 38(3), 417–446.

Bartlett, R., Morse, A., Stanton, R., & Wallace, N. (2022). Consumer-lending discrimination in the FinTech era. Journal of Financial Economics, 143(1), 30–56.

Brennan, K., Kak, A., & Myers West, S. (2025). Artificial power: AI Now 2025 landscape report. AI Now Institute. https://ainowinstitute.org/publications/research/ai-now-2025-landscape-report

Bogen, M. & Rieke, A. (2018). Help Wanted: An Examination of Hiring Algorithms, Equity, and Bias. Upturn. https://www.upturn.org/static/reports/2018/hiring-algorithms/files/Upturn%20–%20Help%20Wanted%20-%20An%20Exploration%20of%20Hiring%20Algorithms,%20Equity%20and%20Bias.pdf 

Couldry, N., & Mejías, U. A. (2019). The Costs of Connection: How Data Is Colonizing Human Life and Appropriating It for Capitalism. Stanford University Press.

Crawford, K. (2021). Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press.

Floridi, L. (2013). The Ethics of Information. Oxford University Press.

Floridi, L. (2014). The Fourth Revolution: How the Infosphere Is Reshaping Human Reality. Oxford University Press.

Índice Latinoamericano de Inteligencia Artificial (2024). OBIA, the Brazilian AI Observatory. https://indicelatam.cl/obia-the-brazilian-ai-observatory/

Ransbotham, S., Kiron, D., Khodabandeh, S., Iyer, S., & Das, A. (2025). The emerging agentic enterprise: How leaders must navigate a new age of AI. MIT Sloan Management Review & Boston Consulting Group. https://sloanreview.mit.edu/projects/the-emerging-agentic-enterprise-how-leaders-must-navigate-a-new-age-of-ai/

Rouvroy, A., & Berns, T. (2013). Algorithmic Governmentality and Prospects of Emancipation: Disparateness as a Precondition for Individuation through Relationships?. Réseaux, 177(1), 163–196.

United Nations Office of the High Commissioner for Human Rights. (2020, February 5). Landmark ruling by Dutch court stops government attempts to spy on the poor – UN expert. https://www.ohchr.org/en/press-releases/2020/02/landmark-ruling-dutch-court-stops-government-attempts-spy-poor-un-expert

Whittaker, M., et al. (2018). AI Now Report 2018. AI Now Institute, New York University.