Skip to content
Richterhammer mit Glitcheffekt als Symbolbild für Roboterrichter

“Robot judges” without training?

25 September 2019| doi: 10.5281/zenodo.3484550

Discussing the implementation of automated decision making systems as savior of overburdened legal decision makers is en vogue. But if employed instead of human decision makers and with rising complexity of legal decision, they face hardly resolvable structural problems and barriers. Dr. Stephan Dreyer and Johannes Schmees explain this by reference to four technical and legal challenges. By that, a differentiated perspective is sought to be established in the emerging discourse with an eye on technical and legal realities. 

Die Diskussion über den Einsatz von automatisierten Entscheidungssystemen in Justizsystemen bis hin zu autonomen, menschliche Entscheider ersetzenden Systemen hat begonnen. Die Automatisierung rechtlicher Entscheidungen soll hier vor allem durch Systeme maschinellen Lernens erfolgen, die durch das Trainieren auf größeren Mengen von Dokumenten mit bestehender Spruchpraxis Entscheidungsmuster erkennen und richtige Entscheidungen „lernen“, etwa durch das Auffinden von Mustern oder Korrelationen zwischen Sachverhaltsaspekten und späteren Entscheidungsergebnissen. Das trainierte System soll nach der Lernphase dann auf unbekannte Fälle angewandt werden und anhand der trainierten Muster autonom entscheiden. Dieser Ansatz bringt mit steigender Komplexität rechtlicher Entscheidungen kaum lösbare strukturelle Probleme mit sich und stößt an absolute Machbarkeitsgrenzen. 

Erstes Problem: Geringe Trainingsdatenmengen

Für Systeme maschinellen Lernens zwingend notwendig ist die Verfügbarkeit von repräsentativen, validen, die Wirklichkeit abbildenden Trainingsdaten. Dies steuert und begrenzt die mögliche Komplexität des durch maschinelles Lernen entstehenden Modells. Für lernende Systeme, die automatisiert rechtliche Entscheidungen treffen sollen, kommen hierfür auf behördlicher Ebene nur Begründungen zu erlassenen Verwaltungsakten, auf gerichtlicher Ebene nur rechtswirksame Urteile in Betracht. Jedenfalls letztere sind nicht flächendeckend elektronisch und interoperabel verfügbar. Zudem sind aufgrund der in Art. 97 GG verankerten Unabhängigkeit die jeweils entscheidenden Richter dazu befugt, eigene Wertungen zuzulassen und eigene Rechtsprechung zu ändern, was die Vergleichbarkeit der potenziellen Trainingsdaten weiter schmälert. Auch würde jede Rechts- und vor allem höchstrichterliche Rechtsprechungsänderung die nutzbare Trainingsdatenmenge reduzieren. Für ein funktionales lernendes System ist der Korpus der verfügbaren Trainingsdaten zu gering.

Zweites Problem: Maschinelles Lernen bei nicht standardisierten Datensätzen

Selbst bei quantitativ ausreichenden Datensätzen kommt es auch auf deren Qualität an. Lernenden Systemen steht im Weg, dass behördliche und gerichtliche textliche Entscheidungen keiner hinreichend strukturierten Form folgen. Vielmehr sind Sachverhaltsdarstellung, argumentative Entscheidungsherleitung und -begründung für unterschiedliche Semantiken, Argumentationsmethoden und Schwerpunktsetzung durch den (menschlichen) Entscheider offen. Diese Unterschiede zwischen einzelfallbezogenen Entscheidungen sowie die nicht hinreichend formale Strukturierung steht der Mustererkennung durch lernende automatisierte Entscheidungssysteme entgegen. Eine Unterscheidung zwischen entscheidungsrelevanten und unwesentlichen Daten würde so erheblich erschwert. 

Drittes Problem: Abwägungen als schwer formalisierbare soziale Praxis

Behörden und Gerichte müssen bei der Entscheidungsfindung regelmäßig im Wege praktischer Konkordanz die betroffenen Rechtsgüter einzelner oder mehrerer Betroffener abwägen. Diese sollen zu relativ optimaler Geltung kommen, und Einzelaspekte gilt es in Bezug zu unterschiedlichen Rechtspositionen in unterschiedlichen Kontexten verschieden zu bewerten. Dabei bestehende Wertungsspielräume wie Beurteilungs- und Ermessensspielräume eröffnen einen Nexus mehrerer „richtiger“ Entscheidungen. Bei rechtlichem Entscheiden als soziale Praxis rückt mit den gewährten Entscheidungsspielräumen die Rationalität des Entscheidungsverfahrens in den Fokus. Wird aber ein System mit begrenzt einsehbarer Entscheidungsherleitung eingesetzt, so wird ausgerechnet dieser Aspekt der Entscheidung dem Kontrollblick entzogen. Die Abhängigkeit rechtlichen Entscheidens von unterschiedlichen sozialen Kontexten, wie schon die klassische Subsumtion eines konkreten Sachverhaltes unter abstrakte, unbestimmte Normen, stellt hohe Anforderungen an die Komplexität der lernenden Systeme und damit an die Größe der Trainingsdatensätze (von denen es zu wenige gibt, s. oben).

Viertes Problem: Verschiebung von Einflusspotenzialen in Richtung der Input-Akteure

Nicht nur zu Programmierern, auch zugunsten derjenigen Akteure, die den datenbasierten Input für die einzusetzenden Algorithmen erstellen oder vorbereiten, verschieben sich die entscheidungsbezogenen Machtpotenziale. Die Erstellung der Ursprungsdatensätze, ihrer Vorauswahl und ihrer Bereinigung beeinflusst das Ergebnis des maschinellen Lernens und spätere automatisierte Entscheidungsprozesse unter Umständen erheblich. Rechtsstaatlich bedenklich ist dies beispielsweise, wenn Polizeibeamte als Teil der Exekutive eine algorithmisch getroffene Entscheidung für die Judikative durch die Datenerstellung oder Datenauswahl faktisch prädeterminieren. Zudem skalieren die Fehlerfolgen- und Missbrauchspotenziale durch den flächendeckenden Einsatz – eine weitere rechtliche Problematik für automatisierte Entscheidungssysteme.

Fazit

Neben den spannenden Diskussionen darüber, welche materiellen Anforderungen an eine „KI“ für rechtliche Entscheidungen zu stellen sind, gilt es zuvor, zu beantworten, ob der Einsatz solcher lernenden Systeme zur verlässlichen Entscheidungsfindung überhaupt geeignet sind. Der Beitrag zeigt, dass der Machbarkeit ganz grundsätzliche faktische, technische und (entscheidungs-)strukturelle Bedenken entgegenstehen. Diese Hürden stehen dem derzeitigen Hype (noch) im Wege, bieten aber die Chance, die Diskussion auf eine unaufgeregt sachbezogene, objektive Ebene zu verlagern. 


Dr. Stephan Dreyer is Senior Researcher, Johannes Schmees is Junior Researcher at the Leibniz-Institute for Media Research | Hans-Bredow-Institut. This entry is based on a forthcoming and extensive article which came to being in the context of the interdisciplinary research project “Deciding about, by and together with ADM-Systems.”

This post represents the view of the author and does not necessarily represent the view of the institute itself. For more information about the topics of these articles and associated research projects, please contact info@hiig.de.

Lukas Fox

Ehem. Studentischer Mitarbeiter: Webredaktion

Sign up for HIIG's Monthly Digest

and receive our latest blog articles.

Man sieht in Leuchtschrift das Wort "Ethical"

Digital Ethics

Whether civil society, politics or science – everyone seems to agree that the New Twenties will be characterised by digitalisation. But what about the tension of digital ethics? How do we create a digital transformation involving society as a whole, including people who either do not have the financial means or the necessary know-how to benefit from digitalisation?  And what do these comprehensive changes in our actions mean for democracy? In this dossier we want to address these questions and offer food for thought on how we can use digitalisation for the common good.

Discover all 11 articles

Further articles

Image shows a visualized human brain with blue light effects

AI as a flying blue brain? How metaphors influence our visions about AI

Why is Artificial Intelligence so commonly depicted as a machine with a human brain? This article shows why one misleading metaphor became so prevalent.

Person in wheelchair taking photos outside

Exploiting potentials: Teaching AI Systems to See Accessibility Barriers

Barriers in our physical environment are still widespread. While AI systems could eventually support detecting them, it first needs open training data. Here we provide a dataset for detecting steps...

You can see a group of people from above doing lessons online. It symoblises digital teaching/digitale Lehre.

Sharing knowledge: Impact of Covid-19 on digital teaching

How can we address the many inequalities in access to digital resources and lack of digital skills that were revealed by the COVID-19 pandemic?