{"id":62529,"date":"2019-09-25T13:44:32","date_gmt":"2019-09-25T11:44:32","guid":{"rendered":"https:\/\/www.hiig.de\/?p=62529"},"modified":"2023-03-28T17:06:57","modified_gmt":"2023-03-28T15:06:57","slug":"robot-judges-without-training","status":"publish","type":"post","link":"https:\/\/www.hiig.de\/en\/robot-judges-without-training\/","title":{"rendered":"\u201cRobot judges\u201d without training?"},"content":{"rendered":"\n

Discussing the implementation of automated decision making systems as savior of overburdened legal decision makers is en vogue. But if employed instead of human decision makers and with rising complexity of legal decision, they face hardly resolvable structural problems and barriers. Dr. Stephan Dreyer <\/b>and Johannes Schmees<\/b> explain this by reference to four technical and legal challenges. By that, a differentiated perspective is sought to be established in the emerging discourse with an eye on technical and legal realities. <\/em><\/p>\n\n\n\n

Die Diskussion \u00fcber den Einsatz von automatisierten Entscheidungssystemen in Justizsystemen bis hin zu autonomen, menschliche Entscheider ersetzenden Systemen hat begonnen. Die Automatisierung rechtlicher <\/em>Entscheidungen soll hier vor allem durch Systeme maschinellen Lernens erfolgen, die durch das Trainieren auf gr\u00f6\u00dferen Mengen von Dokumenten mit bestehender Spruchpraxis Entscheidungsmuster erkennen und richtige Entscheidungen \u201elernen\u201c, etwa durch das Auffinden von Mustern oder Korrelationen zwischen Sachverhaltsaspekten und sp\u00e4teren Entscheidungsergebnissen. Das trainierte System soll nach der Lernphase dann auf unbekannte F\u00e4lle angewandt werden und anhand der trainierten Muster autonom entscheiden<\/a>. Dieser Ansatz bringt mit steigender Komplexit\u00e4t rechtlicher Entscheidungen kaum l\u00f6sbare strukturelle Probleme mit sich und st\u00f6\u00dft an absolute Machbarkeitsgrenzen. <\/p>\n\n\n\n

Erstes Problem: Geringe Trainingsdatenmengen<\/h2>\n\n\n\n

F\u00fcr Systeme maschinellen Lernens zwingend notwendig ist die Verf\u00fcgbarkeit von repr\u00e4sentativen, validen, die Wirklichkeit abbildenden Trainingsdaten. Dies steuert und begrenzt die m\u00f6gliche Komplexit\u00e4t des durch maschinelles Lernen entstehenden Modells. F\u00fcr lernende Systeme, die automatisiert rechtliche Entscheidungen treffen sollen, kommen hierf\u00fcr auf beh\u00f6rdlicher Ebene nur Begr\u00fcndungen zu erlassenen Verwaltungsakten, auf gerichtlicher Ebene nur rechtswirksame Urteile in Betracht. Jedenfalls letztere sind nicht fl\u00e4chendeckend elektronisch und interoperabel verf\u00fcgbar. Zudem sind aufgrund der in Art. 97 GG verankerten Unabh\u00e4ngigkeit die jeweils entscheidenden Richter dazu befugt, eigene Wertungen zuzulassen und eigene Rechtsprechung zu \u00e4ndern, was die Vergleichbarkeit der potenziellen Trainingsdaten weiter schm\u00e4lert. Auch w\u00fcrde jede Rechts- und vor allem h\u00f6chstrichterliche Rechtsprechungs\u00e4nderung die nutzbare Trainingsdatenmenge reduzieren. F\u00fcr ein funktionales lernendes System ist der Korpus der verf\u00fcgbaren Trainingsdaten zu gering.<\/p>\n\n\n\n

Zweites Problem: Maschinelles Lernen bei nicht standardisierten Datens\u00e4tzen<\/h2>\n\n\n\n

Selbst bei quantitativ ausreichenden Datens\u00e4tzen kommt es auch auf deren Qualit\u00e4t an. Lernenden Systemen steht im Weg, dass beh\u00f6rdliche und gerichtliche textliche Entscheidungen keiner hinreichend strukturierten Form folgen. Vielmehr sind Sachverhaltsdarstellung, argumentative Entscheidungsherleitung und -begr\u00fcndung f\u00fcr unterschiedliche Semantiken, Argumentationsmethoden und Schwerpunktsetzung durch den (menschlichen) Entscheider offen. Diese Unterschiede zwischen einzelfallbezogenen Entscheidungen sowie die nicht hinreichend formale Strukturierung steht der Mustererkennung durch lernende automatisierte Entscheidungssysteme entgegen. Eine Unterscheidung zwischen entscheidungsrelevanten und unwesentlichen Daten w\u00fcrde so erheblich erschwert. <\/p>\n\n\n\n

Drittes Problem: Abw\u00e4gungen als schwer formalisierbare soziale Praxis<\/strong><\/h2>\n\n\n\n

Beh\u00f6rden und Gerichte m\u00fcssen bei der Entscheidungsfindung regelm\u00e4\u00dfig im Wege praktischer Konkordanz die betroffenen Rechtsg\u00fcter einzelner oder mehrerer Betroffener abw\u00e4gen. Diese sollen zu relativ optimaler Geltung kommen, und Einzelaspekte gilt es in Bezug zu unterschiedlichen Rechtspositionen in unterschiedlichen Kontexten verschieden zu bewerten. Dabei bestehende Wertungsspielr\u00e4ume wie Beurteilungs- und Ermessensspielr\u00e4ume er\u00f6ffnen einen Nexus mehrerer \u201erichtiger\u201c Entscheidungen. Bei rechtlichem Entscheiden als soziale Praxis r\u00fcckt mit den gew\u00e4hrten Entscheidungsspielr\u00e4umen die Rationalit\u00e4t des Entscheidungsverfahrens<\/em> in den Fokus. Wird aber ein System mit begrenzt einsehbarer Entscheidungsherleitung eingesetzt, so wird ausgerechnet dieser Aspekt der Entscheidung dem Kontrollblick entzogen. Die Abh\u00e4ngigkeit rechtlichen Entscheidens von unterschiedlichen sozialen Kontexten, wie schon die klassische Subsumtion eines konkreten Sachverhaltes unter abstrakte, unbestimmte Normen, stellt hohe Anforderungen an die Komplexit\u00e4t der lernenden Systeme und damit an die Gr\u00f6\u00dfe der Trainingsdatens\u00e4tze (von denen es zu wenige gibt, s. oben).<\/p>\n\n\n\n

Viertes Problem: Verschiebung von Einflusspotenzialen in Richtung der Input-Akteure<\/h2>\n\n\n\n

Nicht nur zu Programmierern, auch zugunsten derjenigen Akteure, die den datenbasierten Input f\u00fcr die einzusetzenden Algorithmen erstellen oder vorbereiten, verschieben sich die entscheidungsbezogenen Machtpotenziale. Die Erstellung der Ursprungsdatens\u00e4tze, ihrer Vorauswahl und ihrer Bereinigung beeinflusst das Ergebnis des maschinellen Lernens und sp\u00e4tere automatisierte Entscheidungsprozesse unter Umst\u00e4nden erheblich. Rechtsstaatlich bedenklich ist dies beispielsweise, wenn Polizeibeamte als Teil der Exekutive eine algorithmisch getroffene Entscheidung f\u00fcr die Judikative durch die Datenerstellung oder Datenauswahl faktisch pr\u00e4determinieren. Zudem skalieren die Fehlerfolgen- und Missbrauchspotenziale durch den fl\u00e4chendeckenden Einsatz \u2013 eine weitere rechtliche Problematik f\u00fcr automatisierte Entscheidungssysteme.<\/p>\n\n\n\n

Fazit<\/h2>\n\n\n\n

Neben den spannenden Diskussionen dar\u00fcber, welche materiellen Anforderungen an eine \u201eKI\u201c f\u00fcr rechtliche Entscheidungen zu stellen sind, gilt es zuvor, zu beantworten, ob der Einsatz solcher lernenden Systeme zur verl\u00e4sslichen Entscheidungsfindung \u00fcberhaupt geeignet sind. Der Beitrag zeigt, dass der Machbarkeit ganz grunds\u00e4tzliche faktische, technische und (entscheidungs-)strukturelle Bedenken entgegenstehen. Diese H\u00fcrden stehen dem derzeitigen Hype (noch) im Wege, bieten aber die Chance, die Diskussion auf eine unaufgeregt sachbezogene, objektive Ebene zu verlagern. 
<\/p>\n\n\n\n

\n\n\n\n

Dr. Stephan Dreyer<\/strong> is Senior Researcher, Johannes Schmees<\/strong> is Junior Researcher at the Leibniz-Institute for Media Research | Hans-Bredow-Institut. This entry is based on a forthcoming and extensive article which came to being in the context of the interdisciplinary research project \u201cDeciding about, by and together with ADM-Systems.\u201d<\/em><\/p>\n