Zum Inhalt springen
A gavel with glitch effect as symbol picture for robot judge
25 September 2019| doi: 10.5281/zenodo.3484550

„Robo-Richter“ ohne Training?

Über automatisierte Entscheidungssysteme als Heilsbringer überlasteter Entscheider im Recht zu diskutieren, ist en vogue. Warum deren Einsatz mit steigender Komplexität rechtlicher Entscheidungen kaum lösbare strukturelle Probleme mit sich bringt und an Grenzen stößt, erklären Stephan Dreyer und Johannes Schmees anhand von vier technischen und rechtlichen Herausforderungen. Hierdurch soll dem aufkommenden Diskurs eine differenzierende, an den technischen und rechtlichen Realitäten orientierte Perspektive gegeben werden.

Die Diskussion über den Einsatz von automatisierten Entscheidungssystemen in Justizsystemen bis hin zu autonomen, menschliche Entscheider ersetzenden Systemen hat begonnen. Die Automatisierung rechtlicher Entscheidungen soll hier vor allem durch Systeme maschinellen Lernens erfolgen, die durch das Trainieren auf größeren Mengen von Dokumenten mit bestehender Spruchpraxis Entscheidungsmuster erkennen und richtige Entscheidungen „lernen“, etwa durch das Auffinden von Mustern oder Korrelationen zwischen Sachverhaltsaspekten und späteren Entscheidungsergebnissen. Das trainierte System soll nach der Lernphase dann auf unbekannte Fälle angewandt werden und anhand der trainierten Muster autonom entscheiden. Dieser Ansatz bringt mit steigender Komplexität rechtlicher Entscheidungen kaum lösbare strukturelle Probleme mit sich und stößt an absolute Machbarkeitsgrenzen. 

Erstes Problem: Geringe Trainingsdatenmengen

Für Systeme maschinellen Lernens zwingend notwendig ist die Verfügbarkeit von repräsentativen, validen, die Wirklichkeit abbildenden Trainingsdaten. Dies steuert und begrenzt die mögliche Komplexität des durch maschinelles Lernen entstehenden Modells. Für lernende Systeme, die automatisiert rechtliche Entscheidungen treffen sollen, kommen hierfür auf behördlicher Ebene nur Begründungen zu erlassenen Verwaltungsakten, auf gerichtlicher Ebene nur rechtswirksame Urteile in Betracht. Jedenfalls letztere sind nicht flächendeckend elektronisch und interoperabel verfügbar. Zudem sind aufgrund der in Art. 97 GG verankerten Unabhängigkeit die jeweils entscheidenden Richter dazu befugt, eigene Wertungen zuzulassen und eigene Rechtsprechung zu ändern, was die Vergleichbarkeit der potenziellen Trainingsdaten weiter schmälert. Auch würde jede Rechts- und vor allem höchstrichterliche Rechtsprechungsänderung die nutzbare Trainingsdatenmenge reduzieren. Für ein funktionales lernendes System ist der Korpus der verfügbaren Trainingsdaten zu gering.

Zweites Problem: Maschinelles Lernen bei nicht standardisierten Datensätzen

Selbst bei quantitativ ausreichenden Datensätzen kommt es auch auf deren Qualität an. Lernenden Systemen steht im Weg, dass behördliche und gerichtliche textliche Entscheidungen keiner hinreichend strukturierten Form folgen. Vielmehr sind Sachverhaltsdarstellung, argumentative Entscheidungsherleitung und -begründung für unterschiedliche Semantiken, Argumentationsmethoden und Schwerpunktsetzung durch den (menschlichen) Entscheider offen. Diese Unterschiede zwischen einzelfallbezogenen Entscheidungen sowie die nicht hinreichend formale Strukturierung steht der Mustererkennung durch lernende automatisierte Entscheidungssysteme entgegen. Eine Unterscheidung zwischen entscheidungsrelevanten und unwesentlichen Daten würde so erheblich erschwert. 

Drittes Problem: Abwägungen als schwer formalisierbare soziale Praxis

Behörden und Gerichte müssen bei der Entscheidungsfindung regelmäßig im Wege praktischer Konkordanz die betroffenen Rechtsgüter einzelner oder mehrerer Betroffener abwägen. Diese sollen zu relativ optimaler Geltung kommen, und Einzelaspekte gilt es in Bezug zu unterschiedlichen Rechtspositionen in unterschiedlichen Kontexten verschieden zu bewerten. Dabei bestehende Wertungsspielräume wie Beurteilungs- und Ermessensspielräume eröffnen einen Nexus mehrerer „richtiger“ Entscheidungen. Bei rechtlichem Entscheiden als soziale Praxis rückt mit den gewährten Entscheidungsspielräumen die Rationalität des Entscheidungsverfahrens in den Fokus. Wird aber ein System mit begrenzt einsehbarer Entscheidungsherleitung eingesetzt, so wird ausgerechnet dieser Aspekt der Entscheidung dem Kontrollblick entzogen. Die Abhängigkeit rechtlichen Entscheidens von unterschiedlichen sozialen Kontexten, wie schon die klassische Subsumtion eines konkreten Sachverhaltes unter abstrakte, unbestimmte Normen, stellt hohe Anforderungen an die Komplexität der lernenden Systeme und damit an die Größe der Trainingsdatensätze (von denen es zu wenige gibt, s. oben).

Viertes Problem: Verschiebung von Einflusspotenzialen in Richtung der Input-Akteure

Nicht nur zu Programmierern, auch zugunsten derjenigen Akteure, die den datenbasierten Input für die einzusetzenden Algorithmen erstellen oder vorbereiten, verschieben sich die entscheidungsbezogenen Machtpotenziale. Die Erstellung der Ursprungsdatensätze, ihrer Vorauswahl und ihrer Bereinigung beeinflusst das Ergebnis des maschinellen Lernens und spätere automatisierte Entscheidungsprozesse unter Umständen erheblich. Rechtsstaatlich bedenklich ist dies beispielsweise, wenn Polizeibeamte als Teil der Exekutive eine algorithmisch getroffene Entscheidung für die Judikative durch die Datenerstellung oder Datenauswahl faktisch prädeterminieren. Zudem skalieren die Fehlerfolgen- und Missbrauchspotenziale durch den flächendeckenden Einsatz – eine weitere rechtliche Problematik für automatisierte Entscheidungssysteme.

Fazit

Neben den spannenden Diskussionen darüber, welche materiellen Anforderungen an eine „KI“ für rechtliche Entscheidungen zu stellen sind, gilt es zuvor, zu beantworten, ob der Einsatz solcher lernenden Systeme zur verlässlichen Entscheidungsfindung überhaupt geeignet sind. Der Beitrag zeigt, dass der Machbarkeit ganz grundsätzliche faktische, technische und (entscheidungs-)strukturelle Bedenken entgegenstehen. Diese Hürden stehen dem derzeitigen Hype (noch) im Wege, bieten aber die Chance, die Diskussion auf eine unaufgeregt sachbezogene, objektive Ebene zu verlagern. 


Dr. Stephan Dreyer ist Senior Researcher, Johannes Schmees ist Junior Researcher am Leibniz-Institut für Medienforschung| Hans-Bredow-Institut. Dieser Beitrag basiert auf einem im Erscheinen befindlichem, ausführlicheren Beitrag, der im Kontext des interdisziplinären Forschungsprojektes „Entscheiden über, durch und zusammen mit ADM-Systemen“ entstanden ist.

Dieser Beitrag spiegelt die Meinung der Autorinnen und Autoren und weder notwendigerweise noch ausschließlich die Meinung des Institutes wider. Für mehr Informationen zu den Inhalten dieser Beiträge und den assoziierten Forschungsprojekten kontaktieren Sie bitte info@hiig.de

Lukas Fox

Ehem. Studentischer Mitarbeiter: Webredaktion

Forschungsthema im Fokus

Du siehst eine Tastatur auf der eine Taste rot gefärbt ist und auf der „Control“ steht. Eine bildliche Metapher für die Regulierung von digitalen Plattformen im Internet und Data Governance. You see a keyboard on which one key is coloured red and says "Control". A figurative metaphor for the regulation of digital platforms on the internet and data governance.

Plattformregulierung und Data Governance

Von sozialen Netzwerken, über Videoplattformen bis hin zu Messenger-Apps: digitale Plattformen und ihre Dienste prägen unser Alltagsleben.Am HIIG untersuchen wir, wie neue digitale Öffentlichkeiten reguliert werden können. Neben der Sicherung von Rechtsstaatlichkeit und demokratischen Werten in der stehen auch die riesigen Datenmengen im Fokus, die von den Plattformunternehmen verwaltet werden.
Forschungsthema entdecken

HIIG Monthly Digest

Jetzt anmelden und  die neuesten Blogartikel gesammelt per Newsletter erhalten.

Weitere Artikel

Man sieht eine*n Lieferant*in eines Online-Lieferdienst für Essen auf einem Motorroller. Das Bild steht sinnbildlich für die Arbeitenden in der Gig Economy in Kenia. You see a delivery person from an online food delivery service on a scooter. The image is emblematic of the workers in the gig economy in Kenya.

Wege in eine sozial-gerechte Gig Economy in Kenia: Stakeholder Engagement und Regulierungsprozesse

Kenias Gig Economy wächst rasant, die Arbeitsbedingungen sind jedoch oft prekär. Wir haben die Lebensumstände von Gig-Workern untersucht.

Man sieht mehrer Spiegel, die in unterschiedlichen Formen angeordnet sind und verschiedene Oberflächen, wie den Himmel, eine Hauswand und so weiter widerspiegeln. Das Bild steht sinnbildlich für die vielen verschiedenen Bedeutungen von autonomen Systemen in unserer Gesellschaft. You see several mirrors arranged in different shapes reflecting different surfaces, such as the sky, a house wall and so on. The image is emblematic of the many different meanings of autonomous machines in our society.

Im Zeitalter der autonomen Systeme und Maschinen?

Können Maschinen autonom sein – oder ist das ein Privileg des Menschen? Diese kategorische Frage dominiert viele Diskussionen über unser Verhältnis zu den (vermeintlich) intelligenten Maschinen.

remote work is moving towards the city

Arbeiten aus der Ferne? Wie Remote Work in die Städte abwandert

Fernarbeit ermöglicht es uns, von "überall" aus zu arbeiten. Warum also werden ausgerechnet die Städte zu den neuen Mega-Hubs für die digitale Arbeit? Geraten ländliche Regionen ins Hintertreffen?