Rijksuniversiteit Groningen lanceerde eind vorig jaar JURI Says: een applicatie om rechterlijke uitspraken te voorspellen. Het is een van de nieuwe technologieën in de stugge wereld van jurisprudentie. Betekent dit dat we binnenkort in een rechtszaal oog in oog staan met een robotrechter? 

Ze zit in de woonkamer van haar appartement, schuin achter haar prijkt een robot. Ze kijkt om. “Nee, dat is niet Juri”, zegt Masha Medvedeva lachend. De Russin werkt als promovenda aan de Rijksuniversiteit Groningen en schrijft haar proefschrift over het voorspellen van rechtszaken. Samen met haar begeleiders Michel Vols (faculteit Rechtsgeleerdheid) en Martijn Wieling (faculteit der Letteren) ontwikkelde zij de robot JURI Says die uitspraken van het Europees Hof voor de Rechten van de Mens (EHRM) voorspelt door middel van machine learning.

Met deze methode van kunstmatige intelligentie (KI) kan een analysesysteem gegevens en patronen identificeren. In dit geval bij het EHRM. Wanneer er mogelijk mensenrechten zijn geschonden, wordt het verdachte land hiervan op de hoogte gesteld. De aanklacht is openbaar. Medvedeva: “Wij gebruiken de informatie in een vroeg stadium van het proces en vergelijken deze informatie met kennis uit andere zaken.” Dit gebeurt op woordniveau: woorden die direct te maken hebben met de misdaad, zoals ‘politiegeweld’, worden gemarkeerd en zijn belangrijker dan lidwoorden en woorden als ‘rechtbank’. Gebaseerd op deze woordcombinaties probeert de machine een voorspelling te doen: overtreding of geen overtreding van mensenrechten.

Kijkend naar de cijfers van 2019, sprak JURI Says in ongeveer 69 procent van de gevallen hetzelfde oordeel uit als het Hof. “We evalueren iedere maand en brengen het programma nieuwe kennis bij. Als de rechtbank nieuwe uitspraken doet, kunnen wij hier zo ook beter op anticiperen.” Toch blijft het aantal goed voorspelde uitspraken per maand enorm verschillen. “Als je vijf zaken hebt en je voorspelt er twee goed dan kom je op slechts 40 procent. We zien ook dat 2020 veel lagere uitslagen oplevert.” Waarom? Dat weet Medvedeva niet. “De zaken zijn vaak uit eerdere jaren, dus het ligt niet aan de pandemie. We doen hier onderzoek naar, maar we zien nog geen verband.”

Menselijke maat
JURI Says is een van de nieuwe methodes waarin rechtspraak geautomatiseerd wordt. De applicatie is vooral relevant voor onderzoek naar juridische wetenschap en kan (nog) niet in de praktijk worden gebruikt. Bas van Zelst – partner bij het Amsterdamse advocatenkantoor Van Doorne en hoogleraar Geschiloplossing aan de Universiteit van Maastricht – ziet heil in de ontwikkeling van deze computersystemen, maar is sceptisch over automatisering. “Er wordt gezegd: ‘Wij voorspellen 69 procent van de uitspraken van het Europese Hof voor de Rechten van de Mens juist’. Dat klinkt als een enorme prestatie, maar het EHRM is in 90 of 95 procent van de gevallen onbevoegd verklaard.” Volgens van Zelst doet een rechter dus een uitspraak zonder dat hij of zij gerechtigd is om over het voorgelegde verschil te oordelen. “Als je het gewoon gokt kom je al op een hoger percentage uit.”

Van Zelst deed in 2018 onderzoek naar de automatisering van geschillenbeslechting. De menselijke maat en rechtsongelijkheid ziet hij als tegenstanders van de automatiseringsinvloeden. “Je gaat niet automatiseren in de grote arbitrages waar ik in zit, dat zijn allemaal super specifieke zaken en uitspraken. Je automatiseert als het gaat om commerciële bedrijven en zorgverzekeraars die nakoming vorderen uit niet betaalde rekeningen.”

Als burger ben je met automatisering in deze zaken feitelijk kansloos, vertelt Van Zelst. “Grote bedrijven laten een zaak eerst door hun eigen computersysteem gaan. Is de uitslag positief? Dan beginnen zij een procedure en anders niet. Het heeft niets meer met behoorlijke rechtspleging te maken, het wordt een wiskundige exercitie.” Zijn er geen omstandigheden waar je als rechter naar moet kijken? “Duidelijk is dat de aangeklaagde echt niet heeft betaald. Maar het gaat om de achterliggende vragen: heeft een bedrijf er wel voldoende aan gedaan om te toetsen of de persoon in kwestie wel genoeg geld heeft?” Moeilijk is te stellen of geautomatiseerde systemen de relevante vragen in de rechtspraak dekken.

Kostenbesparing
Toch ziet Van Zelst ook een voordeel in automatiseringstechnieken: het scheelt de consument een hoop geld. “Als je voor de rechter moet komen, betaal je ongeveer 150 tot 300 euro aan griffiekosten. In 80 procent van de gevallen komen de mensen niet opdagen, in de andere 20 procent worden ze meestal in het ongelijk gesteld. Bij een zaak van een zorgverzekeraar bijvoorbeeld wordt een vordering van 300 euro zo ineens 700 euro door een combinatie van griffiegeld, rente en verzekeringskosten.”

Er zijn platforms als e-Court: een stichting die private rechtspraak wil bevorderen, in beginsel online. Zij zetten in op kostenbesparing. In plaats van minimaal 300 euro, betaal je hier 75 euro om het geschil op te lossen. “Zij willen er natuurlijk zelf geld aan verdienen, maar zij hebben absoluut een punt als ze zeggen dat de rechtspraak erg duur is voor de gemiddelde rechtzoekende.”

Jaarlijks zijn er in Nederland 600.000 tot 700.000 zaken die gaan over zoiets als een openstaande rekening. Het is hiermee een heel belangrijke inkomstenbron voor de rechtspraak. Maar de verhoudingen zijn scheef, zegt Van Zelst: “Als ik een zaak over 35 miljoen begin, betaal ik 3.700 euro aan griffiegeld. Dat weegt natuurlijk niet op tegen het belang. Wat er feitelijk gebeurt is dat het geld van armere mensen naar rijkere partijen gaat. Dat is wat er écht verkeerd aan is.”

Digitale assistenten
Voor zijn onderzoek reisde Van Zelst af naar British Columbia in Canada. Hier heeft de overheid de automatiseringsslag naar zich toegetrokken met de invoering van het Civil Resolution Tribunal: een online geschillenbeslechtingsplatform. “Het begint bij een online mediator, een machine die antwoord geeft op je vraag. Als de partijen er vervolgens niet uitkomen krijgen zij te maken met een bemiddelaar van vlees en bloed via een portal. Mocht het nodig zijn, dan volgt een beslissing van de rechter.” Maar in slechts vier procent van de gevallen komt de rechter er daadwerkelijk aan te pas. “Dit lijkt een zeer interessant perspectief.”

Medvedeva stelt dat er verschillende taken zijn die een machine beter kan doen dan een mens. Of in ieder geval sneller. “Een assistent kan je voorzien van documenten en andere informatie over een zaak. Hier ben ik absoluut niet tegen, zolang het systeem maar geen eigen beslissingen neemt.”

Een digitale assistent voor de rechter, COMPAS, leverde in de Verenigde Staten controverse op. Het programma voorspelde de kans dat een delinquent opnieuw een misdrijf begaat. Mede vanwege tijdgebrek en niet evalueren van het systeem, gingen rechters blindelings af op de voorspellingen van de computer. Medvedeva: “De verdachten werden zo op voorhand gestraft voor iets wat zij (nog) niet hadden gedaan.”

Tussenweg
Of een robot in de toekomst de rol van rechter op zich zou kunnen nemen? Als het aan Medvedeva ligt niet. “Met JURI Says zeggen wij altijd meteen dat uitspraken voorspellen en uitspraken doen niet te vergelijken is.” Ze wil dan ook duidelijk maken dat ze absoluut geen robotrechter hebben ontwikkeld. “Het programma neemt de informatie tot zich en doet een gok. Het begrijpt de data op juridische en menselijke voorwaarden helemaal niet en kan ook geen nieuwe beslissingen nemen. Systemen met machine learning voor rechter laten spelen? Dat mag niet gebeuren, al pleiten mensen ervoor.”

Van Zelst is het hiermee eens en ziet ook een ander pijnpunt. “Het grootste probleem is dat een algoritme werkt op basis van data en dat die data niet neutraal is, al denken mensen van wel. Een algoritme wordt gebouwd door de mens en zeker een zelflerend algoritme, dat beweegt zich in een bepaald ritme omdat het zo is gebouwd.” Dit was ook bij COMPAS te zien.

Hij vindt dat er in Nederland nagedacht moet worden over een tussenweg: een combinatie van automatisering én menselijke inbreng, zoals bij het Civil Resolution Tribunal. De rechtspraak wordt zo goedkoper voor de burger, en rechters en andere juristen worden op deze manier een beetje ontlast. “Ik merk dat de rechtspraak onder druk staat: de wachttijden lopen op, de service die het Nederlands rechtssysteem biedt wordt gewoon steeds minder. Het zou goed zijn als we daarom kijken naar innovaties in andere landen. Dat is ook gewoon een oplossing voor de problemen die de rechtspraak kent.”