'Burgers moeten beter beschermd worden tegen fouten van algoritmen'

Steeds vaker nemen computeralgoritmen belangrijke beslissingen over burgers en consumenten. Sommige banken gebruiken algoritmen om te bepalen hoe groot de lening is die iemand kan krijgen en of iemand een creditcard kan krijgen. Sommige werkgevers gebruiken algoritmen om te bepalen hoe goed hun werknemers functioneren. Politie en douane gebruiken automatische gezichtsherkenning om te bepalen of iemand een potentiële misdadiger of terrorist is.

Pijnlijke fouten door computeralgoritmes

Computeralgoritmen kunnen in theorie betere, snellere en in sommige gevallen ook transparantere beslissingen nemen. Maar ze kunnen ook volkomen ondoorgrondelijk zijn en pijnlijke fouten maken. Naar schatting worden meer dan duizend mensen per week door een algoritme ten onrechte als terrorist aangemerkt op een luchthaven. Een piloot van American Airlines werd in totaal tachtig maal ten onrechte op diverse vliegvelden aangehouden omdat een algoritme hem verwarde met een IRA-leider. Een lerares uit Washington werd door haar leerlingen als uitmuntend beoordeeld totdat een computeralgoritme haar ongeschikt achtte. Een Amerikaanse automobilist raakte zijn rijbewijs kwijt omdat automatische gezichtsherkenning van de politie hem voor een terrorist hield.

De Britse krant The Guardian publiceerde in 2015 over het gebruik van algoritmen in de VS die bepalen welke passagiers van een vliegtuig op de no-fly list komen te staan. Deze algoritmen berekenen de kans dat iemand een misdaad gaat plegen, in plaats van uit te gaan van eventueel reeds gepleegde feiten. Dit kan gemakkelijk leiden tot de uitsluiting van individuen op basis van het statistische gedrag van een bepaalde groep waarvan het individu toevallig deel uit maakt.

Nieuwe wet biedt onvoldoende bescherming

De EU heeft vorig jaar een nieuwe wet aangenomen die in mei 2018 in alle EU-landen van kracht wordt: de General Data Protection Regulation (GDPR), ofwel Algemene Verordening Gegevensbescherming (AVG) in het Nederlands. Deze wet geeft EU-burgers onder andere het recht om verhaal te halen wanneer ze denken onterecht beoordeeld te zijn door een algoritme. In Nederland komt de AVG in de plaats van de huidige Wet Bescherming Persoonsgegevens.

De AVG geeft burgers onder andere het recht om geïnformeerd te worden over een door de computer genomen beslissing. Dan gaat het om antwoorden op vragen als: Wat is het doel van het algoritme? Welke data gebruikt het algoritme?

Volgens Britse ethici van het Alan Turing-instituut in Londen en de Universiteit van Oxford laat de nieuwe Europese wet echter te veel ruimte over voor een vrije interpretatie door de rechter, beschermt ze bedrijven te zeer en burgers juist te weinig. Bedrijven die de computeralgoritmen hebben ontwikkeld, beroepen zich er namelijk op dat hun algoritme bedrijfsgeheim is waarover ze niets specifieks hoeven prijs te geven.

Onafhankelijke waakhond nodig

De Britse onderzoekers hebben concrete gevallen in Duitsland en Oostenrijk bekeken, twee landen die nu al de strengste wetgevingen in Europa hebben op het terrein van digitale burgerrechten. Wat bleek: bij rechtszaken aangespannen door burgers nam de rechter genoegen wanneer bedrijven alleen de meest algemene informatie over het algoritme presenteerden. Bedrijven gaven geen enkele uitleg over de details van het algoritme en hoe het algoritme precies bij die beslissing over dat individu was gekomen. Daar heeft een burger dus nog niets aan.

De onderzoekers denken dat de nieuwe Europese wet hetzelfde gaat uitpakken als de onderzochte gevallen in Duitsland en Oostenrijk. Ze vinden dan ook dat de AVG te zeer in het voordeel van bedrijven uitvalt en dat er een sterk tegengewicht nodig is. Daarom pleiten ze voor een onafhankelijke waakhond die zo goed mogelijk probeert na te gaan hoe algoritmen tot hun beslissingen zijn gekomen. Het voordeel van zo’n onafhankelijke derde partij is bovendien dat bedrijven niet bang hoeven te zijn dat deze waakhond hun algoritmen zelf commercieel gaat toepassen.

Algoritme kan beslissing (nog) niet uitleggen

Kunnen informatici hun slimme algoritmen niet zo programmeren dat ze automatisch ook vertellen waarom ze een bepaalde beslissing hebben genomen? Dat klinkt plausibel, maar het probleem is dat veel van die zelflerende algoritmen zelfs voor specialisten ‘zwarte dozen’ zijn. Tot voor kort schreven computerprogrammeurs alleen maar programma’s die expliciet met bepaalde regels werden geprogrammeerd. Dan kunnen de programmeurs achteraf wel uitleggen waarom een computer een bepaalde beslissing heeft genomen.

Maar de nieuwste algoritmen leren op basis van een grote hoeveelheden data, vergelijkbaar met hoe het menselijk brein leert. En net zoals een voetballer niet kan uitleggen hoe hij een vrije trap raak schiet, zo kunnen zelflerende algoritmen op dit moment niet uitleggen waarom ze een bepaalde beslissing nemen. Bovendien veranderen die algoritmen voortdurend, juist omdat ze nieuwe dingen leren.

Vanaf mei 2018 zullen Europese rechters de nieuwe wet AVG moeten interpreteren. In de tussentijd zal de druk op informatici toenemen om hun zelflerende algoritmen toch op een of andere manier te laten uitleggen waarom ze een bepaalde beslissing hebben genomen. Tenslotte is het aan burgers en overheden om oordelen van computeralgoritmen niet blindelings te vertrouwen.

Bron: Sandra Wachter et al. Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation.

NPO Radio 1 houdt je dagelijks op de hoogte over de laatste ontwikkelingen in de wetenschap

Maandag t/m vrijdag rond 16.20 uur in Nieuws en Co
Dinsdag en vrijdag rond 10.50 uur in De Ochtend

Dit artikel is verzorgd door de wetenschapsredactie van De Kennis van Nu (NTR).