College Rechten van de Mens doet uitspraak: antispieksoftware discrimineert
- Nieuws
- College Rechten van de Mens doet uitspraak: antispieksoftware discrimineert
Antispieksoftware: studenten die tijdens de coronaperiode studeerden, zullen er vast gebruik van hebben moeten maken. Omdat veel tentamens thuis gemaakt moesten worden, kochten onderwijsinstituten antispieksoftware aan. Studenten loggen voor het tentamen in en de software checkt of ze wel echt een mens zijn, om spieken te voorkomen. Maar wat als de computer je niet herkent omdat je een donkere huidskleur hebt? Het overkwam masterstudent Robin Pocornie. Zij stapte met Naomi Appelman van het Racism and Technology Centre afgelopen zomer naar het College voor de Rechten van de Mens en in De Nieuws BV vertellen ze over de uitspraak.
Face not found
De antispieksoftware Proctorio, het systeem waar onder andere de VU Amsterdam gebruik van maakt, werkt als volgt: voor de student het tentamen in mag, moet gecheckt worden of de student er daadwerkelijk is. Dit gebeurt ook tijdens normale tentamens. De student moet zijn studentenkaart en gezicht laten zien en de camera een scan laten maken van het bureau en de kamer waarin hij zich bevindt. Bij het scannen van het gezicht ging het mis bij Pocoronie. De software herkende haar gezicht niet en gaf de melding: 'face not found'.
Het systeem gaf aan dat er te weinig daglicht was om haar gezicht te herkennen. Dit is volgens Pocornie opvallend, omdat in hetzelfde daglicht wel haar studentenkaart, het bureau en de ruimte herkend werden. Pocornie moest meerdere inlogpogingen ondernemen en uiteindelijk heeft ze een lamp op haar gezicht geschenen om ervoor te zorgen dat het systeem haar kon detecteren. Op deze manier heeft ze al haar online tentamens gemaakt. "Heel frustrerend", aldus de masterstudent.
Uitspraak
Het College voor de Rechten van de Mens gaf Pocornie in haar zaak gelijk. Pocornie en Appelman hebben genoeg bewijs aangeleverd waaruit blijkt dat discriminatie door het systeem heeft plaatsgevonden. Pocornie is opgelucht: "Ik ben hier sinds 2020 mee bezig, dus het is fijn om eindelijk erkenning te krijgen voor iets wat je hebt meegemaakt."
Het verhaal van Pocornie is niet uniek, aldus Appelman. "Wereldwijd zijn er gebruikers met hetzelfde probleem. Daarnaast is het algemeen bekend uit de wetenschap die we nu hebben dat dit soort gezichtsherkenningssoftware heel vaak problemen heeft met het herkennen van zwarte en donkere gezichten. Dit had de VU dus kunnen weten." Appelman is daarom blij met de uitspraak van het College voor de Rechten van de Mens. "Er is voor het eerst gezegd dat dit soort technologie kan discrimineren. Voor de definite van de wet van discriminatie was dat nog nooit toegepast op dit soort systemen." Daarnaast oordeelde het College dat instellingen die de software gebruiken er zelf verantwoordelijk voor zijn.
Om deze inhoud te tonen moet je toestemming geven voor social media cookies.
De regel die het College opstelt door middel van de uitspraak geldt voor alle vormen van gezichtsherkenningssoftware of grootschalige dataverwerkingssystemen die mogelijk gevaarlijk zijn, zoals surveillancesystemen. Dit is volgens Appelman een goede ontwikkeling. "De maatschappij wordt steeds digitaler. Er zijn steeds meer voorbeelden van overheden, scholen en bedrijven die geautomatiseerde besluiten nemen, dus dit wordt steeds relevanter. Daarom is het zo belangrijk dat dit valt onder de wettelijke definitie van discriminatie."
Tussenuitspraak
De uitspraak van het College is een tussenuitspraak. Dat betekent dat VU Amsterdam het nog mag ontkrachten op technisch niveau. Dat vindt Appelman een gekke situatie: "Een Nederlandse publieke instelling gaat het vuile werk van Proctorio opknappen, want het bedrijf zelf wil niet vertellen hoe het werkt."
Gerelateerd
