Algoritmes en discriminatie: de potenties en risico’s

Een afwijzing op een sollicitatie door een algoritme? Organisaties gebruiken steeds vaker technologie om meer kandidaten voor een vacature te krijgen, bijvoorbeeld via een zoekalgoritme van LinkedIn. Op basis van ingevoerde informatie, zoals selectiecriteria, kan een computer een besluit nemen. Maar wie beoordelen de computers die dit doen? Uit onderzoek van het College voor de Rechten van de Mens blijkt dat de inzet van algoritmes de kans op discriminatie zowel kan vergroten als verkleinen.

De oorzaken van discriminatie

Er worden twee oorzaken van discriminatie door algoritmes beschreven in de literatuur. Ten eerste de bias in het algoritme. Deze bias in het algoritme ontstaat bij het ontwerp van het algoritme en de keuze van variabelen. Soms lijken variabelen niets met discriminatie te maken te hebben. Een voorbeeld hiervan is ‘onafgebroken dienstjaren’. Je zou kunnen denken dat dit een indicatie is van goed functioneren maar ook van het geslacht, omdat vrouwen vaker kortere aanstellingen hebben.

Ten tweede ontstaat bias in de data omdat data bestaande vooroordelen uit de maatschappij weergeeft. Als diezelfde data vervolgens wordt gebruikt om een algoritme aan te passen, dan kan dit weer leiden tot bias in dat algoritme. Een selectiealgoritme bij een universiteit in het VK had bijvoorbeeld een voorkeur voor mannen zonder migratieachtergrond. Het algoritme was getraind op basis van data uit een periode dat er weinig vrouwen en migranten mochten komen studeren.

Verhoogd risico op discriminatie

Hoe brengt de aard van algoritmes verschillende risico’s met zich mee? Algoritmes zijn soms erg complex, waardoor het onduidelijk kan zijn hoe ze tot besluiten komen. Daarom kunnen sollicitanten vaak niet achterhalen waarom ze zijn afgewezen. Verder hebben recruiters vaak veel vertrouwen in algoritmes zonder zelf scherp te zijn op discriminatierisico’s. Ook kunnen algoritmes een bias niet zomaar afleren. Tot slot worden er veel complexe verbanden gelegd, waardoor de mogelijkheden om mensen te differentiëren toenemen.

Potentie van algoritmes

Hoewel er op grote schaal gediscrimineerd kan worden door algoritmes, hebben algoritmes ook de potentie om discriminatie juist tegen te gaan. Zo kunnen ze vooringenomenheid bij mensen corrigeren, herhaling voorkomen en diversiteit bevorderen. Het is zodoende mogelijk om er juist voor te zorgen dat met algoritmes mensen een eerlijke kans maken op een baan. Daarvoor moet echter nog meer onderzoek worden gedaan naar technieken om bias uit algoritmes te halen en naar het bevorderen van gelijke behandeling in de ontwerpfase van een algoritme.

Bewustwording

De komst van algoritmes in het wervings- en selectieproces zorgt voor nieuwe uitdagingen op het gebied van mensenrechten. Daarom is het belangrijk dat HR-professionals zich bewust zijn van discriminatierisico’s in dit proces.

Het College voor de Rechten van de Mens heeft in het onderzoek diverse adviezen gegeven. Eén daarvan is dat algoritmeontwerpers wordt aangeraden hun software regelmatig te controleren op discriminerende elementen. Ook wordt werkgevers geadviseerd om uit te kunnen leggen welke algoritmes zij gebruiken en hoe die werken. Zodoende kunnen werkzoekenden erachter komen waarom zij worden afgewezen na een sollicitatie.

Strategisch programma Digitalisering en Mensenrechten

In 2020 is het College voor de Rechten van de Mens het strategisch programma Digitalisering en Mensenrechten gestart. Twee mensenrechten staan centraal in dit programma: non-discriminatie en rechtsbescherming. Ten aanzien van non-discriminatie ligt de focus op digitalisering bij werving en selectie. Ten aanzien van rechtsbescherming ligt de focus op de inzet van geautomatiseerde procedures en daaruit voortvloeiende beslissingen in de publieke sector. In dit programma reageert het College voor de Rechten van de Mens op actualiteiten rondom digitalisering.