Het heeft jaren voorbereiding en maanden van discussie gevergd, maar sinds deze week is het er toch van gekomen: in de stad New York is Local Law 144 ingegaan. Oftewel: ‘s werelds eerste uitgebreide set aan regels voor de algoritmegedreven mechanismes die zogeheten automated employment decision tools (of AEDT’s) met zich meebrengen. Nog makkelijk gezegd: de eerste regelgeving ooit die de bias van A.I.-systemen in recruitment wil tegengaan, van geautomatiseerde cv-screeners tot A.I.-video-interviews.
Bedrijven in New York moeten nu elk jaar een zogeheten bias audit uitvoeren op hun A.I.-recruitmenttools.
Volgens de nieuwe regels moeten werkgevers in de stad voortaan het vooraf aan sollicitanten melden als ze geautomatiseerde recruitmenttools gebruiken. Bovendien moeten ze elk jaar een zogeheten bias audit uitvoeren op de tool, waarbij elke mogelijk ongelijke impact op mensen op basis van hun ras, etniciteit of geslacht wordt gemeten. Een samenvatting van de audit moet daarnaast op de website van het bedrijf verschijnen.
Kritiek en verwarring
De wet had eigenlijk begin dit jaar al in werking moeten treden, maar werd meermaals uitgesteld omdat nog onduidelijk was welke AI-tools precies wel en niet in aanmerking zouden komen en wat de ‘partijdigheidscontrole’ zou moeten inhouden. De vertragingen hebben de onzekerheid echter nauwelijks weggenomen. De definitieve regels hebben ook geleid tot kritiek bij zowel werkgevers als werknemersorganisaties. Sommigen vinden de wet te ver afgezwakt van het origineel uit 2020; anderen voorspellen juist eindeloze rechtszaken van bedrijven die zullen beargumenteren waarom de regelgeving niet op hen van toepassing zou zijn.
Sommigen vinden de nieuwe regels te ver afgezwakt van het origineel uit 2020.
Om wat voor tools gaat het eigenlijk? Dat kunnen allereerst programma’s zijn die cv’s napluizen om daaruit de beste kandidaten te kiezen, of een algoritme om gezichten te scannen zoals een bedrijf als HireVue ooit ontworpen heeft om persoonlijkheidskenmerken te meten tijdens videogesprekken. Bekende namen die onder de wet lijken te gaan vallen zijn (naast HireVue) Paradox, iCIMS, Textio, Phenom, Jobvite, XOR.ai, Bullhorn en Eightfold AI.
Impact ratio
De wet geeft geen definitie van ‘partijdigheid’ en vereist niet dat auditors bepalen of een tool partijdig is. Sleutelbegrip is de impact ratio, die vergelijkt hoe een ras, etnische groep of geslacht scoort in vergelijking met de hoogst gerangschikte groep onder het instrument. Volgens de regelgeving wordt een wervingsproces geacht een negatief effect te hebben als de impact ratio minder dan 0,8 bedraagt.
Je moet sollicitanten voortaan 10 dagen van tevoren vertellen dat je A.I. gebruikt in je recruitment.
Als je als werkgever in New York City met zulke tools werkt, dan moet je voortaan sollicitanten (en ook werknemers die voor promotie in aanmerking komen) ten minste 10 werkdagen voordat zij worden gescreend met dit soort tools hiervan op de hoogte stellen – en hen een manier bieden om voor een alternatief selectieproces te kiezen. Dit kun je doen in een e-mail, de vacature zelf of ‘op een duidelijke en opvallende manier’ op je werkenbij-site. Doe je dit niet (goed), dan kun je elke dag dat je in overtreding bent een boete van (minimaal) 500 dollar krijgen.
Mazen in de wet
Mogelijke maas in de wet kan zijn dat de regelgeving vereist dat de A.I.-tools een ‘belangrijke factor’ zijn in het hele wervingsproces van een organisatie. Oftewel: werkgevers moeten ‘uitsluitend’ of ‘hoofdzakelijk’ vertrouwen op het hulpmiddel, of het gebruiken om menselijke keuzes te overrulen. Om onderzoek hiernaar te vermijden, zouden werkgevers dus kunnen aanvoeren dat scores of resultaten van geautomatiseerde instrumenten slechts een van de vele overwegingen zijn, en dat echte mensen uiteindelijk de finale beslissing nemen.
Sommige bedrijven hebben al aangekondigd meer mensen voor kantoren buiten de stad te zullen aannemen.
Ondertussen zijn ook al ‘omtrekkende bewegingen’ te zien. Sommige bedrijven hebben al aangekondigd meer mensen voor kantoren buiten de stad te zullen aannemen (waar de regels immers niet gelden). Emily Dickens, hoofd public affairs bij de SHRM, vreest zelfs voor effecten die contrair aan wat de regelgeving beoogt, doordat ook A.I. die vooroordelen kan voorkomen nu in het verdomhoekje terecht is gekomen.
A.I.-auditors
In de tussentijd schijnt er in New York City al wel een groeiende vraag naar zogeheten A.I.-auditors op gang te zijn gekomen. Maar er is ook kritiek op die audits. Zo heeft NYU-hoogleraar Julia Stoyanovich onderzoek gedaan naar hoe zelfs dezelfde recruitmenttools voor dezelfde mensen sterk verschillende resultaten kunnen opleveren. Volgens haar leveren de voorgestelde audits het risico op fairwashing, omdat ze alleen maar controleren of de tools niet discrimineren, niet of ze datgene doen waarvoor ze zijn ontworpen: nauwkeurig kandidaten kiezen die goed zullen presteren in de baan. Dat kan leiden tot het goedkeuren van ‘onzinnige’ software die weinig beter is dan een willekeurige keuze, vreest ze.
‘De audits kunnen leiden tot het goedkeuren van onzinnige software die weinig beter is dan een willekeurige keuze.’
Maar hoe dan ook, bijzonder is de nieuwe regelgeving natuurlijk wel. En ook iets om in Nederland in de gaten te houden. Zeker ook gezien ook alle (Europese) politici en overheden die het gebruik van A.I. (in recruitment) aan banden willen leggen, zoals de EU AI Act van de Europese Unie. Jammer alleen dat de regelgeving zich nu vooral lijkt te richten op de discriminatie die softwaretools met zich kunnen meebrengen, en nog minder op de bias die mensen inherent kunnen hebben. Zeker ook in het licht van het SHRM-onderzoek waaruit bleek dat bijna 3 van de 5 organisaties die A.I. gebruiken in hun recruitment aangeven sindsdien betere mensen aan te nemen. Of zou de Wet Toezicht gelijke kansen bij werving en selectie misschien het definitieve antwoord op die menselijke discriminatie gaan vormen?