Het is een bekend voorbeeld: een aap die pijltjes gooit op een dartboard weet vaak een betere beleggingsportefeuille samen te stellen dan de meest doorgewinterde analist. Zeker op lange termijn. Beleggerswebsite Beursgorilla kiest daarom al jaren willekeurig aandelen en bekijkt of dat een beter rendement oplevert dan een zorgvuldig uitgekozen aandelenportefeuille. Het antwoord laat zich raden: meestal wel. Althans: in 14 van de 18 laatste jaren versloeg hij de AEX.
Selecteer je als doorgewinterd recruiter betere kandidaten dan een aap die willekeurig een cv uit de stapel pikt?
De vraag is: geldt dit misschien ook in recruitment? Kun je als doorgewinterd recruiter betere kandidaten selecteren dan een aap die willekeurig een cv uit de stapel pikt? Of anders gevraagd: kun je net zo goed een muntje opgooien? Of heeft een cv doornemen nog wel zin? Het experiment is recent weer uitgebreid uitgevoerd, door onder meer Aline Lerner, oprichter van interviewing.io. Zo’n 10 jaar geleden deed ze het ook al, en ontdekte toen niet alleen dat recruiters inderdaad gemiddeld slecht cv’s beoordelen, maar het ook nog eens allemaal oneens met elkaar zijn over hoe een goede kandidaat eruitziet.
Muntje opgooien?
In het nieuwe onderzoek gaat ze wat dieper op de materie in, samen met academici van Learning Collider. Maar de resultaten van 10 jaar blijken nog steeds te gelden: recruiters zijn slechts iets beter dan een muntje opgooien, en ze zijn het nog steeds oneens met elkaar over hoe een goede kandidaat eruitziet. Bovendien zoeken ze in werkelijkheid naar andere dingen op cv’s dan ze zeggen dat ze doen. Maar er blijken ook oplossingen te zijn. A.I. is daarvan een voorbeeld. Maar het scheelt ook al als recruiters íets meer tijd nemen om cv’s te analyseren, zo blijkt.
Recruiters zijn het zelden eens met elkaar over hoe een goede kandidaat eruitziet.
In het onderzoek werden 76 technische recruiters (zowel corporates als bureaurecruiters) gevraagd om elk 30 cv’s van ingenieurs te beoordelen, net zoals ze dat in hun huidige functie zouden doen. Ze kregen onder meer de vraag in een percentage aan te geven hoe groot ze de kans achtten dat deze kandidaat door het technische interview zou heen komen. Uiteindelijk werden zo bijna 2.200 beoordelingen van meer dan 1.000 cv’s verzameld – echte ingenieurs die momenteel op de arbeidsmarkt zijn. Deze beoordelingen werden vergeleken met hoe die ingenieurs daadwerkelijk presteerden op (proef)interviews.
Net iets beter dan random
De recruiters in het onderzoek blijken net iets beter te scoren dan een muntje opgooien. Voorspelden recruiters een lage slaagkans van een kandidaat bij het technische interview, dan haalde uiteindelijk 47% van die groep de test tóch. Voorspelden de recruiters een hoge slaagkans, dan was het slagingspercentage uiteindelijk 64%, maar een fractie hoger dus. In de ideale wereld zou de rode stippellijn gevolgd worden: hoe hoger de recruiter de kans inschat, hoe hoger het slagingspercentage. In werkelijkheid werd slechts de oranje lijn gevolgd.
Waren de ‘ruisoordelen’ van de recruiters dan tenminste nog wel consistent bij het beoordelen van dezelfde cv’s? Ook hier moet het antwoord helaas ontkennend zijn. Bijna 500 cv’s werden door meer dan één recruiter beoordeeld. Op basis van een willekeurige selectie van 2 beoordelingen per cv was de waarschijnlijkheid dat 2 recruiters het erover eens waren om een bepaalde kandidaat wel of niet te interviewen 64%. Uiteindelijk bleek het zelfs zo dat als 2 recruiters worden gevraagd dezelfde kandidaat te beoordelen, hun mate van onenigheid bijna hetzelfde is als wanneer ze 2 totaal verschillende kandidaten zouden beoordelen.
Zwart of Spaans
Ondanks de verschillen in cv-beoordelingen, waren er een paar kenmerken waar de deelnemende recruiters consequent op letten op de cv’s. Zo keken ze naar ervaring bij andere techbedrijven (het liefst FAANG, of daar dicht bij in de buurt), en naar diversiteit (wat in tech meestal betekent: of je zwart of Spaans bent). Maar gekeken naar redenen om iemand af te wijzen, ging het juist veelal om opleiding. Geen MBA? Geen masters- of PhD.-opleiding? Ook geen topschool? Dikke kans op een afwijzing, ook al zeiden de recruiters dat ze daar nauwelijks op letten. En ook al voorspelt het ook nog eens weinig.
Maar het onderzoek bevat dus ook goed nieuws: er is wel wat te doen aan de onnauwkeurigheid van de meeste beoordelingen. En dat is in de eerste plaats vooral: meer tijd nemen. De recruiters in het onderzoek besteden gemiddeld slechts 31 seconden aan een evaluatie van een cv. Maar het blijkt dat als ze dit met de helft verlengen, dat dan de nauwkeurigheid van de voorspelling met maar liefst 34% omhoog gaat. En het is niet zo dat langzame recruiters beter beoordelen, élke recruiter die meer de tijd neemt, blijkt tot betere voorspellingen te komen, aldus de onderzoekers.
A.I. to the rescue
En ook A.I. kan helpen, stellen ze, na verschillende modellen te hebben getraind om te voorspellen welke kandidaten zouden slagen voor technische sollicitatiegesprekken. De trainingsdataset (ontleend aan interviewing.io) bevatte geanonimiseerde cv-gegevens, ras en geslacht van kandidaten en de resultaten van sollicitatiegesprekken. Die dataset werd losgelaten op twee machine-learning modellen (Random Forest en XGBoost), waarna beide algoritmes een beter resultaat wisten te boeken dan de menselijke recruiters.
Al met al zegt Aline Lerner namens interviewing.io dat ‘tot haar eigen verdriet’ recruiters nog steeds vooral jagen op naamsbekendheid op een cv. Nieuwe skills aanleren? Bepaalde skills benadrukken? Recruiters slaan er nauwelijks op aan, merkt ze. ‘Nieuwe vaardigheden verwerven maakt je waarschijnlijk een betere engineer. Maar het zal zeer waarschijnlijk níet je verkoopbaarheid vergroten.’ Wel raadt ze recruiters dus aan iets meer tijd te nemen. ‘Slechts 15 seconden extra per cv kan je nauwkeurigheid al met 34% verbeteren.’ Zeker als je daarbij de context van een kandidaat in ogenschouw neemt.
Objectieve maatstaf nodig
En anders: laat de eerste beoordeling van cv’s vooral over aan A.I., zegt ze. ‘Cv’s dragen een bepaald signaal met zich mee en je kunt dat ontdekken als je zorgvuldig leest wat mensen over hun baan en zichzelf schrijven en ook analyseert hoe ze dat doen. Helaas kost het meer tijd en moeite om dit te ontdekken dan de meeste menselijke recruiters kunnen besteden. En dat is dus een goede taak voor A.I. ‘Al heeft A.I. dus wel een goede dataset nodig met een objectieve maatstaf voor prestaties om nuttig dit soort recruitmentwerk te kunnen doen en niet alleen de vooroordelen van menselijke recruiters te bestendigen.’