Stel: je weet dat iemand elke vrijdag naar de film gaat. Maar stel: je weet ook dat diegene deze week zijn been gebroken heeft. Wat denk je: zal dat bioscoopbezoek deze vrijdag doorgaan? Als je het aan een algoritme vraagt, zal dat waarschijnlijk ‘ja’ zeggen. Het heeft immers niet anders geleerd. Maar vraag je het een mens, dan wordt het waarschijnlijk een ‘nee’. Hoe kun je met een gebroken been nu naar de film?
Hoe kun je nu met een gebroken been naar de film?
Precies zo is het in veel selectiebeslissingen in recruitment. We denken vaak ‘broken legs’ te zien bij kandidaten, waarvan we denken dat algoritmes ze over het hoofd zien, en dat we daardoor slimmer zijn dan de computer, en dús uiteindelijk betere beslissingen maken. Maar in werkelijkheid zijn er maar heel weinig écht gebroken benen, vertelt Marvin Neumann, onderzoeker aan de Nederlandse Vrije Universiteit. En zitten we er dus vaker naast dan dat het stugge algoritme dat doet.
Als je maar consistent bent
In een experiment liet hij vorige week duidelijk zien dat consistentie loont in recruitment. Min of meer ongeacht wáár je nu consistent over bent. Wil je de beste kandidaat kiezen, dan kun je het beste vooraf bedenken welke beslisregel je wilt volgen om tot die keuze te komen, en daar vervolgens structureel aan vasthouden. Hoe contra-intuïtief dit ook voelt, het maakt dus vaak niet uit of die beslisregel nou precies klopt of niet, aldus Neumann. Consistentie in keuze blijkt nog belangrijker.
Het maakt gek genoeg eigenlijk niet uit of je beslisregel nou precies klopt of niet.
In het experiment werd een groep van zo’n 50 respondenten gevraagd een 30-tal anonieme sollicitanten voor de rol van ticket agent bij een luchtvaartmaatschappij te beoordelen. Van de kandidaten waren slechts hun scores bekend op het gebied van een cognitieve IQ-test, een zelfrapportage op consciëntieusheid, en het oordeel van een manager op basis van een ongestructureerd interview (tussen 1 en 5).
De ene helft van de groep respondenten kreeg echter vooraf de vraag om aan te geven hoe belangrijk zij deze criteria (ten opzichte van elkaar) vonden, de andere helft kreeg die vraag niet. Het blijkt dat de eerste groep, die dus een weging vooraf bekend maakte, en op basis hiervan een score-advies kreeg, vaak van hun eigen advies afweek en daarom nauwelijks betere voorspellingen maakte dan de tweede groep. Had de eerste groep echter consistent hun eigen opgestelde beslisregel gevolgd, dan had zij vervolgens ook beter de uiteindelijke score van een kandidaat voorspeld dan de groep die vooraf geen beslisregel had opgesteld, maar puur selecteerde op basis van hun eigen eerdere ervaring.
Rotte appels
Neumann organiseerde het live experiment samen met Wim Thielemans van de Vlaamse School for Recruitment. ‘Soms is keuzes maken makkelijk’, aldus Thielemans, terwijl hij twee rotte appels en één glimmende laat zien. Maar meestal is dat dus niet zo. Hij zegt het voorbeeld van de broken legs wel te herkennen. ‘Een kandidaat heeft de website niet bekeken, komt te laat binnen of heeft een d/t-fout in de brief staan. Dan valt hij of zij al snel af. We denken dat zulk soort dingen meespelen, maar dat doen ze dus zelden.’ Neumann: ‘Als mensen hun zelf gemaakte beslisregel constant toepassen, en dan niet proberen uitzonderingen op de regel te zien, dan is de voorspelbaarheid hoger dan wanneer voorspellingen puur op ervaring gebaseerd zijn. Helaas is de praktijk meestal anders.
Meer ervaring blijkt in selectie nauwelijks meerwaarde op te leveren.
Neumann heeft zo nog wel meer interessante inzichten te delen, over zowel bias als ruis in het selectieproces. Dat ervaring in selectie bijvoorbeeld nauwelijks meerwaarde oplevert. Dat het puur consistent toepassen van een beslisregel in vrijwel alle gevallen beter scoort dan puur selecteren op basis van intuïtie van de selecteur, ook als het gaat om minder valide selectie-instrumenten.
Zo kan volgens hem dus zélfs een ongestructureerd sollicitatiegesprek een rol spelen. ‘Als je het maar gaat kwantificeren, en vervolgens via een consistente beslisregel toepast’, legt hij uit. ‘Idealiter geef je zo’n suboptimaal instrument dan een wat lager gewicht. Dat nog altijd levert betere selectiebeslissingen op dan helemaal geen beslisregel te gebruiken en je intuïtie in te schakelen. Wie het volgens het boekje wilt doen gebruikt alleen maar een paar valide instrumenten en telt de scores gewoon op. Maar voordat iemand zegt: ‘Nou, als je wilt dat ik een compleet gestructureerd interview ga doen, dan gebruik ik wel helemaal geen algoritme’, is mijn antwoord: ‘Oké, accepteer dan een instrument wat suboptimaal is en probeer het een wat lager gewicht te geven, voordat je helemaal geen beslisregel wil gebruiken en dus heel inconsistent oordeelt.’
Nóg een gesprek? Liever niet
Veel van die kennis is al bekend sinds 1954 (Paul Meehl), 1959 (Lasky et al) en 2020 (Yu & Kuncel) en 2016 (Kausel et al). Uit dat laatste onderzoek blijkt bijvoorbeeld dat méér informatie helemaal niet altijd tot betere beslissingen leidt. Nóg een gesprek? Nog een screening? We denken vaak: meer informatie is alleen maar beter. Baat het niet, dan schaadt het ook niet. Maar Neumann zegt dat we ons daarin vergissen. ‘Meer ongestructureerde interviews kunnen zelfs schadelijk zijn voor onze oordelen. Het toevoegen van een slecht interview kan de valide informatie verwateren; het zogeheten dilution-effect. En alsof dat op zich nog niet erg genoeg is, komt er nog eens bij dat mensen meer vertrouwen hebben in hun eigen oordeel als het gebaseerd is op meer informatie.’
Het toevoegen van een slecht interview kan de waarde van de valide informatie verwateren.
Dat mensen liever vertrouwen op hun eigen oordeel (hoe gekleurd ook) dan op algoritmes heeft er waarschijnlijk mee te maken dat ze vrezen dan autonomie kwijt te raken. Door mensen te vragen zélf een simpele beslisregel vooraf te laten opstellen, kun je dat volgens hem grotendeels teruggeven. ‘Maar dan moet je vervolgens niet de mogelijkheid om daarvan af te wijken. Dus niet de mogelijkheid bieden om broken legs te zien.’
Simpele beslisregel gewenst
Samengevat: zorg dat je een simpele beslisregel opstelt, en doe dat vooral zelf. Daar is de rol van de expert namelijk nog wel belangrijk. Dat is altijd beter dan géén beslisregel maken. En voeg daarna niet te veel extra instrumenten toe. Niet goed voor je budget, maar ook zelden goed voor je validiteit, aldus Neumann. ‘We moeten echt afleren om nóg een extra test te vragen.’ En trek je bij de beslisregel vooral ook niet te veel aan van wat voor gewicht je een bepaald criterium moet geven. ‘Dat je het consistent toepast, dat verklaart grotendeels waarom beslisregels beter zijn dan je intuïtie. Dat is dus meestal belangrijker dan de kwaliteit van het algoritme en de verdeling van de gewichten.’
‘Waak waar de mens zich zou moeten terugtrekken is het combineren van informatie.’
Als beslisregels (dus: algoritmes) belangrijker zijn dan het menselijke oordeel, wat voor rol blijft er dan eigenlijk nog over voor de recruiter? ‘Daar hebben we ook onderzoek naar gedaan’, zegt Neumann. ‘En er zijn nog genoeg zaken die overblijven. Vooral voor het verzamelen van informatie. De enige taak waar de mens zich volgens mij zou moeten terugtrekken is het combineren van de informatie.’ En besef, vult Thielemans aan: ‘Jouw oordeel heeft een enorme impact op de toekomst van de kandidaat. Jouw keuze kan die persoon helpen of kraken. Juist daarom is het ook zo belangrijk dat het goed gebeurt…’
Meer weten?
Meer weten over hoe je beslisregels kunt opstellen? Lees dit tutorial. Meer over hoe je je eigen selectie-algoritme kunt ontwerpen? Volg een gratis workshop op 14 mei met dr. Marvin Neumann (Vrije Universiteit Amsterdam) en Wim Thielemans (School for Recruitment).