Het onderzoek verscheen alweer in november vorig jaar, maar we hadden het even gemist. Het is echter interessant genoeg om even bij stil te staan, omdat het een nieuwe bom legt onder het vermeende vermogen van recruiters om beter kandidaten te kunnen beoordelen dan software. Dit keer is het de motivatie van de kandidaat waarbij het de computer is die de strijd wint. En met verve, mag wel gezegd.
Dit keer is het de motivatie van de kandidaat waarbij het de computer is die de strijd wint.
Marnix Naber, onderzoeker en docent in Utrecht, en oprichter van Neurolytics, deed samen met de Gentse promovendus Mitchel Kappen een experiment met gezichtsscans van kandidaten. Ze lieten daarbij 154 studenten in een gesimuleerde sollicitatie de rol spelen van kandidaat voor een (nep)vacature. Als schijnwerkgever kozen de onderzoekers voor ‘een berucht Nederlands-Brits oliebedrijf’. Dit om er zeker van te zijn dat kandidaten ‘sterk zouden verschillen in de mate waarin ze zich met het bedrijf verbonden voelden’, schrijven ze in het onderzoek.
Hoe vond je het zelf?
De deelnemers kregen vervolgens drie vooraf opgenomen video’s te zien, waarin steeds een recruiter hen een vraag stelde. Daarbij werd via een webcam gekeken hoe de studenten daarop reageerden. Vervolgens werd aan vier partijen gevraagd hoe zij de motivatie van de kandidaat beoordeelden.
- De kandidaat zelf, na het interview,
- Een motivatiemodel CBMM, dat was getraind op de scores van de kandidaten (model 1),
- Verschillende recruiters, die een deel van de kandidatenvideo’s bekeken,
- Een tweede motivatiemodel, RBMM, dat werd getraind op de scores van de recruiters (model 2).
Uit het onderzoek blijkt dat de recruiters daarbij veel vaker mis zaten, in vergelijking met de gezichtsscan-software. ‘Deze studie toont voor het eerst aan dat je motivatieniveaus van kandidaten objectief kunt bepalen met behulp van computervisietechnieken en machine learning-modellen’, concluderen de onderzoekers. ‘We hebben hier een belangrijke stap voorwaarts gezet door ons te focussen op dynamisch gezichtsgedrag dat is vastgelegd met een webcam, de voorspelling van onbevooroordeelde en eerlijke zelfrapportages in plaats van beoordelingen door anderen op basis van subjectieve observaties, en (tijdelijk, taak-opgeroepen) toestand in plaats van (stabiel) kenmerkgedrag.’
Onbetrouwbaar en ongeldig
Kandidaten gaven bijvoorbeeld zelf relatief vaak aan helemaal niet gemotiveerd te zijn. Veel recruiters schatten dat doorgaans echter anders in. Soms beoordeelden ze meer gemotiveerde kandidaten als minder gemotiveerd en minder gemotiveerde kandidaten als meer gemotiveerd. Eén deelnemende recruiter gaf volgens de onderzoekers bovendien blijk van een gender bias. Zij vond de mannelijke respondenten significant gemotiveerder dan de vrouwen. En dan was er tussen de recruiters ook nog eens weinig overeenstemming: waar de ene iemand zéér gemotiveerd vond, was dat bij de ander precies omgekeerd, en andersom.
Recruiters zijn ‘onbetrouwbaar, ongeldig en soms vooringenomen’ als ze iemands motivatie vaststellen.
Conclusie is volgens de onderzoekers dat de oordelen van recruiters ‘onbetrouwbaar, ongeldig en soms vooringenomen’ zijn als het erom gaat de motivatie van een kandidaat vast te stellen. En dat terwijl een machine learning-model wél met succes de meest gemotiveerde kandidaten weet aan te wijzen. Ze pleiten er daarom voor om de motivatie van kandidaten te meten in een op A.I. gebaseerd prescreening assessment. Want motivatie is wel cruciaal, stellen ze, als een van de sterkste voorspellers voor werkgeluk, tevredenheid, en baanbehoud.
Eerlijk en fair recruiten
Het onderzoek is ook een nieuwe stap in een meer eerlijk en fair recruitmentproces, denken ze. ‘Betrouwbare en nauwkeurige informatie over kandidaten zal mensen helpen betere beslissingen te nemen, wat mogelijk leidt tot meer diversiteit en inclusiviteit. Onze bevindingen markeren de noodzaak en het nut van nieuwe, bias free en wetenschappelijke benaderingen van screening- en selectieprocedures.’
‘Onze bevindingen markeren de noodzaak en het nut van bias free screening- en selectieprocedures.’
Het vakgebied mag dan misschien nog in de kinderschoenen staan, en zelf noemen ze hun onderzoek ook ‘een eerste en bescheiden stap’. ‘Maar we laten hier wel zien dat kunstmatige intelligentie en computermodellering een cruciale rol kunnen spelen bij het oplossen van de absolute noodzaak van objectievere screeningsprocedures’, aldus Naber en Kappen.
Opgetrokken liphoeken
De recruiters in het onderzoek gaven aan hun oordeel over iemands motivatie vooral te baseren op visuele signalen zoals ‘frequente en relatief positieve expressies, opgetrokken liphoeken (opwaartse beweging van mondhoeken), en zwakke walgingsexpressies’. Volgens de computermodellen voorspelden die ‘relatief frequente positieve uitingen en langdurige episodes van een opgetrokken lip en opgetrokken kin’ echter juist een laag motivatieniveau. De meest gemotiveerde kandidaten vertoonden juist opvallend weinig lip- en kaakspieractiviteit, maar daarentegen juist sterkere uitingen van positieve emoties.
De computer lukte het beter om de visuele signalen van motivatie af te lezen.
Volgens de onderzoekers letten de recruiters wel op de juiste gezichtsmarkeringen. Ze wegen die echter ‘onjuist’ af om de motivatieniveaus van een kandidaat te bepalen. De computer lukte het al met al beter om die visuele signalen van motivatie af te lezen. ‘Deze resultaten laten de haalbaarheid zien van computermodellen die informatie verschaffen over gedrag en mentale toestanden’, stellen ze. Het zou volgens hen dan ook goed zijn als meer mensen zouden ervaren dat door A.I. geselecteerde collega’s net zo goed of zelfs beter presteren dan als de selectie (volledig) aan de menselijke recruiter wordt overgelaten.