Ja, dat ChatGPT handig is om vacatureteksten voor je te schrijven als je zelf zonder inspiratie zit, dat weten we nu wel. Maar hoe handig is artificial intelligence al waar het écht spannend wordt; bij de selectie van kandidaten? Hoe verandert A.I. de wereld van assessments, waar we de talenten van mensen voorspellen? Niet voor niets is A.I. in assessments door de Europese Unie aangemerkt als een high risk-gebied. En niet voor niets zijn voorbeelden van HireVue en Amazon inmiddels berucht geworden. Aan de andere kant is de belofte groot: als we onze systemen kunnen voeden met grote hoeveelheden data over kandidaten, kunnen we dan echt geen betere beslissingen nemen dan met onze menselijke onderbuik?
Niet voor niets is A.I. in assessments door de Europese Unie aangemerkt als een high risk-gebied.
Jouko van Aggelen is psycholoog, meer dan 25 jaar werkzaam in de wereld van assessments en sinds 3 jaar Chief Portfolio & Innovation Officer bij Aon Assessment Solutions, aanbieder van maar liefst 30 miljoen assessments per jaar, in 40 à 50 verschillende talen. Samen met collega Michael Fetzer schreef hij recent een drietal artikelen over de vraag wat Generative A.I. (zoals ChatGPT) gaat betekenen voor de wereld van assessments. Opvallende conclusie daaruit: we geloven vrij massaal dat GenAI beter kan selecteren dan de mens dat kan. Maar (vooralsnog) wordt dit bepaald niet op grote schaal ingezet.
Makkelijk valsspelen
Toch is één ding zeker, zegt Van Aggelen: over 5 jaar zal de wereld van assessments er heel anders uitzien dan nu. En dat vooral dankzij GenAI zoals ChatGPT en andere zogeheten LLM’s. Een techniek die overigens aan twee kanten gebruikt wordt, laten we dat niet vergeten. Want voor kandidaten wordt het ook steeds makkelijker in te zetten om assessments in te vullen. Kunnen we de resultaten dan nog wel vertrouwen?
‘Het is geen geheim dat ChatGPT goed presteert op bepaalde gestandaardiseerde testen.’
‘Het is geen geheim dat ChatGPT goed presteert op bepaalde gestandaardiseerde testen (zoals MCAT, SAT, GRE, LSAT)’, legt Van Aggelen uit. ‘Hierdoor zou ChatGPT kunnen worden gebruikt om te spieken bij pre-employment assessments, die op kennis (dus op harde vaardigheden) gebaseerd zijn, of numerieke, verbale en logische redeneerassessments. Ontwerpelementen zoals versnelde tests (waarbij de kandidaat slechts kort de tijd heeft om elk item te beantwoorden of zoveel mogelijk vragen moet beantwoorden binnen een bepaalde tijdslimiet) hebben echter de neiging om het voordeel dat ChatGPT zou kunnen bieden te beperken. De resultaten op andere soorten talentassessments, zoals persoonlijkheidsassessments, situatiebeoordeling en gamified assessments, zijn gemengd.’
ChatGPT worstelt
ChatGPT heeft de neiging om het goed te doen op vrij statische, vlakke persoonlijkheidsbeoordelingen, zegt hij, maar worstelt (nog) met ‘adaptieve, gedwongen-keuze beoordelingen. Voor situatiebeoordelingstests is ChatGPT niet slecht in het kiezen van de meest/minst effectieve antwoordopties, maar als er 3 of 4 gewenste antwoorden worden gepresenteerd, kiest het vaak een ander antwoord als het meerdere keren wordt gevraagd. Gamified assessments met bewegingsgebaseerde elementen of meerdere oplossingsstappen zijn ofwel onmogelijk om mee te spieken met ChatGPT of resulteren vaak in onbruikbare antwoorden. In termen van prompt engineering vereisen al deze typen beoordelingen een behoorlijk geavanceerde benadering die niet altijd werkt bij de verschillende beoordelingsmethoden die worden gebruikt.’
Uit de ruim een miljoen online assessments die door kandidaten bij (klanten van) Aon afgelopen jaar werden gemaakt, blijkt bovendien dat de introductie van ChatGPT 3.5 noch die van ChatGPT 4 geleid heeft tot verbetering van de gemiddelde scores. Oftewel: áls kandidaten de systemen al massaal inzetten, dan heeft dat – gemiddeld genomen – ook weinig voordeel opgeleverd. ‘Er is geen bewijs van wijdverspreid spieken’, concluderen Fetzer en Van Aggelen hieruit. ‘Tot nu toe laten onze gegevens een duidelijk beeld zien: nee, het gedrag van kandidaten is door ChatGPT niet veranderd.’
Eerlijk en gebruiksvriendelijk
Kortom: als we onze assessments maar verstandig inrichten, dan hoeven we helemaal niet zo bang te zijn dat ChatGPT ze invult, in plaats van de kandidaat. Bovendien: de kandidaat heeft in zijn werk straks ook ChatGPT tot zijn beschikking. Waarom zouden we hem of haar dat dan verbieden te gebruiken bij het proberen te bemachtigen van de baan? Zouden we dan niet eerder de oplossing bij onszelf moeten zoeken, en moeten streven naar assessments die daadwerkelijk meten wat we willen meten?
‘De arbeidswereld heeft meer dan ooit behoefte aan degelijke, betrouwbare, eerlijke en gebruiksvriendelijke talentbeoordelingen’
‘De arbeidswereld heeft meer dan ooit behoefte aan degelijke, betrouwbare, eerlijke en gebruiksvriendelijke talentbeoordelingen’, stellen Fetzer en Van Aggelen niet voor niets. Het is een wereld die echter ook razendsnel in ontwikkeling is, merken ze op. Nog geen 40 jaar geleden waren assessments nog vooral een zaak van potlood-en-papier, of moesten alle kandidaten in elk geval ervoor afreizen naar een assessmentcentrum, waar ze dan de dag achter een computer van het assessmentbedrijf doorbrachten. De online assessments zoals we die nu kennen, zijn echt iets van héél recente datum.
Pas aan het begin
En de ontwikkeling ervan staat eigenlijk pas aan het begin, zegt Van Aggelen. Want GenAI kan volgens hem op allerlei manieren de wijze waarop we talent beoordelen gaan verbeteren. Denk aan: welke vragen stellen we kandidaten eigenlijk? Kan ChatGPT ons helpen om minder bevooroordeelde beoordelingsmethoden te ontwikkelen?
‘De heilige graal’ voor assessments: reacties op open vragen leren analyseren en scoren.
Veel van de huidige online assessments zijn nog varianten op hun tegenhangers op potlood-en-papier. Oftewel: (in elk geval deels) multiple-choice. De ontwikkeling van LLM’s kan mogelijk helpen reacties op open vragen te leren analyseren en scoren. ‘De heilige graal’ voor assessments, noemen Van Aggelen en Fetzer dat, en bovendien ‘de meest opwindende mogelijkheid om de wetenschap en praktijk van het beoordelen te bevorderen’, die ‘een enorme sprong voorwaarts zou betekenen voor huidige methodes zoals situatiebeoordelingstests, simulaties en interviews.’
Meerdere, complexe interacties
En denk vooral ook eens een stap verder, filosoferen de twee. Wat als sollicitanten in een simulatie ‘meerdere, complexe interacties kunnen aangaan met een of meer personages? Op basis van de antwoorden van sollicitanten op simulatiestimuli zouden de personages dynamisch reageren, wat zou resulteren in een bijna oneindig aantal uitkomsten. In een (relatief) eenvoudigere toepassing zou een A.I.-gebaseerde interviewer vervolgvragen kunnen gebruiken om dieper in te gaan op de antwoorden van sollicitanten en zelfs eerdere informatie kunnen gebruiken om het gesprek aan te passen aan de sollicitant. Combineer deze meetbenadering met A.I.-gegenereerde avatars en virtual reality-omgevingen en de toekomst van talentbeoordeling begint er al heel anders uit te zien!’
‘Hoewel dit niet de meest opwindende kans lijkt, kunnen we hier waarschijnlijk wel het meeste (en snelste) winnen.’
Van Aggelen zegt ook veel te verwachten van het zogeheten Co-piloting, oftewel: het makkelijker beschikbaar maken van assessmentgegevens om organisaties verderop in het HR-proces te ondersteunen. ‘Stel gewoon de vraag en je Talent-Assessment-Assistant geeft je het antwoord dat je nodig hebt. Geen ingewikkelde rapporten, dashboards, data crunching. Assessments als input en data om mensen echt in staat te stellen hun potentieel te realiseren en hun carrière 100% te personaliseren.’ Een soort ‘augmented loopbaancoach’, noemt hij het. ‘Hoewel dit in eerste instantie misschien niet de meest opwindende kans lijkt, is dit waarschijnlijk wel waar we het meeste (en snelste) kunnen winnen.’
‘Assessments moeten eigenlijk alleen ingezet worden als ze ook wat toevoegen voor de deelnemer.’
Dit sluit ook aan bij een van zijn belangrijkste overtuigingen. ‘Te vaak worden assessments ingezet om sec de vraag van een organisatie te beantwoorden, in plaats van dat ze de vraag van het individu (de sollicitant, of medewerker) minstens zoveel aandacht te geven. Assessments moeten eigenlijk alleen ingezet worden als ze ook wat toevoegen voor de deelnemer (inzicht, loopbaanperspectief, werkgeluk).’
Passieve assessments
Andere ‘grote belofte’ die de opkomst van A.I. mogelijk maakt, is wat Van Aggelen ‘passieve assessments‘ noemt. Oftewel: assessments waarvoor de kandidaat zelf niets meer hoeft in te vullen, maar die zich baseren op de voetsporen die hij of zij online al eerder achtergelaten heeft. Als je dat combineert met een systeem van continuous listening kan dat veel informatie opleveren, zegt hij. Tegelijkertijd beseft hij dat dit vanuit ethisch perspectief niet onomstreden is en ook niet zonder risico. ‘Transparantie en instemming zijn hierbij dan ook altijd cruciaal.’
‘Het verbaast mij dat je resultaten van assessments nu eigenlijk nog niet echt kunt meenemen.’
Naast zijn werk bij Aon zit Van Aggelen trouwens ook in de zogeheten Velocity Network Foundation. Daar kijken ze onder meer hoe een systeem te ontwerpen waarin je al je verschillende career credentials, waaronder cv en diploma’s, maar ook allerlei assessmentresultaten, veilig kunt opslaan in een digitale wallet op de blockchain. ‘Hiermee geef je individuen volledig eigenaarschap van hun eigen (carrière)data.’
Geen tekort aan interesse
Het zou het voor kandidaten makkelijker maken om ook met andere potentiële werkgevers resultaten te delen. ‘Het verbaast mij altijd dat je die nu nog niet echt kunt meenemen’, aldus Van Aggelen. ‘Je hebt 1.000 goede assessments op de wereld, allemaal gevalideerd. Waarom zou je als kandidaat elke keer opnieuw zo’n assessment moeten invullen, als vaak min of meer hetzelfde gemeten wordt?’
Waarom zou je als kandidaat elke keer opnieuw zo’n assessment moeten invullen, als vaak min of meer hetzelfde gemeten wordt?’
Genoeg ontwikkelingen dus. En als de Europese Unie niet te veel een rem erop zet, ook genoeg om je op te verheugen, stelt Van Aggelen. ‘In de assessmentbranche hebben we een rijke wetenschappelijk geschiedenis en zijn we trots op hoe geavanceerd, fair en valide we nu al talent kunnen meten en voorspellen. En ja, GenAI zal onze voorspellingen waarschijnlijk nog beter maken. Er is geen tekort aan interesse en mogelijkheden, en we zijn zowel voorzichtig als optimistisch als we verder gaan met alles wat met A.I. te maken heeft.’ Die juiste kandidaat op het juiste moment op de juiste plek krijgen, het lijkt dankzij GenAI al met al steeds beter voorspelbaar te worden.
Meer weten?
Morgen, op 23 januari, organiseert Werf& samen met Compagnon en 8vance in het Van der Valk Hotel in Breukelen het HR & AI Congres. Hier wordt de impact van A.I voor de totale breedte van het HR-vakgebied behandeld, van reskilling en upskilling tot strategische personeelsplanning, en van werving en selectie en automatisering van banen tot de impact op mensen en de organisatie en alle juridische aspecten. Schrijf je dus nog snel in!
