De afgelopen jaren heb ik me verdiept in allerlei moderne vormen van het testen van kandidaten, zoals game-based assessments. In dit artikel zoom ik in op een tweede categorie: die van de linguïstische assessments, oftewel: de persoonlijkheidsanalyse op basis van iemands woordgebruik. Hoe groot is hun belofte, en wat zijn de sterke en zwakke plekken?
Wetenschappelijk nog in de kinderschoenen
Daar waar game-based assessments in mijn optiek in de puberteit zijn aangekomen, staat de linguïstische analyse wetenschappelijk gezien nog in de kinderschoenen. Weliswaar wordt er al 70 jaar (!) onderzoek naar gedaan, maar pas de laatste jaren zijn echt grote doorbraken gemaakt. Deze doorbraken danken we met name aan de grote hoeveelheden tekst die sociale media opleveren, in combinatie met de beschikbaarheid van veel computerkracht en AI om te analyseren. Dat rekent een stuk sneller en makkelijker dan door woorden te turven, zoals het vroeger ging.
‘Linguïstisch testen werkt nu al een stuk beter dan de persoonlijke inschatting van de gemiddelde recruiter.’
De ontwikkelingen gaan razendsnel. En hoewel de betrouwbaarheid nog niet optimaal is durf ik de technologie al in te zetten. Mits goed toegepast werkt het nu al een stuk beter in het bepalen van iemands karakter dan de persoonlijke inschatting van de gemiddelde recruiter.
Verschillende aanbieders getest
Ik heb verschillende aanbieders getest, waarvan een aantal hun eigen – gesloten – algoritmes hebben ontwikkeld. Bij enkele heb ik te horen gekregen hoe het algoritme grofweg is opgebouwd en ook daar blijkt verschil in te zitten. Een grote speler in dit veld is IBM Watson, dat ook een behoorlijk deel van het wetenschappelijk onderzoek hiernaar heeft gedaan (en gefinancierd). Al deze papers zijn publiek toegankelijk. Daarin zet IBM ook heel eerlijk kritische kanttekeningen bij de betrouwbaarheid en validiteit tot nu toe.
Een grote speler in dit veld is IBM Watson, dat ook veel wetenschappelijk onderzoek hiernaar heeft gedaan.
Ik heb de mogelijkheid gehad om de assessments van IBM Watson op drie verschillende manieren te testen. Zo heb ik een artikel direct ingevoerd. Daarnaast deed ik een test via een chatbot en ten slotte via een video-interview dat speech-to-text verwerkte. Ik heb bovendien getest in het Nederlands, via een vertaalmachine (Watson spreekt nog geen Nederlands), en direct in het Engels. Om te testen of het Nederlands vertalen goed werkt heb ik daarnaast getest of een exacte vertaling zoals ik het zou vertalen hetzelfde resultaat zou geven als een wat vrijere variant waarin ik min of meer hetzelfde betoog, maar in een heel andere Engelse stijl.
Input maakt het verschil
Wat bleek uit al deze testen? De resultaten varieerden opvallend weinig tussen Nederlandse en Engelse input. Beide manieren van Engelse input ten opzichte van de Nederlandse gaven een vergelijkbaar beeld met de test in het Nederlands. De resultaten met de invoer van artikelen, zowel in IBM Watson als bij een van de ‘eigen algoritme tools’, gaven wel structureel een ander beeld. Uit de test kwam dat ik veel gestructureerder ben dan ik in werkelijkheid ben, met alle afgeleiden daarvan.
‘Mijn schrijfstijl is veel gestructureerder dan ik in realiteit ben.’
Maar goed, dat is misschien ook wel logisch, als je bedenkt dat ik al duizenden artikelen en 5 boeken heb geschreven. Mijn schrijfstijl is daardoor veel gestructureerder dan ik in realiteit ben, anders zou het onleesbaar worden voor de meeste lezers. Die ontwikkeling is ook wel te zien als je mijn eerste en laatste boek vergelijkt. Daaruit zou je dus kunnen concluderen dat linguïstisch testen via artikelen minder geschikt is voor alle beleidsmedewerkers, wetenschappers, redacteuren en auteurs. Dat zijn immers allemaal beroepen met een ‘aangepaste schrijfstijl’.
Conversational interfaces werken beter
Dit structurele probleem van deze testvorm loste echter op bij het gebruik van ‘conversational interfaces‘, zoals een chatbot of een video-interview. Bij de chatbot van TalentSwot en de videosollicitatie van Cammio was dit probleem zelfs volledig verdwenen. Waren de resultaten 100%? Nee, dat ook weer niet. Maar goed genoeg en stukken beter dan de gemiddelde recruiter mij zou inschatten, zelfs degenen die me al jaren kennen.
In een conversatie komt iemands echte persoonlijkheid naar voren.
Conclusie is dus dat de inputvorm van groot belang is. In een conversatie komt iemands echte persoonlijkheid naar voren. Linguïstische assessments zou ik daarom alleen inzetten met een conversational interface.
Sterke en zwakke punten
Zoals ik eerder aangaf is de techniek van de linguïstische assessments nog niet zo betrouwbaar als die van een game-based assessment. De betrouwbaarheid is daarmee een van de zwakkere punten. Een ander zwak punt, als je het zo wilt noemen, is dat het enkel psychometrische eigenschappen meet, geen cognitieve vaardigheden. Dus alleen karakter, geen kennis of (potentiële) kunde.
Met 500 woorden van iemand heb je al voldoende om een degelijke analyse te krijgen.
Het sterkste punt is aan de andere kant dat het heel natuurlijk is, en dat je de test op de achtergrond kunt uitvoeren. Zo’n 500 woorden is al voldoende om een degelijke analyse van iemand te krijgen. Hoe meer woorden natuurlijk, hoe betrouwbaarder. Je kunt een dergelijke analyse op de achtergrond laten meelopen bij een chatbot of een asynchroon video-interview waarin je normale vragen stelt waarop je toch het antwoord wilt weten van een kandidaat. Het kost de kandidaat dus niet meer tijd dan anders. Het grote pluspunt is dus de kandidaatvriendelijkheid: weinig tijdsinvestering en een heel normale manier van communicatie.
Hoe (niet) in te zetten?
Ondanks de beperkte wetenschappelijke betrouwbaarheid (tot nu toe), zou ik al met al bereid zijn dit soort tests in te zetten als ik mensen wil selecteren. Maar dan wel op de juiste manier. Ik zou dit niet inzetten in een ‘black box’-scenario waar enkele aanbieders op aansturen. Ook ben ik er geen fan van om dit in te zetten in een scenario waarbij de waarden als absoluut en volledig betrouwbaar worden gezien.
‘Ik ben er geen fan van om dit in te zetten in een scenario waarbij de waarden als absoluut en volledig betrouwbaar worden gezien.’
Wat is dan volgens mij wel de juiste manier? Bijvoorbeeld door kandidaten te matchen met je bestaande populatie, op een aantal belangrijke facetten. Daarvoor moet je dus eerst je bestaande populatie in de specifieke functie de technologie laten gebruiken. Op basis daarvan bepaal je welke facetten blijkbaar van belang zijn voor goed functioneren in de bepaalde functie, en daar match je vervolgens je kandidaten mee. Let hierbij wel op dat je dit alleen kunt doen bij voldoende mensen in exact dezelfde functie en dat je je vervolgens niet blind vaart op de uitkomsten. Stapsgewijs ziet een versimpelde versie hiervan er zo uit:
- Verdeel je huidige medewerkers in 2 of 3 groepen (redelijk en goed of ondermaats – acceptabel – top).
- Laat minimaal 50 medewerkers met dezelfde functie dezelfde test doen.
- Laat een algoritme aangeven welke overeenkomsten er zijn tussen de toppers en hoe dit verschilt van de mindere goden.
- Bekijk met vakinhoudelijke experts of deze facetten een logische link hebben met het werk.
- Bepaal op basis van de data en de menselijke interpretatie de minimale en maximale waarden van deze facetten in combinatie met een optimale waarde.
- Zorg voor feedback aan het algoritme, zodat van elke nieuwe medewerker waarvan de data dus bekend zijn ook de kwaliteitsbeoordeling teruggaat in het systeem en evalueer periodiek de waarden.
Samenvatting
+/+ Geen of weinig tijdsinvestering voor kandidaat
+/+ Gebruiksvriendelijke interface
+/+ Kandidaat hoeft niet eens door te hebben dat het gebeurt
+/+ Goed te combineren met bestaand proces waarin kandidaat toch al vragen moet beantwoorden
-/- Beperktere betrouwbaarheid (ten opzichte van games)
-/- Maatschappelijk nog niet breed geaccepteerd
Over de auteur van dit blog
Bas van de Haterd is onder meer initiatiefnemer van Digitaal-Werven, een jaarlijks onderzoek naar welke organisatie kandidaten de beste sollicitatie-ervaring biedt, en samen met Werf& organisator van TA Live. Hij verdiept zich in alle moderne vormen van het assessen van kandidaten en schreef daar onder meer al dit overzichtsartikel en een whitepaper over.