Waarschijnlijk is het een van de bekendste artikelen binnen het assessmentvak. Het is in elk geval het meest invloedrijke. De metastudie van Schmidt en Hunter, The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings, vatte al het onderzoek binnen het gebied samen en liet zien dat intelligentietests uiteindelijk de beste voorspeller blijken van werkprestatie. En dat je de totale voorspellende waarde van een assessment kunt verhogen door niet alleen een intelligentietest af te nemen, maar ook een arbeidsproef, integriteitstest of gestructureerd interview.
We hebben lang erop moeten wachten, maar er is eindelijk een nieuwe metastudie.
We hebben er bijna een kwart eeuw op moeten wachten, maar recent is eindelijk een nieuwe metastudie verschenen. Onderzoekers Sackett, Zhang, Berry en Lievens (van de universiteiten van Minnesota, Indiana en Singapore) gebruiken hier nauwkeuriger analysetechnieken. Dat leidt tot enkele opvallende wijzigingen ten opzichte van de studie van Schmidt & Hunter. Daarnaast hebben de auteurs ook enkele meer moderne instrumenten meegenomen in hun analyse. De 6 belangrijkste conclusies op een rij:
#1. Van proef tot prestatie
De voorspellende waarde van selectie-instrumenten is over het algemeen lager dan de eerdere metastudie van Schmidt en Hunter deed vermoeden. Zo is het verband tussen arbeidsproeven en werkprestatie niet .54, maar blijkt deze ‘slechts’ .33 te zijn. En dat van intelligentietests is niet .51, maar .31. Deze voorspellende waarden zijn echter nog steeds goed te noemen. Met andere woorden: richt selectieprocedures zorgvuldig in en de kans wordt aanzienlijk groter dat je de juiste kandidaat selecteert.
#2. Gestructureerde interview meest voorspellend
In de nieuwe analyse blijkt de intelligentietest niet langer het instrument met de hoogste voorspellende waarde. Die plek is nu ingeruimd voor het gestructureerde interview (.42). Tegelijkertijd is de voorspellende waarden van het ongestructureerde interview nóg verder gedaald (van .38 naar .19). Het verschil in voorspellende waarde tussen de twee types interviews blijkt dus nog groter te zijn dan Schmidt en Hunter al aangaven. Daarnaast is de kans op discriminatie (bijvoorbeeld op basis van etniciteit) aanzienlijk groter bij ongestructureerde interviews. Om meerdere reden blijft het dus van belang alle interviews zoveel mogelijk te structureren.
#3. Laat aansluiten op de functie
In het algemeen hebben instrumenten die ontwikkeld zijn voor specifieke functies (een gestructureerd interview, kennistest, biodata en arbeidsproef) een wat hogere voorspellende waarde dan instrumenten die algemene psychologische constructen meten (zoals een intelligentietest, integriteitstest, persoonlijkheidsvragenlijsten, of emotionele intelligentiemetingen). Je kunt de voorspellende waarde van de selectieprocedure dus verhogen door instrumenten te kiezen die nauw aansluiten op de vacante functie.
#4. De ene vragenlijst is de andere niet
De voorspellende waarde van bepaalde instrumenten varieert per situatie. Zo zijn er persoonlijkheidsvragenlijsten met een redelijke voorspellende waarde, maar ook worden veel vragenlijsten verkocht als persoonlijkheidsvragenlijst, maar meten ze eigenlijk iets heel anders. Ik blijf dan ook adviseren om bij de keuze van een test af te gaan op het oordeel van de COTAN. Ook weten we dat de juiste toepassing van een instrument de validiteit beïnvloedt. Zo weten getrainde interviewers dat zij bij de beoordeling van kandidaten niet moeten afgaan op hun intuïtie, maar meer systematische manieren moeten gebruiken om tot een oordeel te komen.
#5. Context geven helpt
Van de moderne instrumenten heeft de emotionele intelligentiemeting de meeste voorspellende waarde (.30). Dit wordt gevolgd door de situationele beoordelingstest (.26). Ook doen zogeheten ‘gecontextualiseerde persoonlijkheidsschalen’ (bijvoorbeeld .25 voor consciëntieusheid) het iets beter dan meer algemene persoonlijkheidsschalen (bijvoorbeeld .19 voor consciëntieusheid). Bij zulke gecontextualiseerde persoonlijkheidsschalen ontvangen kandidaten de instructie om aan werksituaties te denken of zijn de items zo geschreven dat zij specifiek naar werkgedrag vragen. Deze resultaten zijn veelbelovend, mede omdat deze instrumenten over het algemeen relatief kleine scoreverschillen laten zien op basis van etniciteit en kandidaten ze positief ervaren.
#6. Van biodata tot integriteit
De nieuwe metastudie laat ook zien hoe de verschillende selectie-instrumenten tot discriminatie (van etnische minderheden) kunnen leiden. Drie instrumenten met een hoge voorspellende waarden laten relatief grote scoreverschillen op basis van etniciteit zien (arbeidsproef, kennistest, intelligentietest). Er zijn echter ook instrumenten met een hoge voorspellende waarde en relatief kleine scoreverschillen (gestructureerd interview, biodata, integriteitstest).
Vaak is de beste oplossing om een combinatie van selectie-instrumenten te gebruiken.
Het is belangrijk om je hiervan bewust te zijn en verschillende belangen (hoge voorspellende waarde en gelijke kansen) goed af te wegen bij de keuze voor bepaalde instrumenten. Vaak is de beste oplossing om een combinatie van selectie-instrumenten te gebruiken.
Voorspellende waarde is nodig
De voorspellende waarde is een belangrijk aspect bij het kiezen van selectie-instrumenten: zonder voorspellende waarde is een instrument niet nuttig. Uit deze nieuwe metastudie blijkt echter dat heel wat selectie-instrumenten nuttig kunnen zijn bij het vinden van de juiste kandidaat, mits je ze op de juiste manier gebruikt. Het advies is om bij de uiteindelijke keuze niet alleen naar de voorspellende waarde te kijken, maar ook naar gelijke kansen en positieve ervaringen onder kandidaten.
Lees meer
Dit artikel is geschreven door Janneke Oostrom (universitair hoofddocent bij de afdeling Management & Organisatie aan de Vrije Universiteit Amsterdam).
- Lees hier alles van Janneke Oostrom.