Hoe gestructureerd je ook interviewt, helemaal onbevooroordeeld is een sollicitatieprocedure nooit. Hoe we oordelen over een bepaalde kandidaat hangt bijvoorbeeld sterk af van wie er vóór hem of haar kwam.
Dit zogenaamde ‘volgorde-effect’ in sollicitatieprocedures is zelfs behoorlijk sterk, blijkt uit nieuw onderzoek, uitgevoerd door het in Engeland beroemde Behavioural Insights Team. Onder meer de Nederlandse Janna Ter Meer was daarbij een van de onderzoekers.
Chunking
Om tot hun conclusie te komen, gebruikten de onderzoekers de resultaten van 100 gestructureerde interviews, zoals ze in de eigen organisatie waren afgenomen. In plaats van de ene kandidaat na de andere te beoordelen, probeerden ze het nu anders aan te pakken: per vraag werden de antwoorden verzameld en beoordeeld. ‘Chunking‘ noemden ze dat, een truc die ook leraren op de middelbare school schijnen te gebruiken om proefwerken na te kijken.
150 beoordelaars, 100 antwoorden
In een experiment bekeken ze vervolgens of deze nieuwe volgorde invloed had op de uiteindelijke keuze, en zo ja, welke. Ze vroegen 150 mensen om 100 unieke antwoorden op 4 werkgerelateerde vragen te beoordelen. Die antwoorden waren niet speciaal voor het experiment verzameld, maar kwamen uit echte sollicitaties die het team eerder had ontvangen. De beoordelaars kregen allemaal de antwoorden in een andere volgorde voorgelegd. De scores die zij vervolgens gaven werden daarna vergeleken met een benchmark, waarbij alle scores van de reviewers werden opgeteld.
3 volgorde-effecten
Het resultaat? Kort gezegd: context matters. De onderzoekers vonden zelfs drie verschillende volgorde-effecten:
#1. Beoordelingen worden steeds accurater
Hoe meer antwoorden een beoordelaar las, hoe minder zijn oordeel afweek van het gemiddelde oordeel van alle beoordelaars. Dit effect was statistisch zeer significant, aldus de onderzoekers. Oftewel: hoe meer antwoorden je op een bepaalde vraag leest, hoe beter je de waarde van het antwoord kunt inschatten.
#2. Het helpt om de eerste te zijn
Op een schaal van 1 tot 5 was het gemiddelde van alle beoordelingen een 3,35. Maar als je antwoord als eerste werd beoordeeld, liep dat op tot gemiddeld zelfs 3,52. Dit positieve effect speelt niet alleen bij de eerste vraag, maar bij élke vraag, zo blijkt.
#3. Het maakt heel wat uit wie vóór jou komt
De onderzoekers bepaaden op elk antwoord de beste en de slechtste 10 kandidaten (zoals beoordeeld door de reviewers). Vervolgens keken ze naar welk effect die goede en minder goede kandidaten hadden op de scores van de volgende kandidaten. Daarbij vonden ze ‘sterk bewijs’, zoals ze zelf zeggen, ‘dat de scores voor kandidaten werden beïnvloed door de kandidaten die er direct voor aan de beurt waren geweest’.
Een gemiddelde kandidaat krijgt een hogere score als hij na een mindere kandidaat wordt beoordeeld
Een gemiddelde kandidaat krijgt een lagere score als hij of zij na een geweldige kandidaat wordt beoordeeld, en een hogere score na een mindere kandidaat. Dit laatste effect blijkt overigens het grootst te zijn. Het blijkt zelfs niet alleen voor de eerstvolgende kandidaat te gelden; ook nummer 2 en 3 in de rij profiteren nog van een kandidaat die als slecht beoordeeld is. Daar staken zij gunstig bij af. In de ogen van de beoordelaars dan.