Een sollicitant voor een groep een opdracht geven om live op een whiteboard uit te werken? Het is meer een stresstest dan een werkelijk assessment van iemands vaardigheden, blijkt uit nieuw onderzoek van North Carolina State University, in samenwerking met Microsoft. Als manier om kandidaten te beoordelen is het in elk geval volstrekt onvoldoende, zo stellen de onderzoekers. ‘Zulke opdrachten kunnen zelfs voor nieuwe bias zorgen en hele groepen uitsluiten.’
‘Veel goed gekwalificeerde kandidaten worden hierdoor juist afgewezen.’
Het lijkt in principe een mooie manier om te testen hoe goed een (IT-)sollicitant in de praktijk is. Geef hem of haar een opdracht, zet hem of haar voor een whiteboard, en laat dan maar zien hoe je tot een oplossing komt. De beste sollicitant komt zo vanzelf bovendrijven, zo is de achterliggende gedachte. Maar zo makkelijk is het in de praktijk zeker niet, stelt Chris Parnin, co-auteur van het onderzoek. ‘Veel goed gekwalificeerde kandidaten worden hierdoor juist afgewezen, omdat ze niet gewend zijn om tegenover een publiek op een whiteboard te werken.’
Probleem voor hele branche
Zulke zogenoemde ‘technische interviews’ kunnen niet alleen een goede werving en selectie in de weg staan, ze kunnen zelfs de hele branche een probleem opleveren, als ze veel ontwikkelaars doen afhaken, aldus de onderzoekers. Eerder onderzoek liet al zien dat veel softwareontwikkelaars weinig vertrouwen hebben in deze selectiemethode. Het nieuwe onderzoek onderstreept die vermoedens nog eens.
Deze ‘technische interviews’ kunnen de hele branche een probleem opleveren.
De onderzoekers voerden ‘technische interviews’ uit met bijna 50 IT-studenten. De ene helft van hen kreeg een conventioneel technisch interview, dus met een interviewer die over de schouder van een sollicitant meekijkt hoe hij of zij een probleem te lijf gaat, terwijl die sollicitant tegelijkertijd uitlegt wat hij of zij aan het doen is. De andere helft kreeg hetzelfde probleem voorgelegd, maar mocht het in een privékamer oplossen, dus zonder interviewer erbij. Deze kandidaten hoefden hun oplossing dus ook niet hardop uit te leggen, zoals de eerste groep wel moest.
Er zit bias in
Uit de resultaten van beide groepen, bleek dat de laatste uiteindelijk beduidend beter presteerde. Parnin: ‘Daaruit valt af te leiden dat veel bedrijven momenteel goede ontwikkelaars missen, omdat deze niet goed zijn in het schrijven op een whiteboard en het hardop uitleggen van wat ze aan het doen zijn. Terwijl ze wél tot goede oplossingen kunnen komen.’
‘Het format kan een barrière voor hele groepen aan kandidaten zijn.’
Bovendien zit er volgens hem ook (kans op) bias in deze methode. ‘Interviewers kunnen kandidaten voor wie ze een voorkeur hebben bijvoorbeeld makkelijker opdrachten geven. Maar het format kan ook een barrière zijn voor hele groepen aan kandidaten. Zoals voor vrouwen. In onze studie was er bijvoorbeeld geen enkele vrouw die slaagde voor de publieke test. Terwijl alle vrouwen die privé aan de opdracht mochten werken deze wél tot een goed einde brachten. Onze onderzoekspopulatie was misschien niet groot, en meer onderzoek is nodig voor echt stevige conclusies. Maar ik vind het op zich al zeer zorgwekkend dat de opzet van het interviewproces al zó bepalend is, dat een hele groep erdoor wordt buitengesloten.’
‘Zorgwekkend dat de opzet van het interviewproces al bepaalt wie wordt buitengesloten.’
Als alles doorgaat zoals gepland, presenteren de auteurs al hun bevindingen in november op het virtuele ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering.