In de rubriek ‘Algoritme van de maand‘ laat Bas van de Haterd zijn licht schijnen op een toepassing in de recruitmentindustrie. Dit keer het algoritme van IBM dat met 95% zekerheid schijnt te kunnen voorspellen of iemand op het punt van vertrekken staat.
Heb je te kampen met een recruitmentuitdaging? De beste oplossing is om te beginnen met ervoor te zorgen dat mensen niet vertrekken, of in elk geval dat de mensen van wie je niet wilt dat ze vertrekken dat niet doen. Dus hoe handig is het als je een algoritme hebt dat met 95% zekerheid kan voorspellen of iemand binnen 9 maanden vertrekt? IBM claimt dat te kunnen.
hoe handig is het als een algoritme met 95% zekerheid kan voorspellen of iemand binnen 9 maanden vertrekt?
Dit is geen claim van een verkoper, maar van IBM-CEO Ginni Rometty, die vertelt dat de HR-tools van IBM ook overal intern gebruikt worden. Dat leidt tot veel weerstand, maar elke keer bewijzen ze weer hun waarde.
Welke data gebruikt IBM eigenlijk?
Rometty weigert helaas om enige details te geven over hoe het algoritme werkt en wat voor data ervoor gebruikt worden. Inhoudelijk is er dus helemaal niets over te zeggen. Ook al verkoopt IBM het als een product, het is dus onmogelijk om iets te zeggen over de vraag of het bij andere organisaties ook gaat werken, of dat die organisaties wel de juiste data hebben en wat de voorspellende waarde dan is.
Een werknemer die de waarde van zijn pensioen opvraagt, is een duidelijk indicator dat diegene vertrekt
Ik herinner me een lezing van Dr. John Sumser van jaren geleden waarbij hij aangaf dat een Amerikaan die de waarde van zijn of haar pensioen opvraagt een hele duidelijke indicator is dat die persoon op vertrekken staat. In de VS zijn pensioenen namelijk iets dat je moet omzetten bij vertrek. Dat doen de meeste mensen dus niet tot ze al een nieuwe baan hebben, zeker geen 9 maanden van tevoren.
Ook weet ik dat bij TomTom vele jaren geleden de tevredenheid met de reistijd een van de belangrijkste indicatoren bleek te zijn voor vertrek. Niet de absolute reistijd, maar de tevredenheid met die reistijd. Maar zonder te weten welke data worden gebruikt, is het dus niet mogelijk om te bepalen of IBM echt relevante gegevens heeft.
95% zekerheid, maar hoe is die berekend?
Rometty zegt ook niets over hoe IBM die 95% zekerheid heeft berekend. Hoe weet je zeker dat iemand gaat vertrekken? Is het berekend aan de hand van data uit het verleden? Mensen die vertrokken zijn? Dat lijkt mij de enige mogelijkheid om een claim over voorspellende waarde van vertrek te doen. Maar resultaten uit het verleden geven geen garantie voor de toekomst.
resultaten uit het verleden geven geen garantie voor de toekomst
Laat ik dit omschrijven met een persoonlijk voorbeeld uit het begin van mijn carrière. Weinig bekend feit is dat ik ooit een paar jaar gewerkt heb als dataleverancier voor beleggers. We hadden destijds een uniek product met unieke data ontwikkelend. Na 2 jaar data verzamelen maakten we een model dat op basis van onze data een rendement van 60% per jaar wist te realiseren. Toen we het model het jaar erop fictief lieten beleggen, kwam het slechts tot een rendement van 10%. Als we het model wat aanpasten, boekten we wel meer dan 50% rendement. Het probleem van een model baseren op het verleden is dat het in de toekomst soms niet werkt…
Conclusie: 95% zekerheid bieden is onmogelijk
Dus als ik een uitspraak hoor dat men met 95% zekerheid kan voorspellen dat iemand vertrekt vind ik dat aan de ene kant onwijs interessant, want die signalen opvangen is heel belangrijk. Aan de andere kant weet ik dat het onmogelijk is zo’n zekerheid te noemen.
Interessante, maar niet te controleren statements, zodat het algoritme mij vooral grootspraak lijkt
Het klinkt heel interessant. Ik geloof ook absoluut dat er datapunten zijn die iemands vertrek voorspellen. Ik denk dat we als mensen deze indicatoren vaak over het hoofd zien, maar dat een algoritme die absoluut wel kan zien. Maar of dat ook met 95% zekerheid gebeurt? Ik kan je met 100% zekerheid zeggen dat we dat nooit kunnen zeggen. Omdat je nooit met zekerheid kunt zeggen of je iets voorkomen hebt of dat het anders toch niet was gebeurd. Interessante materie, maar oncontroleerbare statements, waardoor het algoritme mij voorlopig vooral grootspraak lijkt.
Over de auteur van dit blog
Bas van de Haterd is onder meer initiatiefnemer van Digitaal-Werven, een jaarlijks onderzoek naar welke organisatie aan kandidaten de beste digitale sollicitatie-ervaring biedt, en samen met Werf& organisator van TA Live.
Lees hier meer van Bas.