Begin bij het anker, niet bij de score
Een kader zonder ankers laat de betekenis van een score aan de beoordelaar. Schrijf voor elk niveau een korte beschrijving: wat een sterk antwoord bevat, wat een gedeeltelijk antwoord bevat en wat ontbreekt. Gebruik dezelfde woorden als de interviewvragen, zodat de beoordelaar het antwoord aan het criterium kan koppelen.
Een anker kan een zin en een voorbeeld zijn. Voor een criterium over plannen vraagt het sterke anker misschien om een volgorde, een risico en een controlemoment. Het gedeeltelijke anker vraagt om een volgorde zonder risico. Het ontbrekende anker beschrijft een antwoord dat algemeen blijft.
Score dezelfde opname apart
Pak een opname die het team al heeft beoordeeld. Laat elke manager die alleen scoren met het kader. Toon de scores niet voordat iedereen een notitie heeft geschreven. Als de scores op tafel liggen, vraagt je iedereen naar de zin in de transcriptie die de score ondersteunt.
Deze oefening laat zien waar het kader vaag is. De ene manager leest een algemeen antwoord als sterk omdat het zelfverzekerd klinkt. De andere leest hetzelfde antwoord als gedeeltelijk omdat er geen voorbeeld is. Het verschil is geen karakterfout. Het is een gat in het anker.
Vergelijk het bewijs, niet de persoon
Als beoordelaars het oneens zijn, vraag dan welk bewijs ze gebruikten en bij welk criterium dat hoort. Houd het gesprek bij de opname. Maak van de sessie geen beoordeling van het oordeel van de manager. De vraag is of het kader beide beoordelaars een gedeelde manier geeft om het antwoord te lezen.
Als het bewijs hetzelfde is en de scores verschillen, heeft het anker een beslisregel nodig. Als het bewijs verschilt, heeft een beoordelaar misschien een deel van de transcriptie gemist. Spoel terug, lees de passage en scoor opnieuw met de regel in gedachten.
Schrijf de regel op
Werk het kader na de sessie bij met de voorbeelden die het team besprak. Voeg een korte notitie toe voor het geval dat het verschil veroorzaakte. Bewaar de notitie naast het criterium, zodat een nieuwe beoordelaar haar voor het volgende interview kan lezen.
Leg de beslissing op een gedeelde plek vast. Een regel die alleen in het geheugen van de mensen in de ruimte leeft, verdwijnt wanneer een manager van team wisselt. De opgeschreven regel helpt ook wanneer een kandidaat of een collega vraagt waarom een score is gegeven.
Zoek afwijking in de reviewnotities
Lees een selectie van reviewnotities en zoek naar zinnen die niet naar het kader verwijzen. Opmerkingen over sympathie, accent of presentatie zijn een signaal dat de beoordelaar de criteria heeft verlaten. Opmerkingen die de vraag herhalen zonder bewijs zijn een signaal dat de notitie uit het geheugen is geschreven.
Vraag beoordelaars om het deel van het antwoord te citeren of parafraseren dat ze scoorden. Die gewoonte maakt de notitie bruikbaar in een gesprek en maakt afwijking zichtbaar voordat zij een beslissing bereikt.
Houd de routine klein
Een kalibratiesessie heeft geen lange agenda nodig. Eén opname, één kader en één vraag over het bewijs zijn genoeg om te beginnen. Kies een moment waarop een nieuwe rol, een nieuw kader of een nieuwe beoordelaar komt, en voeg een korte controle toe na een beslissing die lastig uit te leggen was.
Consistent scoren is een praktijk, geen certificaat. Het team komt er door hetzelfde bewijs langs dezelfde ankers te lezen en door op te schrijven wat het heeft geleerd. Elke sessie voegt een beetje duidelijkheid toe aan de volgende review.