Wie messe ich den Erfolg eines Personalvermittlers?

Bertrand Russell
der damit nichts zu tun hat

Wenn der Personalvermittler eine Stelle in einer Zeitung ausschreibt und darauf 100 Dossiers bekommt, von denen er 10 auswählt und an seine Auftraggeber weiterreicht, woher wissen wir, dass es die 10 geeignetsten Kandidaten waren?
Sicher, er hat eine Auswahlstrategie, von der er selbst überzeugt ist, dass sie die besten Ergebnisse liefert, doch wenn der Auftraggeber nie die restlichen 90 Kandidaten zu Gesicht bekommt, wird man nie wissen, ob die Strategie und die Auswahl auch wirklich überdurchschnittlich gut sind.
Kandidaten, die den Auftraggeber zufriedenstellen, bestätigen das Vertrauen des Personalvermittlers in seine Strategie. Wenn aber keine zufriedenstellenden Kandidat von der Strategie ans Licht gefördert werden, dann heisst das für dem Personalvermittler nicht notwendigerweise, dass dann wohl die geeigneten Kandidaten im Aussschuss gelandet sind und die Strategie entsprechend nichts taugt, sondern dass es einfach keine geeigneten Kandidaten unter den Einsendungen gab.
Sprich die Strategie wird durch den Erfolg bestätigt und durch den Misserfolgt nicht nur nicht relativiert, sondern tendenziell sogar bestätigt.

Gibt es eine Möglichkeit diesem Bestätigungsfehler (confirmation bias) zu entkommen?

Eine Möglichkeit wäre, wenn der Personalvermittler nur 9 Dossiers entsprechend seiner Strategie auswählt und das letzte als Joker zufällig aus dem Ausschussstapel zieht. Wenn der Auftraggeber beim Verhältnis 9:1 den Joker von 10 Aufträgen mindestens 4 mal entdeckt, macht der Personalvermittler seine Sache gut. Sonst nicht wirklich.