Ein entscheidungstheoretischer Ansatz zum Prädiktor und Kriterium der Industrie

Das Problem der Auswahl kann aus einer etwas anderen Perspektive betrachtet werden als der verwendeten. Dieser zweite Ansatz erweist sich als insofern interessant, als wir feststellen werden, dass die Gültigkeit des Prädiktors bei der Auswahl möglicherweise nicht so wichtig ist, wie dies aus dem traditionellen Standpunkt der Fall ist. Unsere neue Perspektive basiert auf einem Entscheidungstheorie-Modell. Wir sollten damit beginnen, das Ziel in einer typischen Auswahlsituation neu zu formulieren. In vielen Auswahlsituationen möchten wir eine Schnittbewertung für unseren Prädiktor festlegen, die dazu führt, dass unsere Entscheidungsfehler minimiert werden.

In dieser Art von Situation ist die Annahme impliziert, dass das Auswahlverhältnis nach Belieben manipuliert werden kann. Das heißt, es ist nicht auf einen bestimmten Wert festgelegt. Ebenfalls implizit ist die Vorstellung, dass unsere Kriteriumvariable sinnvoll in zwei oder mehr verschiedene Gruppierungen unterteilt werden kann, z. B. "erfolgreich" und "nicht erfolgreich". Unser Ziel ist es, die Schnittbewertung (die mit der Auswahl des Auswahlverhältnisses identisch ist) in der richtigen Reihenfolge zu manipulieren die Anzahl der Fehler zu minimieren, die in unserem Prozess der Entscheidung, ob eine Person eingestellt oder abgelehnt werden soll, gemacht wurde.

Zuvor haben wir darauf hingewiesen, dass es zwei verschiedene Arten von Entscheidungsfehlern im Auswahlparadigma gibt, falsch positive und falsch negative, wie unten gezeigt:

Unser Ziel ist es dann, den Abschneidepunkt zu finden, der die geringste Anzahl von Gesamtfehlern zur Folge hat. Aus Bequemlichkeitsgründen gehen wir davon aus, dass beide Arten von Fehlern gleich teuer sind. Das heißt, wir haben keinen Grund, einen falsch positiven Fehler einem falsch negativen Fehler vorzuziehen oder umgekehrt. Durch diese Annahme ist es möglich, das Problem direkt in Bezug auf die Minimierung der Gesamtzahl beider Arten von Fehlern zu formulieren, anstatt die beiden Arten von Fehlern nach ihren jeweiligen "Kosten" abwägen zu müssen.

Lage des Grenzpunktes:

Um zu veranschaulichen, wie das Problem des Ermittelns eines optimalen Ortes für unseren Schneidewert angegangen werden kann, betrachten Sie den Fall, in dem wir eine bestimmte Gültigkeit haben (z. B. etwa 0, 70) und einen bestimmten Prozentsatz der anwesenden Angestellten als erfolgreich erachtet (häufig in diesem Zusammenhang als bezeichnet) der "Basistarif").

Dies kann wie folgt dargestellt werden:

Der nächste Schritt besteht darin, dieselben Daten in einer etwas anderen Form darzustellen. Erstens wissen wir, dass unsere gesamte Mitarbeitergruppe eine normale Verteilung hinsichtlich ihrer Prädiktorwerte hat. Zweitens, und ebenso wichtig, wird angenommen, dass beide Untergruppen (erfolgreich und nicht erfolgreich) normale Verteilungen haben. Anhand des obigen Beispiels lässt sich leicht ableiten, dass der mittlere Prädiktorwert der erfolgreichen Gruppe höher sein wird als der der erfolglosen Gruppe.

Wir könnten dies wie folgt darstellen:

Beide Verteilungen sind gleich groß, da sie auf der gleichen Anzahl von Personen basieren (dh 50 Prozent in jeder Gruppe). Es gibt eine algebraische Beziehung zwischen der Differenz zwischen den Mittelwerten der beiden Untergruppen in dieser Weise und der Größe des Korrelationskoeffizienten. Wenn sich die Gruppenmittel signifikant voneinander unterscheiden (beispielsweise bei einem Signifikanzniveau von 0, 05), wird auch der Korrelationskoeffizient auf demselben Niveau als signifikant befunden.

Wenn wir unser Diagramm noch einen Schritt weiter gehen, können wir die beiden Häufigkeitsverteilungen der Untergruppen nebeneinander auf derselben Grundlinie platzieren, wie unten gezeigt.

Nachdem wir dies getan haben, können wir nun zu unserer ursprünglichen Frage zurückkehren - wo finden wir eine Abschneidung im Prädiktor, so dass die Gesamtzahl der Fehler minimiert wird? Es stellt sich heraus, dass die mathematische Lösung dieses Problems zu einer sehr einfachen Antwort führt: Der Abschneidepunkt, der den Gesamtfehler minimiert, ist der Punkt, an dem sich die beiden Verteilungen schneiden.

Dies kann auf konzeptioneller Ebene leicht demonstriert werden, indem die drei unten dargestellten Fälle betrachtet werden. Die gleiche Differenz zwischen den Mitteln (dh dieselbe Korrelation) wird in jedem Fall verwendet - alles, was geändert wurde, ist der Ort des Abschneidepunkts auf dem Prädiktor.

In Abbildung (a) ist die Anzahl der Fehlalarme (Fehler, die über dem Cutoff liegen) durch den Bereich B angegeben. Die Anzahl der False Negatives (Erfolge, die unter dem Cutoff liegen) wird durch den Bereich A angegeben .

Gesamtfehler = A + B

Zur Veranschaulichung (b) ist die Anzahl der falschen Positiven durch B und die Anzahl der falschen Negativen durch A + C angegeben.

Gesamtfehler = A + B + C

Zur Veranschaulichung (c) ist die Anzahl der falschen Positiven durch B + C angegeben und die Anzahl der falschen Negativen ist durch A angegeben.

Gesamtfehler = A + B + C

Da die Inspektion aller drei Abbildungen schnell bestätigt, dass der Bereich A + B für alle drei Fälle derselbe ist, ist es offensichtlich, dass der Fehler um einen bestimmten Betrag C erhöht wird, wenn der Grenzwert (in beide Richtungen) vom Punkt weg bewegt wird an dem sich die beiden Verteilungen kreuzen.

Einige ungewöhnliche Auswirkungen:

Wir haben jetzt ein allgemeines Prinzip zum Ermitteln einer Schnittpunktzahl, die die Gesamtzahl der Fehler in einer Auswahlentscheidungssituation minimiert, nämlich am Schnittpunkt.

Es stellt sich heraus, dass, solange beide Arten von Fehlern gleichermaßen teuer sind, dies eine sehr allgemeine Regel ist und nicht betroffen ist von:

(1) die relativen Größen der beiden Gruppen (dh die als erfolgreich angesehenen Prozentsätze) oder

(2) Die jeweiligen Abweichungen oder Streuungen der beiden Verteilungen.

Dies führt zu einigen interessanten und sehr wichtigen Aspekten des allgemeinen Vorhersageproblems bezüglich des Verhältnisses von Testvalidität und Testnutzen. Rorer, Hoffman, LA Forge und Hsieh (1966) haben auf drei interessante Fälle hingewiesen.

Fall 1:

Sowohl die Mittelwerte als auch die Abweichungen der beiden Gruppen unterscheiden sich voneinander. Nehmen wir an, unsere erfolgreiche Gruppe hat die gleiche Größe wie die erfolglose Gruppe und hat einen signifikant höheren Mittelwert für den Prädiktor, aber ihre Varianz ist viel geringer.

Ein Diagramm einer solchen Situation sieht wie folgt aus:

Unser Prinzip der Festlegung von Grenzpunkten besagt, dass wir sie dort platzieren sollten, wo sich die beiden Verteilungen schneiden. Beachten Sie, dass dies in diesem Fall zweimal geschieht. Wir haben also eine obere und eine untere Grenze. Wir sollten nur diejenigen Personen auswählen, die in Bezug auf ihre Testergebnisse in das Intervall zwischen den Grenzwerten fallen. Alle anderen Abschneidepunkte führen zu einem größeren Gesamtfehler, als dies bei den Schnittpunkten der Schnittpunkte der Fall wäre.

Fall 2:

Gruppen haben gleiche Mittel, aber unterschiedliche Abweichungen. In diesem sehr interessanten Fall unterscheiden sich die beiden Gruppen nicht hinsichtlich ihres mittleren Prädiktorwerts, dh im Durchschnitt sind die erfolglosen Angestellten im Test genauso gut wie die erfolgreichen Angestellten. Dies impliziert, dass der Korrelationskoeffizient zwischen dem Prädiktor und dem Kriterium Null ist. Wir haben jedoch weiter festgestellt, dass sich die beiden Gruppen hinsichtlich ihrer Variabilität unterscheiden.

Wenn wir davon ausgehen, dass die erfolgreiche Gruppe die Gruppe mit der geringeren Variabilität ist, können wir dies schematisch wie folgt ausdrücken:

Obwohl beide Gruppen die gleiche Durchschnittskriteriumsbewertung aufweisen, ist es möglich, Grenzwerte zu entwickeln, die die Vorhersage gegenüber den derzeit durchgeführten Verfahren verbessern, da sich die beiden Verteilungen aufgrund ihrer ungleichen Variabilität an zwei Punkten schneiden. Somit gibt es die einzigartige Situation, in der es keine scheinbare Gültigkeit gibt (gemessen durch einen Korrelationskoeffizienten), in der jedoch die Vorhersage durch Verwendung geeigneter Grenzwerte erheblich verbessert werden kann.

Fall 3:

Gruppenmittel unterscheiden sich erheblich, aber auch die Gruppengröße ist sehr unterschiedlich. Angenommen, wir haben es mit einer Situation zu tun, in der die Basisquote der erfolglosen Mitarbeiter sehr gering ist, das heißt, etwa 90 Prozent unserer heutigen Mitarbeiter gelten als erfolgreich. Eine solche Situation zeigt das folgende Diagramm.

Hier haben wir eine andere einzigartige Situation. Obwohl sich die Gruppenmittel wesentlich unterscheiden können, so dass eine wesentliche Korrelation zwischen dem Kriterium und dem Prädiktor besteht, ist es nicht möglich, eine Grenze festzulegen, die dazu führt, dass der Fehler gegenüber dem, was gegenwärtig mit den gegenwärtigen Verfahren erzielt wird, verringert wird. Aufgrund des ausgeprägten Größenunterschieds zwischen den beiden Gruppen sehen wir, dass sich die beiden Verteilungen an keiner Stelle schneiden.

Bei unserem derzeitigen Auswahlsystem machen wir nur in 10 Prozent der Fälle Fehler. Wenn wir unsere Grenze in Fall 3 von links nach rechts verschieben (sie befindet sich anfangs ganz links, da wir derzeit alle diese Personen auswählen), werden wir natürlich einige der bisher erfolglosen Personen beseitigen unter dem gegenwärtigen System beschäftigt.

Gleichzeitig werden wir jedoch anfangen, Mitarbeiter abzulehnen, die sich als erfolgreich erweisen würden. Ein Blick auf das Diagramm zeigt uns schnell, dass dieser Anstieg der Falsch-Negativen größer wäre als der entsprechende Rückgang der Falsch-Positiven, unabhängig davon, wo wir unsere Abschaltung vornehmen. Daher führt jeder testbasierte Cut-off zu mehr Fehlern als ohne den Test, auch wenn der Test sehr gültig ist.