Bestimmung des Nutzens eines Auswahlinstruments in der Industrie

Der Nutzen eines Vorhersagegeräts ist der Grad, in dem seine Verwendung die Qualität der Personen verbessert, die über das hinausgehen, was geschehen wäre, wenn dieses Gerät nicht verwendet worden wäre. Gültigkeit und Zuverlässigkeit, die beide eine wichtige Rolle bei der Bestimmung des Nutzens eines Auswahlinstruments spielen. Daneben gibt es jedoch noch einige andere Faktoren, die für die Bestimmung des Nutzens in jeder Situation, in der sich die Gruppenauswahl befindet, gleichermaßen kritisch sind.

Diese zusätzlichen Variablen sind:

(1) Kriteriumszuverlässigkeit,

(2) Relevanz des Kriteriums

(3) das Auswahlverhältnis und

(4) Der Prozentsatz der angestellten Angestellten gilt als erfolgreich.

Der Leser wird darauf hingewiesen, dass Gruppenprognose der Prozess der systematischen Auswahl einer Teilstichprobe von Bewerbern ist, die im Durchschnitt eher dazu geeignet sind, erfolgreich zu sein als entweder die gesamte Gruppe oder eine zufällig ausgewählte Untergruppe. Dies unterscheidet sich von dem Prozess der individuellen Vorhersage, bei dem es darum geht, die Erfolgswahrscheinlichkeit einer bestimmten Person und nicht einer Gruppe von Personen vorherzusagen.

Natürlich gibt es Auswahlsituationen, die sowohl Gruppen- als auch Einzelaspekte der Auswahl betreffen. Ein Beispiel ist ein Auswahlprogramm, das von der United States Navy bei der Auswahl von Flugkadetten verwendet wird. Die Marine verwendet Gruppenvorhersagetechniken vor und während der verschiedenen Phasen des Flugtrainings.

Darüber hinaus müssen auch Vorhersagen für einen bestimmten Kadett und seine individuelle Erfolgswahrscheinlichkeit im Programm getroffen werden. Diese letzteren Arten von Vorhersagen werden immer dann benötigt, wenn der Rekord eines Kadetten während des Trainings unzureichend genug ist, um ihn vor ein Review Board zu bringen. Für dieses Navy-Programm werden dieselben grundlegenden Prädiktoren sowohl für die Gruppen- als auch für die individuellen Vorhersagen verwendet.

Vorhersage-Gültigkeit:

Der primäre statistische Index, der den Nutzen eines Vorhersageinstruments beeinflusst, ist seine Gültigkeit. Während gezeigt wird, dass Situationen mit niedriger oder sogar null Gültigkeit unter bestimmten Bedingungen immer noch zu einer recht erfolgreichen Auswahl führen können, bleibt der Gültigkeitskoeffizient die zentrale Variable bei der Auswahl. Zur Veranschaulichung betrachten Sie die in Abbildung 2.10 gezeigten Diagramme, in denen zwei verschiedene Prädiktor-Kriterium-Beziehungen gezeigt werden, eines mit einer Gültigkeit von 0, 00 und das andere mit einer Gültigkeit von 0, 70. In beiden Fällen wurde ein Cut-off-Score für den Prädiktor festgelegt, der es uns ermöglicht, die obersten 50 Prozent der Testpersonen zu erreichen.

Welcher Prädiktor wird dazu führen, dass die durchschnittliche Kriteriumsbewertung der ausgewählten Gruppe im Vergleich zu früheren Methoden (dh der Zufallsauswahl) am stärksten ansteigt? Wenn wir zuerst den Prädiktor A in Bezug auf die Verteilung der Personen auf die Kriteriendimension betrachten, stellen wir fest, dass der mittlere Kriteriumsfaktor der "akzeptierten" Gruppe genau der Gruppe "abgelehnt" entspricht. Das bedeutet, dass die Personen, die akzeptiert werden, indem sie die obere Hälfte der Ergebnisse von Test A abnehmen, keine höheren Kriteriumswerte aufweisen als die untersten 50 Prozent der Tester von Test A, wie in Abbildung 2.11 gezeigt.

Wenn wir jedoch Prädiktor B betrachten, sehen wir ein ganz anderes Bild. Wir können sofort erkennen, dass diese Personen, die über dem Grenzwert liegen, das Kriterium besser als die Personen unter dem Grenzwert zu verbessern scheinen. Das heißt, die Personen oberhalb der Grenze haben eine höhere Durchschnittspunktzahl als die darunter liegenden. Dies ist in Abbildung 2.12 dargestellt, in der wiederum die drei Verteilungen der Kriteriumswerte dargestellt sind.

Wir scheinen also unser erstes allgemeines Prinzip in Bezug auf den Testnutzen zu haben: Angesichts einer willkürlich festgelegten Grenze für einen Test gilt: Je höher die Gültigkeit, desto größer ist der Anstieg der durchschnittlichen Kriteriumsbewertung für die ausgewählte Gruppe gegenüber dem für die Gesamtgruppe beobachteten Wert.

Mit anderen Worten, der Unterschied:

(X _{ausgewählte Gruppe} ) - (X _Gesamtgruppe )

wird in direktem Verhältnis zur Testgültigkeit zunehmen. In der Tat kann dies algebraisch gezeigt werden (später werden wir einige Ausnahmen von diesem ersten Prinzip sehen). Vor kurzem haben Naylor und Shine (1965) eine Reihe von Tabellen veröffentlicht, die eine einfache Berechnung der Erhöhung der durchschnittlichen Kriteriumsbewertung ermöglichen, die mit jedem Test erreicht wird, vorausgesetzt, dass die Testgültigkeit und der Testgrenzwert angegeben werden können. Diese Tabelle ist im Anhang zusammen mit Erklärungen und Beispielen für ihre Verwendung aufgeführt.

Auswahlquote und Prozentsatz der erfolgreichen Mitarbeiter:

Zwei weitere Variablen, die eine wichtige Rolle bei der Bestimmung des Nutzens eines Prädiktors spielen, sind die Auswahlquote und der Prozentsatz der als erfolgreich eingestuften Mitarbeiter. Der Leser wird sich daran erinnern, dass der Nutzen eines Prädiktors als die Verbesserung der Qualität der Einstellungen definiert wurde, die unter Verwendung einer Prädiktionsvorrichtung erhalten wurden, im Vergleich zu den gegenwärtigen Auswahlverfahren.

Die Qualität wird typischerweise definiert als (1) die durchschnittliche Kriteriumsbewertung der Gruppe oder (2) als Anteil der Personen in dieser Gruppe, deren Kriteriumswerte über einem bestimmten Wert liegen, der für einen bis als minimal angesehen wird ein erfolgreicher Mitarbeiter sein. Bei einem gegebenen erhaltenen Gültigkeitsbeiwert zwischen Kriterium und Prädiktor führt eine Manipulation des Auswahlverhältnisses und / oder eine Änderung des Prozentsatzes der als erfolgreich angesehenen Angestellten zu erheblichen Änderungen in der resultierenden Qualität der eingestellten (ausgewählten) Mitarbeiter.

Auswahlverhältnis:

Einfach beschrieben kann das Auswahlverhältnis (SR) wie folgt ausgedrückt werden:

n / N = SR

Wobei n = Anzahl der offenen Stellen ist

N = Anzahl der Bewerber, die für die Vermittlung zur Verfügung stehen

Wenn der SR gleich oder größer als 1, 00 ist, hat die Verwendung eines Auswahlgeräts wenig Bedeutung. Mit mehr Stellenangeboten als Bewerbern befindet sich der Bewerber auf einem Verkäufermarkt, auf dem das Unternehmen möglicherweise seine Dienstleistungen unabhängig von seiner Qualität erwerben muss. Wenn der SR jedoch weniger als 1, 00 beträgt, gibt es mehr Bewerber als Stellen, und der Arbeitgeber ist in der Lage, in Bezug auf die Einstellung selektiv zu sein.

Die Art und Weise, wie der SR den Auswahlprozess beeinflussen kann, lässt sich am besten anhand von Abbildung 2.13 demonstrieren. In Abbildung 2.13a ist ein Streudiagramm von Scores dargestellt, das ungefähr der Form entspricht, die mit einer großen Personengruppe und einer Korrelation zwischen Prädiktor und Kriterium von 0, 70 erwartet werden konnte (je höher die Korrelation, desto näher das Streudiagramm.) wird sich einer geraden Linie nähern; je niedriger die Korrelation ist, desto näher kommt das Streudiagramm an einen Kreis heran. Der schattierte Anteil des Ovals stellt den Anteil der tatsächlich gemieteten Bewerber dar, dh die SR. In Abbildung 2.13a ist eine SR von 100 dargestellt. Für jeden Bewerber gibt es eine offene Stelle, daher werden alle eingestellt.

In Teil b von Abbildung 2.13 sehen wir, was mit der durchschnittlichen Qualität der Angestellten geschieht, wenn die SR 0, 80 wird. Da es nur für 80 Prozent der Bewerber Arbeitsplätze gibt, wird der Arbeitgeber die 80 Prozent mit den höchsten Prädiktorwerten logischerweise einstellen, da der Prädiktor in hohem Maße mit der späteren Kriteriumsleistung zusammenhängt.

Diese 80 Prozent werden durch die schattierte Fläche des Ovals dargestellt, die rechts vom Abschneidepunkt des Prädiktors fällt. Da die Ausscheidenden in der Regel niedrige Kriteriumskennzahlen aufweisen, kann man leicht erkennen, dass der durchschnittliche Kriteriumskennwert für die mit einem SR von 0, 80 gemieteten Personen höher ist als bei einer zufälligen Gruppe von Bewerbern, wie in Abbildung 2.13a. Dieser Anstieg der durchschnittlichen Qualität zeigt sich noch deutlicher in Abbildung 2.13c, die eine SR von 0, 20 zeigt. In einer Situation, in der zehn Bewerber für jeweils zwei Jobs zur Verfügung stehen, sitzt der Arbeitgeber "hübsch" - er kann jetzt die Top 20 Prozent der Leistungsträger auswählen. Diese Individuen werden durch den schattierten Bereich des Ovals dargestellt, der rechts von der Grenze in Abbildung 2.13c fällt. Der Unterschied in der durchschnittlichen Qualität der Kriteriumsbewertung für diese ausgewählte Untergruppe ist im Vergleich zu der der gesamten Gruppe sehr groß. Die Vorteile für den Arbeitgeber in Bezug auf den Dollar in dieser Situation sollten sicherlich erheblich sein.

Das allgemeine Prinzip, dass eine niedrigere Auswahlquote immer dazu führt, dass Mitarbeiter mit höherer Qualität eingestellt werden, gilt, solange die Beziehung zwischen dem Prädiktor und dem Kriterium einen Wert größer als Null hat (negative oder positive rs sind gleich wirksam, wenn sie gleich groß sind). . In der Tat kann gezeigt werden, dass das Prinzip des Auswahlverhältnisses in einigen Fällen effektiv genutzt werden kann, auch wenn alle Bewerber eingestellt werden müssen. Dies kann vorkommen, wenn mindestens zwei Jobs vorhanden sind, von denen jede eine Anzahl von Öffnungen hat und von denen jeder einen eigenen Prädiktor mit einer Gültigkeit von mehr als null hat.

Prozentsatz der derzeitigen Mitarbeiter, die erfolgreich sind:

In unserer Diskussion über die Gültigkeit und die SR haben wir bisher davon ausgegangen, dass das Kriterium kontinuierlich ist, und je höher der Kriteriumswert ist, desto zufriedenstellender wird der Arbeitnehmer betrachtet. Nehmen wir nun an, ein Kriterium für ein Kriterium gibt an, ob ein Arbeitnehmer entweder zufriedenstellend oder unbefriedigend ist. Wenn er also über einem Standard liegt, gilt er als zufriedenstellend und wenn er unter diesem Standard liegt, gilt er als unbefriedigend. Die Diagramme in Abbildung 2.14 veranschaulichen dies.

In Teil a wird eine Beziehung von etwa 0, 70 zwischen dem Kriterium und dem Prädiktor gezeigt. Beachten Sie, dass die horizontale Linie, die als Kriterium für die Abgrenzung bezeichnet wird, alle Arbeiter in zwei Gruppen einteilt: diejenigen, die als erfolgreich und als nicht erfolgreich betrachtet werden. Eine solche Grenze muss natürlich eher willkürlich sein. In vielen Fällen ist es jedoch nicht allzu schwierig, einen Konsens über eine akzeptable Mindestleistung zu erzielen.

Teil b von Abbildung 2.14 zeigt dieselben Daten mit einem Prädiktorausschluss basierend auf einem Auswahlverhältnis von etwa 0, 5. Der letzte Teil der Abbildung zeigt beide Ausschnitte zusammen. Wenn auf diese Weise kombiniert, wird es möglich, zwischen den verschiedenen Unterabschnitten der Daten zu unterscheiden, die durch den Schnitt der beiden Abschneidelinien gebildet werden.

Teil A. Diejenigen Bewerber, die sich rechts neben der Testpunktgrenze und oberhalb der Kriteriengrenze befinden, werden als "True Positive" bezeichnet. Sie sind diejenigen, bei denen der Test sagt, dass sie erfolgreich sein sollten und die gemäß dem Kriterium tatsächlich erfolgreich sein werden. Sie stellen korrekte Entscheidungen dar, die auf dem Test basieren.

Teil B. Dieses Segment umfasst diejenigen Bewerber, deren Bewertungen unterhalb der Prädiktorgrenze und unterhalb der Kriteriengrenze liegen. Diese wahren Negative heißen diese Bewerber ebenso wie die wahren Positiven, dass sie auf der Grundlage des Prädiktors korrekte Entscheidungen darstellen.

Teil C. Diese Antragsteller haben Bewertungen unterhalb der Prädiktorgrenze, aber oberhalb der Kriteriengrenze. Diese Personen würden nicht eingestellt, wenn die Einstellungsentscheidungen auf der Prüfung basierten, obwohl ihre letztendlichen Kriterien hoch genug waren, um sie in die zufriedenstellende Kategorie einzustufen. Dies stellt eine Art Fehler oder Fehler dar, der beim Testen auftritt und als falsche Negative bezeichnet wird.

Teil D. Der letzte Abschnitt des Ovals besteht aus Bewerbern, die eingestellt werden würden, sich aber in ihrer Arbeit als unbefriedigend herausstellen würden. Diese Personen stellen auch „Fehler“ im Auswahlprozess dar und werden als Fehlalarme bezeichnet.

Unter Verwendung der verschiedenen Teile von Abbildung 2.14c können mehrere sinnvolle Verhältnisse erstellt werden. Zum Beispiel,

(1) C + D / A + B

Dies ist ein Verhältnis der Anzahl der Fehler bei der Auswahl zur Anzahl der korrekt platzierten Mitarbeiter. Die Größe dieses Verhältnisses hängt von allen drei Variablen ab: dem Ort der Kriteriumsgrenze, dem Ort der Prädiktorgrenze und dem Gültigkeitsfaktor. Nicht nur die Größe dieses Verhältnisses wird durch diese Variablen beeinflusst, sondern auch die relative Größe der beiden Arten von Fehlern, C und D. Normalerweise ist der Arbeitgeber mehr an der Minimierung von gefälschten Positiven interessiert als an der Anzahl der falschen Negativen .

Dies wird häufig von denjenigen wahrgenommen, die sich gegen Tests als eines der größten Übel der wissenschaftlichen Auswahl durch Tests erheben, nämlich dass einige Personen abgelehnt werden, die im Beruf erfolgreich wären, wenn sie die Möglichkeit hätten, sich selbst zu beweisen. Der Leser muss die Vor- und Nachteile dieses Problems für sich selbst abwägen - die Autoren weisen lediglich auf die Schwierigkeit hin.

Die Autoren beeilen sich jedoch schnell hinzuzufügen, dass Industriepsychologen genauso sozial eingestellt sein können wie ihre Kritiker. Industriepsychologen verfügen im Allgemeinen über die Daten, um die ganze Geschichte zu erzählen, während einige Kritiker ohne jegliche Daten lediglich über einen Fehler „brüllen“.

Ein anderes Verhältnis der Wichtigkeit ist gegeben durch

(2) A + C / A + B + C + D = derzeit erfolgreicher Prozentsatz

Dies entspricht dem prozentualen Anteil der heutigen Mitarbeiter, die zufriedenstellend sind. Es ist ein Basisprozentsatz, der den Erfolgsgrad ausdrückt, der mit den vor der Einführung des Prädiktors verwendeten Auswahlverfahren erzielt wird. Das dritte Verhältnis,

(3) A / A + D = erfolgreicher Prozentsatz unter Verwendung des Prädiktors ist ein Ausdruck des Anteils der angestellten Bewerber, die erfolgreich sein werden, wenn der Prädiktor zusammen mit den derzeit angewandten Methoden als Auswahlhilfe verwendet wird. Wenn (3) größer als (2) ist, fügt der Prädiktor dem Auswahlprozess etwas hinzu.

Beim Vergleich der relativen Größenordnung von (2) und (3) können einige allgemeine Prinzipien angegeben werden:

1. Bei einer bestimmten Gültigkeits- und Kriteriumseinschränkung führt eine Verringerung der SR zu einer Erhöhung der effektiven Gültigkeit. So kann man die geringe statistische Gültigkeit ausgleichen, wenn man bei seinen Einstellungen selektiv vorgehen kann.

2. Bei einer bestimmten statistischen Validität und Auswahlquote gilt: Je geringer der Prozentsatz der anwesenden Angestellten als zufriedenstellend gilt, desto größer ist der prozentuale Anstieg der befriedigenden Antragsteller, die mit dem Prädiktor erhalten wurden. Mit anderen Worten, wenn wir die Differenz zwischen den Verhältnissen (2) und (3) als definieren

Nutzen = A + C - A + C / A + B + C + D = prozentuale Steigerung der Wirksamkeit

Wenn Wirksamkeit als der Prozentsatz der erzielten Erfolge definiert wird, wird der größte Nutzen unter den Bedingungen erzielt, unter denen derzeit die ärmste Arbeit geleistet wird - ein logisches Ergebnis. Es gibt natürlich einige Ausnahmen. Betrachten Sie zum Beispiel Abbildung 2.15.

Beachten Sie aus Abbildung 2.15, dass unabhängig von den drei verschiedenen Auswahlverhältnissen 100 Prozent aller beworbenen Bewerber letztendlich als zufriedenstellend beurteilt werden. Dies ist also eine Situation, in der große Änderungen des Auswahlverhältnisses keine Auswirkung haben.

Taylor-Russell-Tabellen:

Ein detaillierter Ausdruck der genauen Zusammenhänge zwischen der Größe des Gültigkeitskoeffizienten, der Auswahlquote und dem Prozentsatz der derzeit zufriedenstellenden Mitarbeiter wurde von Taylor und Russell (1939) erstellt. Unter bestimmten Gültigkeitsbedingungen, Auswahlverhältnis und befriedigendem Prozentsatz können ihre Tabellen den Prozentsatz der Einstellungen bestimmen, die unter Verwendung des Prädiktors in Verbindung mit den derzeitigen Methoden zufriedenstellend sind.

Die Naylor-Shine-Tabellen, die im Abschnitt zur Gültigkeit von Prädiktoren erörtert wurden, scheinen jedoch gegenüber den Taylor-Russell-Tabellen mehrere Vorteile zu haben. Die Naylor-Shine-Tabellen werden in Form von Unterschieden in der durchschnittlichen Kriteriumsbewertung zwischen der ausgewählten Gruppe und der ursprünglichen Gruppe formuliert. Taylor und Russell verwenden Unterschiede in dem Prozentsatz, der zwischen der ausgewählten Gruppe und der ursprünglichen Gruppe erfolgreich war.

Daher scheinen die Naylor-Shine-Tabellen einen aussagekräftigeren Index für den Testnutzen zu ergeben. Die Verwendung der Taylor-Russell-Tabellen erfordert auch, dass die Angestellten in zwei Gruppen, "erfolgreich" und "erfolglos", getrennt werden, indem ein beliebiger Punkt in der Dimension der Kriterien ausgewählt wird, der "minimal zufriedenstellende Leistung" darstellt. Die Naylor-Shine-Tabellen erfordern keine Entscheidung dieser Art für ihre Verwendung und sind daher allgemeiner in ihrer Anwendbarkeit.

Ein Hinweis zur Vorsicht. Sowohl die Naylor-Shine-Tische als auch die Taylor-Russell-Tische unterliegen bestimmten Einschränkungen, die sehr wichtig sind. Beide Methoden zur Bewertung des Testnutzens basieren auf den Annahmen, dass (1) die Beziehung zwischen Prädiktor und Kriterium linear ist und (2) der verwendete Gültigkeitskoeffizient ein Wert ist, der durch gleichzeitige Gültigkeitsverfahren erhalten wird.

Smith (1948) und andere haben auf die Gefahren hingewiesen, die bestehen, wenn man versucht, Tabellen wie die von Taylor und Russell zu verwenden, wenn die Beziehung zwischen dem Prädiktor und dem Kriterium nicht linear ist. Eine solche Beziehung ist in Abbildung 2.16 dargestellt. Wenn solche nichtlinearen Beziehungen bestehen, sind beide Tabellen für die Bestimmung des Testdienstprogramms völlig ungeeignet.

Die Tatsache, dass beide Tabellen einen Gültigkeitskoeffizienten annehmen, der auf gleichzeitigen Validierungsverfahren basiert, kann überraschend sein, da zuvor darauf hingewiesen wurde, dass die gleichzeitige Gültigkeit kein besonders guter Ersatz für die prädiktive Gültigkeit ist. Zu den Testnutzungszwecken gehört jedoch das Bestimmen der Erhöhung der durchschnittlichen Kriteriumsbewertung (Naylor-Shine-Tabellen) oder des Prozentsatzes erfolgreicher Mitarbeiter (Taylor-Russell-Tabellen) gegenüber derjenigen, die derzeit mit den derzeitigen Mitarbeitern erzielt wird. Das grundlegende Streudiagramm basiert auf gegenwärtigen Angestellten, die von den normalen Auswahlverfahren eingestellt werden - dem typischen Paradigma der gleichzeitigen Gültigkeit.

Zuverlässigkeit von Prädiktor und Kriterium:

Die Zuverlässigkeit des Kriteriums und des Prädiktors ist ebenfalls wichtig, vor allem, weil sie die Größe des möglichen Gültigkeitskoeffizienten beeinflussen oder einschränken. Es gibt eine grundlegende algebraische Beziehung, die zwischen der Gültigkeit und der Zuverlässigkeit des Prädiktors und dem Kriterium besteht

r _pc (erhalten) = r _pc (wahr) √r _pp xr _cc

Woher

r _pc (erhalten) = beobachtete Korrelation (Gültigkeit) zwischen Prädiktor und Kriterium

r _pc (true) = "true" Korrelation (Gültigkeit) zwischen Prädiktor und Kriterium

r _pp = Zuverlässigkeit des Prädiktors

r _cc = Zuverlässigkeit des Kriteriums

Man beachte aus der obigen Beziehung, dass nur dann, wenn r _pp und r _pcc Eins sind (vollkommene Zuverlässigkeit), die erhaltene Gültigkeit gleich der wahren Gültigkeit ist. Wenn die Zuverlässigkeit der beiden Maßnahmen abnimmt, nimmt auch die erhaltene Gültigkeit ab. Angenommen, r _{pc (wahr)} = 0, 06, r _pp = r _pcc = 0, 08, dann ist r _{pc (erhalten)} = 0, 06 √ 0, 80 x 0, 80 = 0, 60 (0, 80) = 0, 48. Beachten Sie auch, dass, wenn die Zuverlässigkeit des Prädiktors oder des Kriteriums Null ist, die Gültigkeit der Gültigkeitsdauer ebenfalls Null ist.

Kriterium Relevanz:

Die Relevanz eines Kriteriums hat wenig mit dem tatsächlichen empirischen Nutzen eines Vorhersageinstruments zu tun, obwohl es viel mit seinem logischen Nutzen zu tun hat.