Wie trägt der kritische Teil der Kriteriumskontamination zu einem extrem hohen Gültigkeitskoeffizienten bei?

Früher wurde der Begriff Kriterium Kontaminierung als der Teil des tatsächlichen Kriteriums definiert, der sich nicht mit dem Endkriterium überschnitt. Es wurde ferner darauf hingewiesen, dass das Kontaminationskriterium aus zwei Teilen besteht, nämlich Fehler und Verzerrung. Fehler per Definition; wird normalerweise als zufällige Variation betrachtet und kann, außer zufällig, mit nichts korrelieren, einschließlich der Prädiktorvariablen. Der Vorsatzteil der Kontaminationskriterium ist jedoch eine systematische Variation und kann mit dem Prädiktor korrelieren. Dies ist aus unserem Modell ersichtlich, bei dem die prädiktorkorrelierte Kontamination (die daher eine prädiktorkorrelierte Neigung sein muss) zu einer falsch hohen erhaltenen Gültigkeit beiträgt.

Welche Arten von Verzerrungen gehen wahrscheinlich in die Kontaminationskriterien ein und welche Arten können auch mit der Prädiktorvariablen korreliert werden? Vielleicht hilft Brogdens und Taylors (1950) formale Definition des Kriteriums der Befangenheit, diese Frage zu beantworten.

Sie definieren Vorurteile in Bezug auf „jede Variable, mit Ausnahme von Mess- und Abtastfehlern, die eine Abweichung der ermittelten Kriteriumswerte von einer hypothetischen„ wahren “Kriteriumswertung erzeugen. Abbildung 6.4 veranschaulicht diesen Punkt. Solche Verzerrungsfaktoren treten häufiger auf, als man vermuten könnte, und sollten davor geschützt werden. Sie können aufgrund verschiedener Umstände und in Abhängigkeit von mehreren Variablen auftreten.

1. Opportunity Bias:

Diese Art der Kriteriumsbias bezieht sich auf Situationen, in denen Faktoren, die außerhalb der Kontrolle des Arbeitnehmers liegen, die produzierte Menge erheblich beeinflussen. Beispiele für Opportunity Opportunity sind zahlreich. Bei der Verkaufsarbeit kann das jeweilige Gebiet oder der Verkaufstresen das Verkaufsvolumen eines Angestellten beeinflussen - vielleicht sogar mehr als seine eigene Fähigkeit. In der Fabrikarbeit kann der Opportunity-Bias auf einfache Dinge wie die Qualität der Werkzeuge und den Zustand der Maschinerie eines Arbeiters zurückgeführt werden, unabhängig davon, ob er die Tagschicht oder die Nachtschicht, in der sich sein Arbeitsplatz befindet, wie gut arbeiten muss Seine Beleuchtung ist und eine Vielzahl anderer Variablen.

Kurz gesagt: Wenn die Arbeitsumgebungen und die Jobs nicht identisch sind, hat der Vergleich der Arbeitsleistungsaufzeichnungen unter den Einzelpersonen Einschränkungen. Wenn die Arbeitsleistung unter solchen Umständen mit Prädiktorgeräten korreliert ist, kann man nicht wirklich wissen, ob die resultierende Korrelation eine Korrelation mit der tatsächlichen Arbeitsleistung ist oder in erster Linie eine Korrelation mit der Qualität eines Arbeitsplatzes ist. Opportunity Bias korreliert zwar nicht zwangsläufig mit dem Prädiktor, selbst wenn es prädiktorfrei ist, hat es jedoch einen Einfluss auf die erzielte Gültigkeit.

Andere subtilere Beispiele für Opportunitys für Opportunitys lassen sich häufig durch eine genauere Untersuchung der Prädiktorgültigkeiten solcher Elemente wie Alter und Erfahrung finden. In vielen Berufen erhalten ältere und mehr erfahrene ältere Mitarbeiter bessere Leistungswerte, nur weil die Betriebszugehörigkeit der Gewerkschaften höher ist, da diese Personen bessere Arbeitsstationen, bessere Verkaufstheken usw. erhalten.

2. Gruppencharakteristik Bias:

Eine weitere wichtige Quelle für Kriteriumsbias ist die Charakteristik der Gruppe, zu der eine Person gehört. Wenn zum Beispiel eine Person einer Gruppe angehört, die die Produktivität ihrer Mitglieder künstlich begrenzt, wird es zu einer eindeutigen Verzerrung der Kriteriendaten kommen. Wenn eine Person zu einer Gruppe gehört, die von vornherein vorausgewählt wurde, und wenn diese Gruppe dann mit einer nicht so ausgewählten Gruppe verglichen wird, kann eine Auswahlvariable, die sich auf die Variable a priori bezieht, eine falsche Gültigkeit zeigen.

Brogden und Taylor (1950) geben ein Beispiel für die Situation, in der ein leitender Angestellter festgelegt hat, dass alle angestellten Bürojungen eine höhere Schulausbildung haben müssen. Wenn zum Zweck der Testvalidierung eine Gruppe von Angestellten mit einer Stichprobe von Bewerbern verglichen wird, ist es fast sicher, dass jeder Prädiktor, der wahrscheinlich mit dem Bildungsgrad korreliert, Gültigkeit zeigt!

Das Problem des Alters und der Beschäftigungsverhältnisse ist ein weiteres Beispiel für die Befangenheit von Chancen. Wenn es sich um eine Arbeit handelt, in der die Produktivität mit zusätzlicher Erfahrung tendenziell steigt und es eine Vielzahl von Erfahrungen gibt (dh es gibt sowohl erfahrene als auch unerfahrene Mitarbeiter), ist es unvermeidlich, dass das Kriterium (Produktivität) und die Erfahrung miteinander korrelieren . Daher ist das Kriterium von der Erfahrungscharakteristik abhängig, und jeder Prädiktor, der wahrscheinlich mit der Erfahrung korreliert, kann zu einer falsch hohen Gültigkeit führen.

3. Vorsatz in Bewertungen:

Eines der in der Industrie häufiger angewandten Kriterien - die Bewertung der Kompetenz der Vorgesetzten - unterliegt ebenfalls Verzerrungen. Es sollte hier darauf hingewiesen werden, dass alle üblichen Quellen von Verzerrungen in der Produktionsaufzeichnung wahrscheinlich auch die Bewertung der individuellen Kompetenz beeinflussen. Können Aufsichtsbehörden bei der Beurteilung ihrer Kompetenz Anpassungen vornehmen, um ungleiche Chancen unter den bewerteten Personen zu ermitteln? Wenn dies möglich ist, führen ihre Ratings zu einem weniger verzerrten Kriterium als die tatsächliche Produktionsaufzeichnung.

Der am häufigsten angeführte Vorurteileffekt bei Bewertungen ist das Phänomen, das als „Halo-Effekt“ bezeichnet wird. Dies bezieht sich kurz auf die Situation, in der ein Bewerter eine Person für alle Merkmale als herausragend ansieht, nur weil er (die bewertete Person) eine ausstehende Person besitzt charakteristisch.

Wenn eine Person beispielsweise einen Aspekt der Arbeitsleistung hervorragend erbracht hat, wird ein Halo-Fehler gemacht, wenn wir davon ausgehen, dass die Person auch in allen anderen Aspekten ihrer Arbeit gut sein muss. Halo-Fehler treten häufig auf, wenn ein Bewerter gebeten wird, Personen mit angenehmen Persönlichkeitsmerkmalen ("Wenn eine Person nett ist, muss sie auch fähig sein") und angenehmen Eigenschaften zu bewerten ("Wenn ein Mädchen hübsch ist, muss sie auch talentiert sein"). Tests, die in hohem Maße mit Bewertungen mit einer Halo-Neigung korrelieren, können natürlich eher mit der Halo-Variable als mit der „wahren“ beruflichen Kompetenz korrelieren.

4. Kenntnis der Prädiktor-Vorspannung:

Wenn Kriteriumdaten unter Verwendung von Bewertungen erhalten werden, besteht der schwerwiegendste Fehler darin, dass der Bewerter zuvor über die Vorhersagewerte verfügt. Dies wird als Kenntnis der Prädiktor-Vorspannung bezeichnet. Wenn ein Bewerter die Bewertungen kennt, die die Personen für die Prädiktorvariable erzielt haben, ist es durchaus möglich, dass er seine Kriteriumsurteile durch dieses Wissen beeinflussen lässt. Ein solcher Fehler kann zu einer völlig unechten Zunahme der erlangten Gültigkeit führen.

Leider ist dieser Fehlertyp nicht nur bei den Kriteriumseinstufungen am gravierendsten (da er definitionsgemäß immer eine Prädiktor-Korrelation aufweist), er ist auch einer der am häufigsten gefundenen Fehler. Beispiele sind vielleicht am einfachsten in der Schule zu finden, wo Lehrer nach dem Ergebnis ihrer Aufnahmeprüfungen über das akademische Talent ihrer Schüler beurteilen.

Man kann nicht die strikte Notwendigkeit betonen, Prädiktorinformationen immer von Personen fernzuhalten, die Kriteriendaten bereitstellen. Dem Supervisor sollte daher niemals der Zugang zu den Testbatteriewerten eines Bewerbers gestattet werden. Sobald ein derartiger Kontaminationsfehler aufgetreten ist, können nachfolgende Versuche zur empirischen Validierung des Tests leicht zu überhöhten Korrelationskoeffizienten führen.