RAUEN Analyzer
Testgütekriterien
Der RAUEN Analyzer® erfüllt die gestellten Anforderungen und Normen der EFPA (European Federation of Psychologists‘ Associations) gemäß Review Model for the Description and Evaluation of Psychological and Educational Tests. Wir sind stolz, diese international anerkannte Bewertung erhalten zu haben.
Testgüte
Für die Bewertung psychologischer Messverfahren gelten international festgelegte Standards. Hierzu hat die BoA (EFPA Board of Assessment) ein Test Review Model veröffentlicht, welches europaweit als Standard für die Bewertung von Tests dienlich ist. Anhand von entsprechenden Testgütekriterien werden diese von unabhängigen Experten überprüft. Testgütekriterien sind Kriterien, die darüber Aufschluss geben, wie gut ein psychologischer Test ist. Insgesamt gibt es drei Kriterien: Objektivität, Reliabilität, Validität.
Die inhaltliche Übereinstimmung der Messung mit einem logischen Messkonzept ist nachzuweisen, sodass belegt wird, dass das Merkmal auch tatsächlich gemessen wird, das gemessen werden soll. Dazu dienen die Nachweise zur Objektivität und Reliabilität.
Objektivität – Unabhängigkeit –
Messverfahren können durch menschliches Einwirken verfälscht werden. Um die Qualität und die Aussagekraft der Ergebnisse zu gewährleisten, ist es wichtig urteilsfrei und unabhängig sowohl die Durchführung, die Auswertung als auch die Interpretation von Tests zu gestalten. Die Objektivität lässt sich in drei Bereiche untergliedern: Durchführungs-, Auswertungs- und Interpretationsobjektivität. In allen drei Bereichen sichert die Objektivität des Messverfahrens ein gleiches Verfahren unabhängig von Testendem und Testperson.
Reliabilität – Genauigkeit –
Mit dem Begriff Reliabilität ist die Messgenauigkeit gemeint. Hierbei geht es vor allem darum, dass Ergebnisse nicht durch Ungenauigkeit verändert werden können. Aus exakten Messungen resultieren auch exakte und verlässliche Ergebnisse. Die Reliabilität wird mittels der Maßzahl Cronbachs Alpha (Messung der Konsistenz) gemessen.
Validität – Gültigkeit –
Wohingegen die Reliabilität und die Objektivität sich auf die Messgenauigkeit fokussieren, konzentriert sich die Validität auf die Gültigkeit des Messergebnisses. Validität ist demnach die Prämisse für Reliabilität (Cronbachs Alpha) und Objektivität, aus denen sich die Qualität eines Testverfahrens ableitet.
EFPA Review Model
Der internationale Standard für die Bewertung psychologischer Messverfahren wird von der EFPA (European Federation of Psychologists‘ Associations – Europäische Förderation der Psychologenverbände) mittels des Revised EFPA Review Model for the Description and Evaluation of Psychological and Educational Tests (Version 4.2.6) entwickelt und durchgeführt.
Das Review Model bestimmt den Standard für Testgütekriterien bei psychologischen Tests, Beurteilungen und Fragebögen. Es wird von 37 verschiedenen europäischen Psychologenvereinigungen mit über 300.000 Psychologen in Europa anerkannt, darunter auch der BDP (Berufsverband Deutscher Psychologinnen und Psychologen e.V.) und die DGPs (Deutsche Gesellschaft für Psychologie e.V.). Darüber hinaus genießt das Review Model auch außerhalb Europas Anerkennung (u.a. in den USA und in Australien).
Das EFPA Review Model wurde unter Mitwirkung der DGPs (Deutsche Gesellschaft für Psychologie e.V.) entwickelt. Maßgeblich hat Frau Prof. Dr. Carmen Hagemeister aus Dresden als Mitglied der DGPs und im Entwicklungsausschuss des EFPA Review Models einen wesentlichen Beitrag zur Entwicklung des EFPA Review Models geleistet. Informationen zu Frau Prof. Dr. Carmen Hagemeister finden sich auf der Website der Technische Universität Dresden – Fakultät Psychologie – Professur für Diagnostik und Intervention.
Ergebnis
Die Gutachter Dr. Wouter Schoonman (Psy Tech Industrial Psychology, The Hague, Niederlande), Prof. Dr. Hennie Kriek (TTS-Top Talent Solutions Inc. und University of South Africa, Melbourne, Florida, USA) und Dr. John Michael Smith (British Psychological Society, Großbritannien) haben das RAUEN Analyzer® Messverfahren gemäß des Review Models der EFPA rezensiert und festgestellt, dass die theoretische und empirische Basis des Instruments den gestellten Anforderungen und Normen entspricht. Insbesondere erreicht das Verfahren sehr gute Werte in den Bereichen „Angemessenheit der Reliabilität insgesamt“ und „Angemessenheit der Validität insgesamt“.
Die interne Konsistenz der verschiedenen Skalen liegt zwischen 0.63–0.82; Cronbachs α als Maß für Reliabilität weist im Mittel einen Wert von 0.74 auf.
Die interne Reliabilität ist nicht anfällig gegenüber demographischen Unterschieden und ist über die Zeit hinweg beständig. Gleiches gilt auch für die sogenannten Standardfehler/Standardabweichungen innerhalb der Messungen. Dieser Aspekt ist über die Zeit hinweg konstant.
Die Test-Retest Analyse zeigt, dass der RAUEN Analyzer® gleichbleibend ist, wenn eine Person in einem bestimmten Intervall mehrmals gemessen wird. Eine Stichprobe wurde analysiert und ergab Korrelationen zwischen 0.52 und 0.80 über ein durchschnittliches Intervall von 285 Tagen.
Im Detail wurde die Angemessenheit der folgenden Aspekte des RAUEN Analyzer® bestätigt:
- Qualität der Grundlagenbeschreibung
- Angemessenheit der verfügbaren Dokumentation
- Qualität der Prozesserklärungen
- Qualität der Materialien
- Angemessenheit der Gesamtreliabilität
- Angemessenheit der Gesamtkonstruktvalidität
- Angemessenheit der Gesamtkriteriumsvalidität
- Validität insgesamt
- Angemessenheit der computergenerierten Berichte
