Das Testbeurteilungssystem TBS-DTK: Ein Überblick

Das Testbeurteilungssystem des Diagnostik- und Testkuratoriums (TBS-DTK) dient als zentrales Werkzeug zur Beurteilung, Sicherung und Optimierung der Qualität von psychologischen Tests im deutschsprachigen Raum. In seiner vierten, revidierten Fassung von 2023 wurden die bisherigen Richtlinien aktualisiert und an neue Anforderungen, wie den Einsatz von Algorithmen und Künstlicher Intelligenz (KI), angepasst. Hier findest Du eine strukturierte Zusammenfassung der wesentlichen Inhalte.

Ziele und Geltungsbereich

Das TBS-DTK verfolgt mehrere zentrale Ziele:

1. Qualitätssicherung von psychologischen Tests.
2. Transparenz für Testanwender:innen durch detaillierte und nachvollziehbare Beurteilungen.
3. Standardisierung der Bewertungskriterien zur Vergleichbarkeit der Tests.

Der Begriff „Test“ umfasst eine Vielzahl von Verfahren:

• Messtheoretisch fundierte Fragebögen, wie Persönlichkeits- oder Interessenfragebögen.
• Intelligenz- und Wissenstests.
• Algorithmenbasierte Verfahren, die mit Hilfe von Machine Learning (ML) oder KI Personenkennwerte schätzen.

Die Richtlinien gelten für Tests, die im deutschsprachigen Raum verwendet werden.

Prozedurale Richtlinien: Wie funktioniert die Beurteilung?

Schritt 1: Auswahl der Tests

Das Diagnostik- und Testkuratorium (DTK) entscheidet, welche Tests rezensiert werden. Vorschläge können eingereicht werden, die finale Auswahl obliegt jedoch dem DTK.

Schritt 2: Beauftragung von Rezensions-Parteien

Zwei unabhängige „Rezensions-Parteien“, bestehend aus qualifizierten Expert:innen (mindestens eine Person pro Partei muss promoviert sein), bewerten die Tests. Beide Parteien arbeiten anonym voneinander.

Schritt 3: Kriterienorientierte Beurteilung

Die Tests werden anhand von zehn Kategorien beurteilt:

1. Beschreibung des Tests und seiner Zielsetzung
2. Informationsgehalt der Verfahrenshinweise
3. Prüfung der Dokumentation nach DIN-Standards
4. Theoretische Grundlagen der Testkonstruktion
5. Objektivität
6. Normierung (Eichung)
7. Reliabilität (Zuverlässigkeit)
8. Validität (Gültigkeit)
9. Weitere Gütekriterien (z. B. Fairness, Skalierung)
10. Abschlussbewertung

Schritt 4: Erstellung einer gemeinsamen Rezension

Nach Abschluss der Einzelbewertungen tauschen sich die Parteien aus, um eine konsolidierte gemeinsame Rezension zu erstellen. Bei Uneinigkeit wird diese in der Rezension dargestellt.

Schritt 5: Transparenzzertifikat

Ein TBS-DTK-Transparenzzertifikat kann ausgestellt werden, wenn die Verfahrenshinweise die geforderten Informationen umfassend darstellen.

Wesentliche Bewertungskriterien im Detail

1. Informationsgehalt der Verfahrenshinweise

Der Informationsgehalt wird auf Grundlage der DIN 33430 geprüft (Zur Erinnerung: Die DIN 33430 beschreibt Anforderungen an berufsbezogene Eignungsdiagnostik.). Diese Prüfung umfasst:

• Detaillierte Angaben zur Testdurchführung, -auswertung und -interpretation.
• Berichte über empirische Untersuchungen inklusive Stichprobenbeschreibungen.
• Spezielle Anforderungen an algorithmengestützte Tests, wie Erklärbarkeit von KI-Modellen.

2. Objektivität

Objektivität misst die Unabhängigkeit der Testergebnisse von der durchführenden Person und gliedert sich in drei Aspekte:

• Durchführungsobjektivität: Klare Standardisierung der Instruktionen.
• Auswertungsobjektivität: Einheitliche Auswertungsvorschriften, z. B. Schablonen.
• Interpretationsobjektivität: Einheitliche und nachvollziehbare Normen für die Ergebnisinterpretation.

3. Reliabilität

Die Reliabilität beschreibt die Messgenauigkeit eines Tests. Hierzu werden verschiedene Methoden eingesetzt, darunter:

• Interne Konsistenz: Stimmt der Test intern überein?
• Retest-Reliabilität: Wie stabil sind die Ergebnisse bei Wiederholungen?
• Messpräzision: Genauigkeit auf individueller Ebene, z. B. Konfidenzintervalle.

4. Validität

Validität gibt an, ob ein Test das misst, was er vorgibt zu messen. Dies umfasst:

• Konstruktvalidität: Passen die Ergebnisse zur zugrunde liegenden Theorie?
• Kriteriumsvalidität: Korrelation mit einem externen Kriterium (z. B. Berufserfolg).
• Inhaltsvalidität: Stimmen die Inhalte mit dem Messziel überein?

5. Weitere Gütekriterien

• Fairness: Keine systematische Diskriminierung aufgrund von Alter, Geschlecht oder Ethnie.
• Skalierung: Adäquate Abbildung der empirischen Verhaltensrelationen.
• Störanfälligkeit: Widerstandsfähigkeit gegen situative oder personale Einflüsse.

Besonderheiten bei algorithmengestützten Tests

Mit der wachsenden Bedeutung von KI und ML in der Diagnostik hat das TBS-DTK neue Anforderungen integriert:

• Transparente Dokumentation der verwendeten Algorithmen.
• Erklärbarkeit und Nachvollziehbarkeit der Ergebnisse.
• Angaben zu Trainings- und Testdatensätzen, einschließlich ihrer Repräsentativität.
• Analyse potenzieller Biases und deren Auswirkungen.

Fazit und Bedeutung des TBS-DTK

Das Testbeurteilungssystem TBS-DTK stellt einen wichtigen Meilenstein für die Qualitätssicherung psychologischer Tests dar. Mit klaren Richtlinien und umfassenden Bewertungsstandards bietet es Orientierung für Testentwickler:innen und -anwender:innen. Insbesondere durch die Integration moderner Technologien wie KI bleibt das System zukunftsorientiert und relevant. Die Prüfung nach TBS-DTK-Standards fördert nicht nur die Transparenz, sondern schafft auch Vertrauen in die angewandte psychologische Diagnostik.