Selbstauskunft lügt: Aufgabenbasiertes KI-Literacy-Messen
Die beliebteste Evaluationsmethode in KI-Schulungsprogrammen ist die Pre/Post-Selbstauskunft: „Wie kompetent fühlen Sie sich?" Sie ist billig, schnell — und systematisch falsch.
1. Die Divergenz (Guide 2, §2.2)
Selbstberichtete und objektive Maße der KI-Literacy korrelieren nur schwach (C, K-12-Lehrkräfte; CFA + latente Profilanalyse). Programme, die auf Selbstauskunft basieren, überschätzen ihre Wirkung.
Ursachen:
- LLM-Fallacy: Nutzer schreiben KI-Outputs ihrer eigenen Kompetenz zu.
- Dunning-Kruger in der KI: Anfänger überschätzen sich, Fortgeschrittene unterschätzen sich.
- Soziale Erwünschtheit: Nach einer Schulung „besser" zu antworten ist sozial erwünscht.
2. Was stattdessen zu messen ist
Guide 2 (§5.1) empfiehlt ein aufgabenbasiertes Quasi-Experiment:
- Design: Pre/Post mit Vergleichsgruppe (oder Within-Subjects-Bedingungen pro Aufgabe).
- Messung auf realen beruflichen Aufgaben mit objektiver Bewertung.
- Instrumente: objektive Literacy-Skala (AICOS/MAIL-CS) + Task-Performance + SR-vs-OB-Gap + Adoption (UTAUT-Items) + Technostress/Wellbeing.
3. Die Kirkpatrick-Lücke
Die meisten Programme messen Level 1 (Reaktion) und Level 2 (Lernen via Selbstauskunft). Level 3 (Verhalten) und Level 4 (Ergebnisse) bleiben leer. Genau dort liegt der program-evaluation-White-Space — und genau dort zählt Art. 4.
Weiterführende Links
Quellen: Guide 2 (Evaluation), §2.2/§5.1; Korpus 16.459 Papers (Stand 2026-10). EOF echo "3 done"