Lektion aus der Radiologie: Aufgabenbasiert evaluieren statt Quizzen
Das klarste Template im Korpus für die Evaluation eines KI-Literacy-Programms ist ein Within-Subjects-Experiment in der Radiologie: no-AI vs. on-demand AI vs. integrated AI auf einer echten diagnostischen Aufgabe (8 Residents, 150 CXRs). Es maß sowohl Upskilling als auch Deskilling-Risiken.
3D: Diagnostische Aufgabe (Radiologie-Template)
1. Das Experiment (Guide 2, §3)
- Design: Within-Subjects, 3 Bedingungen auf derselben Aufgabe.
- Messung: reale diagnostische Aufgabe mit objektiver Bewertung — nicht Quiz-Scores.
- Ergebnis: AI-gestütztes Training skilte messbar up (und konnte deskilten).
2. Warum das das Template ist
Die meisten Programme messen Level 1 (Reaktion) und Level 2 (Lernen via Selbstauskunft). Level 3 (Verhalten) und Level 4 (Ergebnisse) bleiben leer. Das Radiologie-Experiment zeigt, wie man Level 3-4 mit realen Aufgaben misst.
3. Deskilling-Risiko
KI-Integration kann Kompetenz erodieren, wenn sie nicht reflektiert eingesetzt wird. Das Experiment maß genau das — und ist damit das Gegenstück zu naiven „KI macht uns besser"-Behauptungen.
4. Übertragung auf Ihr Programm
Guide 2 (§5.1) empfiehlt:
- Design: Pre/Post mit Vergleichsgruppe (oder Within-Subjects-Bedingungen pro Aufgabe).
- Messung auf realen beruflichen Aufgaben mit objektiver Bewertung.
- Zeitplan: Baseline (Woche 0) → Training → Exit (Woche 8-12) → Verhaltens-Follow-up (Woche 24) → Business-Outcomes (Quartal 2-4).
Weiterführende Links
Quellen: Guide 2 (Evaluation), §3/§5.1; Korpus 16.459 Papers (Stand 2026-10). EOF echo "8 done"