Zwei Konferenzen, zwei Sprachen: Was ATP und ICAI über die Zukunft der Testintegrität offenbaren

Kürzlich habe ich an zwei Konferenzen teilgenommen, die sich auf Tests und Bewertungen konzentrierten.

• Das erste war ATP (Verband der Testverlage), die größtenteils Zulassungsstellen, Zertifizierungsprogramme und Anbieter von Bewertungen aus dem privaten Sektor umfasst.
• Das zweite war ICAI (Internationales Zentrum für akademische Integrität), eine Gemeinschaft, die sich hauptsächlich auf Hochschulbildung und K–12-Institutionen konzentriert.

Beide Gruppen stehen vor derselben grundlegenden Herausforderung: Wie kann sichergestellt werden, dass Bewertungen im Zeitalter der KI fair und authentisch bleiben.

Was am meisten auffiel, waren nicht nur die Unterschiede in den diskutierten Lösungen. Es waren die Unterschiede darin, wie jede Gemeinschaft über das Problem selbst spricht. Der Wortschatz, die Annahmen und Prioritäten klangen oft deutlich unterschiedlich, selbst wenn die zugrundeliegenden Anliegen sehr ähnlich waren.

Es ist wichtig zu beachten, dass diese Beobachtungen aus der Teilnahme an verschiedenen Sitzungen und Tracks auf jeder Konferenz stammen, nicht aus jedem Vortrag oder Teilnehmer. Die hier beschriebenen Muster spiegeln Themen wider, die sich in vielen Gesprächen heraustraten, statt starre Spaltungen zwischen den Gemeinschaften. Es gab ATP-Redner, die Prävention und durchdachte Bewertungsgestaltung betonten, und es gab ICAI-Teilnehmer, die stark über die Bedeutung stärkerer Sicherheitskontrollen sprachen. Dennoch spiegelten der allgemeine Ton und die Sprache in jeder Gemeinschaft oft unterschiedliche berufliche Traditionen und Prioritäten wider.

Das Verständnis dieser Unterschiede offenbart etwas Wichtiges: Diese beiden Gemeinschaften können viel voneinander lernen.

Die Sprache des Problems

Einer der deutlichsten Unterschiede zwischen den Konferenzen war die Sprache, mit der dieselbe zugrundeliegende Herausforderung beschrieben wurde.

Einfach ausgedrückt klingen ATP-Gespräche oft ähnlich wie Cybersicherheitsdiskussionen, während ICAI-Gespräche eher an Bildungspolitik oder Diskussionen über die Studierendenentwicklung erinnern.

Keine der beiden Perspektiven ist falsch. Sie spiegeln einfach die Umgebungen wider, in denen jede Gemeinschaft tätig ist. Zertifizierungsorganisationen müssen den Wert professioneller Zertifikate schützen, die oft finanzielle oder regulatorische Folgen haben. Universitäten hingegen müssen die Durchsetzung mit ihrer umfassenderen Mission der Bildung und der Entwicklung der Studierenden in Einklang bringen.

Unterschiedliche Annahmen über Testteilnehmer

Diese sprachlichen Unterschiede spiegeln tiefere philosophische Annahmen darüber wider, wie Bewertungen geschützt werden sollten und welche Rolle Institutionen spielen sollten.

Während vieler ATP-Sitzungen konzentrierte sich der Rahmen oft auf Fragen wie:

"Wie stoppen wir immer ausgefeiltere Betrugsoperationen?"

Am ICAI konzentrierte sich die Diskussion eher auf Fragen wie:

"Warum betrügen Schüler, und wie ändern wir dieses Verhalten?"

Beide Perspektiven reagieren auf echte Herausforderungen, aber sie gehen das Problem aus unterschiedlichen Ausgangspunkten an.

ATP: Sicherheit im KI-Wettrüsten

Bei ATP tauchte ein Thema immer wieder in den Sitzungen auf: KI hat die Bedrohungslandschaft für Testorganisationen dramatisch beschleunigt.

Die Sprecher beschrieben, wie Betrug günstiger, schneller und skalierbarer geworden ist als je zuvor. KI-Tools können Kandidaten nun dabei helfen, Fragen in Echtzeit zu beantworten, Prüflinge zu imitieren oder Prüfungsinhalte für die zukünftige Verteilung zu sammeln.

Aufgrund dieses sich schnell verändernden Umfelds konzentrierten sich viele ATP-Gespräche stark auf Sicherheitsinfrastruktur und Erkennungssysteme.

Ein häufiges Thema war der Übergang zu mehrschichtiger Sicherheit, bei der keine einzelne Kontrolle das Problem allein lösen soll.

Diese Tools ermöglichen es Testorganisationen, kompromittierte Prüfungen oder koordinierte Betrugsnetzwerke auch nach Abschluss der Testsitzung zu erkennen.

ICAI: Integrität als kulturelles Problem

Am ICAI waren die Gespräche meist weniger technisch und konzentrierten sich mehr auf die Motivation der Studierenden und die institutionelle Kultur.

Viele Sitzungen erforschten die Gründe, warum Schüler überhaupt für das Schummeln entscheiden. Die auf der Konferenz vorgestellte Forschung hob mehrere häufige Treiber hervor, darunter den Druck, in wettbewerbsfähige Programme aufgenommen zu werden, hohe Kursbelastungen, Zeitdruck und die Wahrnehmung, dass "alle anderen schummeln".

Aufgrund dieses Schwerpunkts legten ICAI-Diskussionen oft Wert auf Lösungen wie Ehrenkodex, klare Erwartungen an den Einsatz von KI-Tools, konsequente Durchsetzung über Kurse hinweg und Programme zur Förderung akademischer Integrität.

Die zugrundeliegende Überzeugung ist, dass Kultur und Erwartungen eine entscheidende Rolle bei der Gestaltung des Schülerverhaltens spielen. Obwohl die Durchsetzung weiterhin wichtig ist, legten viele ICAI-Diskussionen den Schwerpunkt auf Prävention durch Aufklärung, Klarheit und gemeinsame institutionelle Normen.

Wo die beiden Gemeinschaften zusammenlaufen

Trotz dieser Unterschiede offenbarten die beiden Konferenzen auch wichtige Bereiche der Übereinstimmung.

Beide Gemeinschaften erkennen zunehmend an, dass die durch KI geschaffenen Herausforderungen weder allein durch Technologie noch durch Politik und Kultur allein gelöst werden können.

Technologie ohne kulturelle Erwartungen kann gegnerische Umgebungen zwischen Institutionen und Testteilnehmern schaffen. Gleichzeitig kann eine Kultur ohne Sicherheitskontrollen Bewertungen zunehmend anfällig für immer ausgefeiltere Betrugsmethoden machen.

Eine Brücke zwischen zwei Welten

Die auffälligste Erkenntnis aus dem Besuch beider Konferenzen ist, dass sich das Test-Ökosystem manchmal so anfühlt, als würde es sich in zwei parallele Gespräche aufteilen.

Man spricht die Sprache der Sicherheit, des Risikomanagements und der Psychometrie.

Der andere spricht die Sprache der Bildung, der Schülerentwicklung und der Integritätskultur.

Doch beide Gemeinschaften versuchen letztlich, dieselbe grundlegende Frage zu beantworten:

Wie können wir sicherstellen, dass die eingereichten Arbeit die zu bewertende Person wirklich repräsentiert?

Lösungen müssen zunehmend an der Schnittstelle dieser beiden Perspektiven agieren. Die Zukunft der Testintegrität wird wahrscheinlich Systeme erfordern, die geschichtete Sicherheit, Verhaltensanalysen, durchdachtes Assessment-Design und klare Erwartungen an die Lernenden verbinden.

Mit anderen Worten, Technologie, Kultur und Zusammenarbeit müssen zusammenarbeiten.

Keine der beiden Konferenzen und keine der Ansätze können das Problem allein lösen.