Warum fallen die Ergebnisse des TSA-Denktestes bei vielen Kandidaten nicht wie erwartet aus?

Dieses Jahr ist das zweite Jahr, in dem die Hanoi University of Science and Technology die TSA-Denkfähigkeitsprüfung neu organisiert hat. Das bedeutet, dass die Prüfungsstruktur im Vergleich zu 2022 und früher angepasst wurde. Neben der Anpassung der Prüfungsstruktur hat die Hanoi University of Science and Technology insbesondere eine neue Bewertungstheorie angewendet: die Frage-Antwort-Theorie (IRT) zur Bewertung der Fragenqualität und zur Berechnung der Prüfungsergebnisse der Kandidaten.

Dies hat dazu geführt, dass die Kandidaten nach Abschluss des Tests nicht selbst eine Bewertung abgeben konnten, sondern auf die Bewertungsergebnisse aus der Analyse ihrer Testdaten warten mussten. Daher sind viele Kandidaten nach Erhalt der Ergebnismitteilung verwirrt, weil die von ihnen erhaltenen Ergebnisse nicht ihren Erwartungen entsprachen.

Viele Studenten sind sehr an dem TSA-Denktest der Hanoi University of Science and Technology interessiert.

Testergebnisse sind ein quantifiziertes Modell zur Einschätzung der Fähigkeiten eines Kandidaten.

Um diese Bedenken der Kandidaten zu zerstreuen, führte die Zeitung Thanh Nien ein Interview mit Dr. Dang Xuan Cuong, einem unabhängigen Wissenschaftler mit langjähriger Forschungs- und Umsetzungserfahrung im Bereich der Bildungsbeurteilung und -messung. Er ist einer der Berater der Hanoi University of Science and Technology bei der Umsetzung des TSA-Denktests in den letzten zwei Jahren.

Laut Dr. Dang Xuan Cuong basiert die Frage-Antwort-Theorie auf mathematischen Modellen, um den Zusammenhang zwischen den Fähigkeiten des Kandidaten und den Fragen, die diese Fähigkeiten messen, zu erklären. Mit diesem theoretischen Ansatz werden die Parameter der Fragen (wie Schwierigkeit, Unterscheidungsvermögen, Raten usw.) und die Fähigkeiten des Kandidaten anhand der Testdaten der teilnehmenden Kandidatengruppe quantifiziert. Daher unterscheidet sich die anhand der Frage-Antwort-Theorie geschätzte Fähigkeit des Kandidaten von der traditionellen Bewertungsmethode.

Die Kandidaten werden getestet, bevor sie den TSA-Denkfähigkeitstest absolvieren.

Bei der herkömmlichen Benotung ergibt sich das Testergebnis lediglich aus der mechanischen Addition der Punktzahlen der einzelnen Testfragen gemäß einem bestimmten Bewertungsleitfaden. Experten nennen dies die Rohpunktzahl. Mit der Rohpunktzahl können sich die meisten Kandidaten bei der Bewertung ihres Tests auf die Antworten verlassen. Selbst wenn der Test nur aus objektiven Multiple-Choice-Fragen besteht, können sich die Kandidaten nach der Prüfung selbst bewerten.

Beim Ansatz der Frage-Antwort-Theorie ist das Testergebnis das Ergebnis, das dem Kandidaten nach der Analyse seiner Testdaten mitgeteilt wird. Dieser Schritt erfordert Fachwissen und wird mithilfe spezieller Software durchgeführt und anhand statistischer Indikatoren sorgfältig geprüft. Im Wesentlichen ist das Testergebnis ein quantifiziertes Ergebnis, das den Kandidaten hilft, ihre Fähigkeiten einzuschätzen und ihre Testergebnisse mit denen aller anderen Prüfungskandidaten zu vergleichen.

Dr. Dang Xuan Cuong erklärte: „Grundsätzlich wird das System, nachdem die Kandidaten den Test beendet haben, auf der Grundlage der Daten jeder einzelnen Frage im Test die Fähigkeiten der Kandidaten einschätzen. Dazu gehören Informationen darüber, wie viele Kandidaten die jeweilige Frage beantworten können und um welche Kandidaten es sich handelt, wie viele Fragen jeder Kandidat beantworten kann und um welche Fragen es sich handelt.“

Die Testergebnisse des Testteilnehmers helfen dem System, ein Modell zur Einschätzung seiner Fähigkeiten zu erstellen. Aus dieser geschätzten Fähigkeit wird der Denkfähigkeitswert berechnet, indem er in die vom Test verwendete Skala (normalerweise von 0 bis 100) umgerechnet wird.

Selbst wenn Sie 70 Fragen richtig beantworten, können Ihre Testergebnisse anders ausfallen.

Dr. Dang Xuan Cuong erklärte außerdem, dass die aktuelle TSA-Denkfähigkeitsprüfung der Hanoi University of Science and Technology eine Prüfung sei, die die Anwendung eines einparametrigen Frage-Antwort-Modells (nur der Schwierigkeitsgrad der Frage) und eines zweiparametrigen Modells (Schwierigkeitsgrad und Unterscheidungsvermögen der Frage) kombiniert. Nach dem oben beschriebenen Prinzip erzielt eine Gruppe von Kandidaten zwar die gleiche Rohpunktzahl, die TSA-Testergebnisse der Studierenden sind jedoch unterschiedlich.

Dr. Dang Xuan Cuong nannte ein Beispiel: „Angenommen, der Test umfasst 100 Fragen. Nach dem traditionellen Ansatz ist jede richtige Antwort 1 Punkt wert. Wenn dann zwei Kandidaten 70 Fragen beantworten können, erhält jeder Kandidat 70 Punkte. Beim Ansatz der Frage-Antwort-Theorie hat jedoch jede Frage im Test einen anderen Schwierigkeitsgrad, und die Fähigkeiten des Kandidaten werden anhand der Fragen eingeschätzt, die er richtig beantwortet hat. Und bei den beiden hier genannten Kandidaten: Wenn Kandidat A schwierigere Fragen beantworten kann als Kandidat B, ist die geschätzte Fähigkeit von Kandidat A höher als die von Kandidat B. Darüber hinaus spielt die Differenziertheit der Fragen eine Rolle bei der Einschätzung der Fähigkeiten der Kandidaten. Daraus folgt, dass die angekündigte Punktzahl von Student A höher ist als die von Student B.“

Vereinfacht ausgedrückt: Beim traditionellen Ansatz, der auf Rohergebnissen basiert, werden die Ergebnisse der Fragen mit der gleichen „Gewichtung“ berechnet, d. h. Schwierigkeit und Leichtigkeit der Fragen werden nicht berücksichtigt. Bei der Frage-Antwort-Theorie haben die Ergebnisse der Fragen unterschiedliche „Gewichtungen“. Diese Gewichtung beruht jedoch nicht auf dem subjektiven Willen des Testentwicklers, sondern wird anhand mathematischer Modelle aus den Testdaten des Testteilnehmers berechnet.

Bei der Anwendung der Frage-Antwort-Theorie wird bei der Analyse der Testdaten auch die Vergleichstechnik eingesetzt, um die Ergebnisse der Kandidaten auf eine gemeinsame Skala zu bringen. Der Denktest umfasst jedes Jahr mehrere Runden, und die Kandidaten werden kurz nach der Prüfung über die Ergebnisse informiert (und nicht erst, wenn der jährliche Test stattfindet).

Um im Zulassungsverfahren Fairness zwischen den Prüfungskandidaten verschiedener Runden zu gewährleisten, verwendet der Prüfungsorganisator die Bewertungsskala der ersten Runde als Originalskala. In den Folgerunden werden die Ergebnisse der Prüfungskandidaten bei der Auswertung der Prüfungsergebnisse mithilfe der Ausgleichsmethode wieder auf die Originalskala gebracht. Anschließend werden die offiziellen Ergebnisse der Kandidaten bekannt gegeben. Dies erleichtert den Vergleich der Prüfungsergebnisse der verschiedenen Runden.

Laut Dr. Dang Xuan Cuong hat jede Theorie ihre Vor- und Nachteile. „Bei der Anwendung der Frage-Antwort-Theorie an der Hanoi University of Science and Technology für die Prüfung zur Denkfähigkeit gehen wir sehr vorsichtig vor und befolgen einen spezifischen Plan, um die Prüfung jedes Jahr abzuschließen“, sagte Herr Cuong.

Dr. Dang Xuan Cuong promovierte in Pädagogik mit einer Arbeit über Bildungsmessung und -evaluation an der Flinders University, Australien. Er verfügt über mehr als 18 Jahre Erfahrung auf diesem Gebiet.

Quelle: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm