Walk a Mile in My Shoes: Stakeholder Accounts of Testing Experience with a Computer-Administered Test

Abstract

In keeping with the trend to elicit multiple stakeholder responses to operational tests as part of test validation, this exploratory mixed methods study examines test-taker accounts of an Internet-based (i.e., computer-administered) test in the high-stakes context of proficiency testing for university admission. In 2013, as language testing researchers (expert informants), we reported on our own experience taking the Test of English as a Foreign Language Internet-Based Test (TOEFL iBT) (DeLuca, Cheng, Fox, Doe, & Li, 2013). The present study extends these ndings. Speci cally, 375 current iBT test-takers, who had failed to achieve scores required for admission to university, completed a questionnaire on their test-taking experience. At the same time, two former test-takers who had passed the iBT volunteered for semistructured interviews. Questionnaire and interview responses were coded (Charmaz, 2007) for recurring and differentiating response patterns across these stakeholder groups. Concerns were shared regarding speededness, test anxiety, and test preparation, but these test-takers diffiered from the language-testing researchers in their responses to the computer-administered reading and writing tasks. Implications are discussed in relation to construct representation, the interpretive argument of the test (Kane, 2012), and test-takers’ journeys through high-stakes testing to university study in Canada.

Conformément à la tendance de provoquer, auprès des parties prenantes, des réponses multiples aux tests opérationnels de sorte à valider ceux-ci, ce e étude exploratoire à méthodes mixtes porte sur les récits de candidats à un test de com- pétence à enjeux élevés (l’entrée à l’université) et géré par ordinateur. En 2013, à titre de chercheurs en évaluation des compétences linguistiques (experts informateurs), nous avons fait état de notre expérience comme candidats au test d’anglais langue étrangère o ert sur Internet (TOEFL iBT) (DeLuca, Cheng, Fox, Doe, & Li, 2013). La présente étude vient ajouter à ces résultats. Plus précisément, 375 candidats actuels au iBT n’ayant pas réussi à a eindre la note nécessaire pour être admis à l’université ont complété un questionnaire sur leur expérience lors du test. Deux autres candidats qui avaient réussi le test ont accepté de passer des en- trevues semi-structurées. Les réponses au questionnaire et aux entrevues ont été codées (Charmaz, 2007) pour dépister des schémas récurrents et distinctifs parmi les groupes. Si les préoccupations relatives à l’e et des contraintes temporelles sur la performance, à l’anxiété et à la préparation avant le test étaient généralisées, les réponses aux tâches de lecture et d’écriture administrées par ordinateur n’étaient pas les mêmes pour les candidats actuels que pour les chercheurs. Nous discutons des répercussions relatives à la représentation de concepts et à l’interprétation du test (Kane, 2012), d’une part, et aux parcours de candidats aux tests à enjeux élevés impliquant l’admission aux universités canadiennes, d’autre part.