Assessment Literacy and Portfolio-Based Language Assessment in Language Instruction for Newcomers to Canada

Abstract

Assessment literacy, which shapes teachers’ classroom practices and their views of high-stakes assessments, has been conceptualized as a multi-dimensional construct consisting of interconnected conceptual, practical, and socio-emotional dimensions. We investigated these three dimensions in relation to lead teachers’ and instructors’ practices and perceptions of the portfolio-based language assessment (PBLA) protocol in the Language Instruction for Newcomers to Canada (LINC) program. Lead teachers (n = 68) and instructors (n = 138) responded to a survey designed to measure conceptual and practical aspects of their assessment literacy and their perceptions of the purposes and uses of PBLA, including the socio-emotional impact of PBLA on literacy learners’ skills, attitudes, behaviours, and learning. Factor analysis, canonical correlation analysis, and ANOVA were used to explore relationships between the respondents’ perceptions of PBLA and their assessment literacy, on-the-job training, and university assessment education. Results suggested that the conceptual/practical and socio-emotional dimensions of the respondents’ assessment literacy were interrelated; those with on-the-job lead teacher training were less likely to perceive the negative effects of PBLA on students’ learning and emotions; and university assessment education contributed to the respondents’ theoretical knowledge of portfolio assessment, confidence in their assessment knowledge and practices, and recognition of the negative washback of PBLA. Recommendations are proposed for improving stakeholder assessment literacy.

La littératie de l’évaluation, qui façonne les pratiques pédagogiques des enseignants et leurs perceptions des évaluations à enjeux élevés, a été conceptualisée comme un construit multidimensionnel composé de dimensions conceptuelles, pratiques et socio émotionnelles étroitement liées. Nous avons examiné ces trois dimensions en lien avec les pratiques et les perceptions d’enseignants et d’enseignants responsables concernant le protocole d’évaluation linguistique basée sur le portfolio (ELBP) dans le programme CLIC (Cours de langue pour les immigrants au Canada). Les enseignants responsables (n = 68) et les enseignants (n = 138) ont répondu à un questionnaire conçu pour mesurer les aspects conceptuels et pratiques de leur littératie de l’évaluation ainsi que leurs perceptions des objectifs et des utilisations de l’ELBP, y compris l’impact socio-émotionnel de l’ELBP sur les compétences, les attitudes, les comportements et l’apprentissage des personnes en apprentissage de la littératie. Des analyses factorielles, une analyse des corrélations canoniques et des ANOVA ont été utilisées pour explorer les relations entre les perceptions des répondants concernant l’ELBP et leur littératie de l’évaluation, leur formation en cours d’emploi et leur formation universitaire en évaluation. Les résultats suggèrent que les dimensions conceptuelles/pratiques et socio-émotionnelles de la littératie de l’évaluation des répondants étaient interdépendantes; ceux ayant suivi une formation en cours d’emploi en tant qu’enseignants responsables étaient moins susceptibles de percevoir les effets négatifs de l’ELBP sur l’apprentissage et les émotions des apprenants; et la formation universitaire en évaluation a contribué aux connaissances théoriques des répondants en matière d’évaluation par le portfolio, à leur confiance dans leurs connaissances et pratiques d’évaluation, ainsi qu’à leur reconnaissance des retombées négatives de l’ELBP. Des recommandations sont proposées pour améliorer la littératie de l’évaluation des parties prenantes.