507 - Les défis de l’évaluation des compétences

Cette communication traite des interactions entourant l’évaluation des compétences des directions d’établissement scolaire (DÉS), les leurs et celles de leurs subordonnés. Le rôle des DÉS est partiellement défini dans la Loi sur l’instruction publique ; celui des enseignants aussi. Au quotidien, les DÉS doivent assurer l’agir compétent de tous les membres du personnel (MELS, 2008) et par le fait même, gérer en utilisant plusieurs référentiels de compétences (ADOQ, 2018 ; MELS, 2008 ; MEQ, 2001). Concrètement, nous aborderons l’évaluation des compétences par la DÉS sous un angle systémique. Nous questionnerons, dans une articulation théorie-pratique, les qui, quoi, où, quand, comment, combien et pourquoi (QQOQCCP) (Deming, 1945). Nous mettrons en évidence la complexité des enjeux et des défis d’aujourd’hui, mais également ceux de demain, quant à l’évaluation des compétences en contexte de gestion scolaire.

Cette présentation porte sur une approche formative de l’évaluation en classe de langue, c’est-à-dire l’évaluation au service de l’apprentissage (learning-oriented assessment), promue par le Programme de Formation de l’École Québécoise (PFEQ). Ce type d’évaluation, utilisé pendant le processus d'apprentissage plutôt qu'à la fin de celui-ci, se distingue souvent des tests traditionnels ou standardisés par l’accent mis sur les pratiques ascendantes (bottom-up practices), ce qui donne plus de contrôle aux enseignants et aide les apprenants à progresser vers les objectifs du curriculum. Nous discuterons des composantes critiques et du processus de l’évaluation formative en classe de langue ainsi que des construits mesurés par ce genre d’évaluation. Nous soutiendrons que le caractère pragmatique de l’évaluation formative nécessite que les différentes composantes de la compétence langagière interagissent, non seulement les unes avec les autres, mais aussi avec l’ensemble des connaissances linguistiques nécessaires pour s’exprimer de façon appropriée dans un contexte donné. Nous explorerons également les spécificités des tâches propres à ces tests qui permettent de soutenir l'apprentissage en modifiant et en améliorant les activités d'enseignement et d'apprentissage.

Plusieurs didacticiens du français ont dénoncé le caractère hyper-normatif des pratiques pédagogiques qui, fondées sur une conception techniciste de l’écriture, la réduise à la simple application de normes (Garcia-Debanc et Fayol, 2002 ; Mas, 1991) et empêchent le développement de la créativité littéraire des élèves (Sorin, 2005 ; Sirois et Boisclair, 2010). Tenant compte de ces critiques, le Programme de formation de l’école québécoise reconnait la complexité de l’écriture et accorde une place au développement de la créativité (Comeau, 1995). Toutefois, la grille d’évaluation des textes du ministère de l’éducation (MEQ) vise plutôt l’appréciation de la capacité de l’élève à appliquer les normes qui régissent l’écrit. Il convient alors de se demander si cette grille permet d’apprécier la compétence à écrire des textes littéraires des élèves ? Trois textes narratifs écrits par des élèves du 2e cycle du primaire ont été analysés sous deux angles : 1- à partir de la grille du MEQ et 2- à partir d’outils issus de la littérature scientifique. Les résultats permettent de souligner diverses lacunes de la grille d’évaluation qui semble fondée sur cette conception techniciste de l’écriture dénoncée par les didacticiens. Le risque que la grille amène à pénaliser davantage les enfants prenant des risques littéraires sera notamment discuté ; invitant à repenser l’équilibre à trouver entre normes et créativité lors de l’enseignement et de l’évaluation de l’écriture littéraire à l’école.

En 2009, La Commission Internationale des Tests a mis en place des directives[1] pour l’adaptation et la traduction des tests (TAT) soulignant  l’importance du fait que l’adaptation: “needs to consider the whole cultural context within which a test is to be used.” Au Canada, le TAT prend une ampleur plus importante avec la dualité linguistique, où plusieurs programmes d'évaluation, provinciaux et fédéraux, ont été élaborés suivant un processus de TAT. Ces tests de rendement scolaires sont généralement construits d’abord en anglais (langue dominante), puis traduits/adaptés en français (langue minoritaire) avec la présupposition qu’il existe une forme linguistique standard à travers le pays. On assume que la validité, la fiabilité et l’équité des versions originale et traduite du test seraient les mêmes. Or, ceci n’est pas forcément le cas étant donnée la diversité linguistique, surtout du français. Dans un test administré dans plusieurs langues, les candidats peuvent avoir des performances différentes, en fonction du contenu et de la langue du test, en raison de la forte association entre les systèmes linguistiques, leurs utilisations, le statut social et l'origine ethnique des candidats. Ainsi, les facteurs sociolinguistiques peuvent être une source de biais qui expliquerait la performance et devraient préoccuper les différents acteurs et décideurs.

[1] Révisée en 2017

Des performances élevées aux tests langagiers utilisés à l’admission sont cruciales pour les candidats universitaires car leur futur dépend du résultat obtenu. La validité des tests est donc importante pour les candidats et pour les responsables d’admissions qui basent leur décision sur ces données. La question à se poser est la suivante : ces résultats sont-ils des indicateurs valides de la compétence langagière des candidats et assurent-ils leur succès dans les programmes ciblés?  Cette étude analyse la validité du Test de français Laval Montréal (TFLM), test de compétence langagière utilisé comme critère d’admission aux programmes de formation initiale en enseignement d’universités québécoises francophones. Basée sur la conception de la validité de Messick (1989) et le cadre d’analyse des tâches de Bachman et Palmer (2010), l’étude compare les tâches du TFLM à celles de trois contextes académiques et pédagogiques auxquels les futurs enseignants seront confrontés. Les résultats indiquent que les tâches du TFLM ne correspondent pas à celles que les étudiants devront accomplir au cours de leur formation ni aux besoins des futurs enseignants, identifiés par le ministère de l’Éducation. La validité du TFLM, ses conséquences et les aspects potentiellement négatifs de son utilisation actuelle sont exposés.

Prolongement de programmes qui visent le développement de trois compétences en mathématique, au cours de la dernière décennie, on assiste à une transformation des épreuves ministérielles tant au primaire, secondaire qu’en éducation aux adultes.  Alors que le secteur jeune (primaire et secondaire) tend à distinguer les compétences au moment de l’évaluation, le secteur adulte opte pour une évaluation de situations par un traitement intégré. Alors que le secteur jeune privilégie la rédaction d’observables génériques associés aux critères, les observables des grilles d’évaluation du secteur adulte sont plutôt colorés par les stratégies et raisonnements propres à chaque champ mathématique. Influencée par les six critères de Roegiers (2004) permettant de qualifier un système d’évaluation et à partir d’un corpus de données issues d’épreuves ministérielles (2015 à 2018), notre communication propose une lecture contrastée de ces épreuves afin d’interroger plus particulièrement leur validité, la visibilité des critères d’évaluation et le réalisme de l’application de ces derniers.