507 - Les défis de l’évaluation des compétences

Accueil et mot de bienvenue

Comment évaluer

• Communication orale 09 h 15
  Évaluer à l’aide du portfolio numérique
  Nicole Monney (UQAC), Matthieu Petit (UdeS - Université de Sherbrooke)

  Le portfolio, une collection de preuves pouvant attester du développement de compétences, permet aux apprenants de témoigner de leur parcours de formation tout en construisant leur identité professionnelle (Buckley et al., 2009). La version numérique de l’outil propose de nouvelles avenues afin de favoriser la réflexivité (Josephsen, 2012), en plus de faciliter le partage de son contenu vers un plus vaste public (Chambers et Wickersham, 2007). Lorsqu’il est utilisé à des fins d’évaluation (Nizet, 2015), l’outil permet d’établir le niveau de compétence atteint, ce qui convient pour une évaluation certificative (Challis, 2005). Toutefois, plusieurs conceptions quant au portfolio (Henscheid, Brown, Gordon et Chen, 2014) cohabitent chez les formateurs et les apprenants, ce qui peut créer certaines tensions. De plus, il semble difficile de guider favorablement une implantation du portfolio numérique en enseignement supérieur (Petit, Monney et Gremion, 2018). Considérant divers enjeux, cette communication abordera les fonctions et les démarches de l’évaluation des compétences à l’aide du portfolio numérique, et ce à la lumière d’articles récents tirés d’une recension systématique des écrits sur le sujet.

• Communication orale 09 h 45
  L’évaluation et le développement des compétences en stage en enseignement : quels travaux universitaires exiger?
  Léna Bergeron (UQTR - Université du Québec à Trois-Rivières), Lise-Anne St-Vincent (UQTR)

  Évaluer des compétences professionnelles, notamment en situation de stage, est un acte particulièrement complexe (Bélair, 2007; Lafortune, 2007; Tardif, Fortier et Préfontaine, 2006). En complément des observations directes se concrétisant par des supervisions dans le milieu de stage, certains travaux universitaires permettent d’avoir accès à la réflexion et aux décisions des personnes stagiaires. L’un des enjeux majeurs parmi ceux qui se posent est que les travaux choisis doivent servir autant pour progresser et réaliser des apprentissages que pour être évalué (Lacourse et Hansler, 2008; Dierkens, 2011). De plus, il se révèle important de percevoir positivement de la valeur des tâches afin de s’engagent réellement (Viau, 2009). Finalement, un autre défi est de trouver un juste équilibre quant à l’investissement nécessaire en temps, pour que les travaux exigés ne mobilisent pas l’énergie de la personne stagiaire de manière démesurée, ce qui empêcherait de tirer profit de l’expérience. Dans ce contexte, des solutions sont à chercher afin d’élaborer et d’articuler un dispositif de soutien au développement et à l’évaluation des compétences des stagiaires en enseignement qui soit porteur d’apprentissages, signifiant pour les étudiants et réaliste en investissement de temps. La première phase d’une recherche-développement a permis de faire l’examen des connaissances scientifiques. Cette communication fera état des constats formulés lors de cet exercice.

• Communication orale 10 h 15
  Mettre en commun la démarche d’évaluation des apprentissages, oui, c’est possible!
  Marie-France Huet (Université Laval)

  Depuis juin 2014, le Bureau canadien d’agrément des programmes de génie exige d’une part que les universités canadiennes ajoutent aux programmes de baccalauréat en génie le développement de 12 qualités chez les étudiants et d’autre part instaurent un processus d’amélioration continue. Ces nouvelles exigences ont amené les programmes à revoir leur approche et ont mobilisé le personnel enseignant à travailler en concertation. Les responsables des programmes ont choisi de baser dorénavant l’évaluation de la formation non plus sur l’analyse de contenu de programme mais plutôt sur une démonstration par l’institution de l’acquisition de qualités requises chez l’étudiant à la fin de ses études. Après avoir expliqué la décision de retenir l’approche programme et d’en avoir défini le concept, nous mettrons en lumière les orientations générales qui ont guidé la démarche commune de révision des programmes, la création d’outils qui a permis de procéder à l’évaluation des qualités et l’utilisation des résultats d’évaluation pour implanter le processus d’amélioration continue. Ce type de démarche s’est déroulé sur plusieurs années et les défis ont été nombreux. Nous présenterons les stratégies d’implantation et les outils qui ont été conçus dans le cadre de cette opération en tenant compte du contexte qui implique 16 programmes de baccalauréat en génie.

• Communication orale 11 h 00
  Évaluation des compétences au primaire et au secondaire : défis face à l’incongruence !
  Nadine Talbot (UQTR - Université du Québec à Trois-Rivières)

  Le programme de formation de l’école québécoise (PFEQ) vise le développement de compétences au niveau primaire et secondaire. Afin d’encadrer les enseignants dans cette démarche de formation, le MELS a établi une politique d’évaluation et des cadres d’évaluation disciplinaires. Bien que ces documents soient complémentaires au PFEQ, des incongruences entre ceux-ci rendent l’évaluation des compétences plus difficile de la part des enseignants. Pourtant, ces documents sont d’une importance capitale, puisque toute évaluation de compétences effectuée par l’enseignant doit être en cohérence avec ceux-ci. Dans ce contexte, que ce soit en situation d'évaluation au service de l'apprentissage ou d'évaluation de l'apprentissage certaines difficultés sont rencontrées par les enseignants. L'une de celles-ci est la détermination des critères d’évaluation et de leurs indicateurs respectifs pour apprécier la réalisation d’une tâche complexe. Ainsi, les questions suivantes se posent. Comment la pratique évaluative de l’enseignant peut-elle être en accord avec les documents ministériels alors que ceux-ci ne sont pas totalement concordants? Quel document prime sur les autres ? Quelles informations retenir pour l’élaboration de listes de vérification et de grilles d’appréciation ? Au cours de cette communication, différentes incongruités seront discutées afin d’apporter des réponses à ces multiples questionnements des enseignants.

• Communication orale 11 h 30
  Jeux de rôle et place des savoirs dans l’évaluation par ePortfolio
  Christophe Gremion (IFFP - Institut fédéral des hautes études en formation professionnelle)

  Depuis les travaux de Schön, les formations à l’enseignement ont quitté le tout académique au profit de formations professionnalisantes. Dans ce contexte, nous avons vu les savoirs perdre en importance face aux compétences, au risque parfois que ces dernières éclipsent totalement les premiers. Pourtant, l’articulation compétences - ressources ne met pas ces deux éléments en concurrence, mais bien en complémentarité, une mobilisation des différents savoirs étant toujours nécessaire pour exercer sa compétence dans des situations inattendues. Pour développer la professionnalité des futurs enseignant, l’Institut des hautes études en formation professionnelle propose à ses étudiants d’analyser des situations métiers dans un ePortfolio. Après cinq années d’utilisation, cette recherche a pour but d’analyser la démarche afin de la faire évoluer. Les données, recueillies lors de 18 focus groupes, mettent en évidence certains points de vigilance qui nous développerons lors de la communication : les répondants relèvent un besoin de clarification de la double fonction évaluative du ePortfolio, identifient une prépondérance du temps consacré à la certification au détriment du temps nécessaire à la phase formative et souhaitent voir clarifiés les rôles de chaque intervenant durant ces différentes phases évaluatives. De plus, ils appellent également à ce que le travail d'appropriation des différents savoirs prenne plus de place dans le dispositif de formation.

Dîner

Administration scolaire

• Communication orale 13 h 15
  L’évaluation des compétences en gestion de l’éducation QQOQCCP ?
  Alain Huot (UQTR - Université du Québec à Trois-Rivières), Laurent Ouimet (UQTR - Université du Québec à Trois-Rivières)

  Cette communication traite des interactions entourant l’évaluation des compétences des directions d’établissement scolaire (DÉS), les leurs et celles de leurs subordonnés. Le rôle des DÉS est partiellement défini dans la Loi sur l’instruction publique ; celui des enseignants aussi. Au quotidien, les DÉS doivent assurer l’agir compétent de tous les membres du personnel (MELS, 2008) et par le fait même, gérer en utilisant plusieurs référentiels de compétences (ADOQ, 2018 ; MELS, 2008 ; MEQ, 2001). Concrètement, nous aborderons l’évaluation des compétences par la DÉS sous un angle systémique. Nous questionnerons, dans une articulation théorie-pratique, les qui, quoi, où, quand, comment, combien et pourquoi (QQOQCCP) (Deming, 1945). Nous mettrons en évidence la complexité des enjeux et des défis d’aujourd’hui, mais également ceux de demain, quant à l’évaluation des compétences en contexte de gestion scolaire.

Évaluation de compétences langagières

• Communication orale 13 h 45
  L’évaluation formative en classe de langue : Que mesure-t-on?
  Shahrzad Saif (Université Laval), Romain Schmitt (Université Laval)

  Cette présentation porte sur une approche formative de l’évaluation en classe de langue, c’est-à-dire l’évaluation au service de l’apprentissage (learning-oriented assessment), promue par le Programme de Formation de l’École Québécoise (PFEQ). Ce type d’évaluation, utilisé pendant le processus d'apprentissage plutôt qu'à la fin de celui-ci, se distingue souvent des tests traditionnels ou standardisés par l’accent mis sur les pratiques ascendantes (bottom-up practices), ce qui donne plus de contrôle aux enseignants et aide les apprenants à progresser vers les objectifs du curriculum. Nous discuterons des composantes critiques et du processus de l’évaluation formative en classe de langue ainsi que des construits mesurés par ce genre d’évaluation. Nous soutiendrons que le caractère pragmatique de l’évaluation formative nécessite que les différentes composantes de la compétence langagière interagissent, non seulement les unes avec les autres, mais aussi avec l’ensemble des connaissances linguistiques nécessaires pour s’exprimer de façon appropriée dans un contexte donné. Nous explorerons également les spécificités des tâches propres à ces tests qui permettent de soutenir l'apprentissage en modifiant et en améliorant les activités d'enseignement et d'apprentissage.

• Communication orale 14 h 15
  Évaluer l’écriture littéraire : Quelle place pour la créativité ?
  Kimmy Bourgie-Tellier (UQTR - Université du Québec à Trois-Rivières), Noémie Bérard (UQTR - Université du Québec à Trois-Rivières), Amélie Chicoine (UQTR - Université du Québec à Trois-Rivières), Alice Vanlint (UQTR)

  Plusieurs didacticiens du français ont dénoncé le caractère hyper-normatif des pratiques pédagogiques qui, fondées sur une conception techniciste de l’écriture, la réduise à la simple application de normes (Garcia-Debanc et Fayol, 2002 ; Mas, 1991) et empêchent le développement de la créativité littéraire des élèves (Sorin, 2005 ; Sirois et Boisclair, 2010). Tenant compte de ces critiques, le Programme de formation de l’école québécoise reconnait la complexité de l’écriture et accorde une place au développement de la créativité (Comeau, 1995). Toutefois, la grille d’évaluation des textes du ministère de l’éducation (MEQ) vise plutôt l’appréciation de la capacité de l’élève à appliquer les normes qui régissent l’écrit. Il convient alors de se demander si cette grille permet d’apprécier la compétence à écrire des textes littéraires des élèves ? Trois textes narratifs écrits par des élèves du 2e cycle du primaire ont été analysés sous deux angles : 1- à partir de la grille du MEQ et 2- à partir d’outils issus de la littérature scientifique. Les résultats permettent de souligner diverses lacunes de la grille d’évaluation qui semble fondée sur cette conception techniciste de l’écriture dénoncée par les didacticiens. Le risque que la grille amène à pénaliser davantage les enfants prenant des risques littéraires sera notamment discuté ; invitant à repenser l’équilibre à trouver entre normes et créativité lors de l’enseignement et de l’évaluation de l’écriture littéraire à l’école.

• Communication orale 15 h 00
  Défis à l’adaptation et traduction des tests dans les contextes linguistiques minoritaires
  Samira Elatia (University of Alberta)

  En 2009, La Commission Internationale des Tests a mis en place des directives[1] pour l’adaptation et la traduction des tests (TAT) soulignant l’importance du fait que l’adaptation: “needs to consider the whole cultural context within which a test is to be used.” Au Canada, le TAT prend une ampleur plus importante avec la dualité linguistique, où plusieurs programmes d'évaluation, provinciaux et fédéraux, ont été élaborés suivant un processus de TAT. Ces tests de rendement scolaires sont généralement construits d’abord en anglais (langue dominante), puis traduits/adaptés en français (langue minoritaire) avec la présupposition qu’il existe une forme linguistique standard à travers le pays. On assume que la validité, la fiabilité et l’équité des versions originale et traduite du test seraient les mêmes. Or, ceci n’est pas forcément le cas étant donnée la diversité linguistique, surtout du français. Dans un test administré dans plusieurs langues, les candidats peuvent avoir des performances différentes, en fonction du contenu et de la langue du test, en raison de la forte association entre les systèmes linguistiques, leurs utilisations, le statut social et l'origine ethnique des candidats. Ainsi, les facteurs sociolinguistiques peuvent être une source de biais qui expliquerait la performance et devraient préoccuper les différents acteurs et décideurs.

  [1] Révisée en 2017

• Communication orale 15 h 30
  Analyse de la validité du TFLM comme mesure de compétence langagière des candidats aux programmes de formation initiale en enseignement au Québec.
  Shahrzad Saif (Université Laval), Romain Schmitt (Université Laval)

  Des performances élevées aux tests langagiers utilisés à l’admission sont cruciales pour les candidats universitaires car leur futur dépend du résultat obtenu. La validité des tests est donc importante pour les candidats et pour les responsables d’admissions qui basent leur décision sur ces données. La question à se poser est la suivante : ces résultats sont-ils des indicateurs valides de la compétence langagière des candidats et assurent-ils leur succès dans les programmes ciblés? Cette étude analyse la validité du Test de français Laval Montréal (TFLM), test de compétence langagière utilisé comme critère d’admission aux programmes de formation initiale en enseignement d’universités québécoises francophones. Basée sur la conception de la validité de Messick (1989) et le cadre d’analyse des tâches de Bachman et Palmer (2010), l’étude compare les tâches du TFLM à celles de trois contextes académiques et pédagogiques auxquels les futurs enseignants seront confrontés. Les résultats indiquent que les tâches du TFLM ne correspondent pas à celles que les étudiants devront accomplir au cours de leur formation ni aux besoins des futurs enseignants, identifiés par le ministère de l’Éducation. La validité du TFLM, ses conséquences et les aspects potentiellement négatifs de son utilisation actuelle sont exposés.

Évaluation des compétences en mathématiques

• Communication orale 16 h 00
  Kaléidoscope sur les évaluations ministérielles du primaire, du secondaire et en éducation aux adultes en mathématique
  Anne-Michèle Delobbe (UQAR - Université du Québec à Rimouski), Mélanie Tremblay (UQAR - Université du Québec à Rimouski)

  Prolongement de programmes qui visent le développement de trois compétences en mathématique, au cours de la dernière décennie, on assiste à une transformation des épreuves ministérielles tant au primaire, secondaire qu’en éducation aux adultes. Alors que le secteur jeune (primaire et secondaire) tend à distinguer les compétences au moment de l’évaluation, le secteur adulte opte pour une évaluation de situations par un traitement intégré. Alors que le secteur jeune privilégie la rédaction d’observables génériques associés aux critères, les observables des grilles d’évaluation du secteur adulte sont plutôt colorés par les stratégies et raisonnements propres à chaque champ mathématique. Influencée par les six critères de Roegiers (2004) permettant de qualifier un système d’évaluation et à partir d’un corpus de données issues d’épreuves ministérielles (2015 à 2018), notre communication propose une lecture contrastée de ces épreuves afin d’interroger plus particulièrement leur validité, la visibilité des critères d’évaluation et le réalisme de l’application de ces derniers.

Synthèse et mot de clôture