508 - Apports, défis et avenir du domaine en mesure et évaluation

« Défi de taille » pour certains (Boily, 2008, p. 3), « complexe » pour d'autres (Pérusset, 2008, p. 16), l'évaluation à l'éducation préscolaire ne serait pas si simple. Parmi les raisons évoquées, on retient que l'enfant de 5 ans « laisse peu de traces écrites » (Fleury, 2010, p. 225), ce qui oblige à chercher dans le quotidien de la classe des manifestations de ses compétences. Par compétence, on entend la capacité de l'enfant de mobiliser, de façon efficace, un ensemble de ressources (MEQ, 2001). Dans le cadre d'une enquête par questionnaire, l'analyse des besoins d'une centaine d'enseignantes a permis de dégager quatre catégories de besoins de formation à l'évaluation : la conception d'outils d'évaluation, la bonne compréhension des compétences du programme d'éducation préscolaire à évaluer, la démarche d'évaluation en général et le respect d'une certaine objectivité dans l'évaluation. L'objectif premier de la communication est de témoigner des besoins en évaluation dans les classes du préscolaire. Partant de ces constats et s'inspirant du thème du colloque, il s'agira de montrer, en conclusion, comment des spécialistes du domaine de la mesure et de l'évaluation pourraient être mis à contribution pour faciliter le travail des enseignantes du préscolaire.

Les croyances des futurs enseignants ont été identifiées comme l'un des principaux éléments qui influencent leur processus d'apprentissage pour l'enseignement parce qu'ils filtrent/bloquent des expériences cognitivement incompatibles vécues pendant leur programmes (Borg, 2003; Calderhead, 1996; Freeman et Johnson, 1998; Hollingsworth, 1989; Holt-Reynolds, 1992; Wideen, Mayer-Smith et Moon, 1998). Aujourd'hui, en ce qui concerne le processus d'évaluation, les enseignants sont obligés de faire usage de différents outils d'enseignement qui assurent la réussite de l'apprentissage pour leurs élèves (Darling-Hammond, 2006) et de les évaluer en utilisant différents outils d'évaluation afin de garder la trace de leurs progrès (DeLuca et Klinger, 2010). Pour ces raisons, cette étude qualitative exploratoire a comme buts de: 1) identifier comment les croyances et les pratiques d'évaluation des futures enseignants évoluent au cours de leur dernière année du programme du baccalauréat d'enseignement d'Anglais Langue Seconde de l'Université de Sherbrooke. Les données ont été collectées avec cinq participants par les méthodes suivantes: enquête, questionnaires ouverts, entretiens semi-structurés, rappels stimulés et récits (Clandinin et Connelly, 1990; Lichman, 2006). Une fois terminée, cette recherche permettra aux formateurs enseignants de faire des ajustements ou améliorations nécessaires dans leurs propres cours et programmes afin de fournir la meilleure préparation en termes d'évaluation.

Afin d'éclairer les choix institutionnels liés à l'encadrement et au soutien des pratiques d'évaluation à distance des apprentissages, une recherche amorcée en 2013 à l'Université de Sherbrooke a circonscrit 30 méthodes d'évaluation exploitées dans ces pratiques au sein de huit facultés dans des contextes d'enseignement le plus souvent complètement à distance. La deuxième étape de cette étude, objet de la présente communication, vise une description approfondie de pratiques témoignant de ces méthodes dans leur diversité. Quelque dix entrevues semi-dirigées réalisées auprès de formateurs conduisent à une description des composantes de la pratique évaluative, à savoir les objets, les fonctions, les méthodes d'évaluation et ensuite de paramètres tels que les outils de médiatisation et de médiation relationnelle exploités en fonction des étapes du processus d'évaluation (cadre de référence adapté de Lakhal, Leroux et Martel dans Nizet, Leroux, Deaudelin, Béland et Goulet, soumis). Les résultats apportent un éclairage sur des pratiques où l'évaluation a dans la plupart des cas une fonction sommative. Ces pratiques concernent principalement des méthodes1) permettant la démonstration de compétences, 2) axées sur travaux écrits, ou encore 3) exploitant la collaboration. Les résultats révèlent aussi des défis relatifs à la formation du personnel et à la fiabilité technologique auxquels l'institution doit faire face.

Plusieurs enseignants affirment que l'évaluation des compétences en histoire, favorisant une démarche d'enquête critique, est louable, mais impraticable (Bédard, 2014). On prône un retour à l'évaluation des connaissances factuelles, menant à la publication ministérielle d'une liste de faits devant être mémorisés par les élèves pour assurer leur réussite à l'épreuve uniforme. Ces considérations rompent toutefois avec la nature interprétative de la discipline historique et les résultats de la recherche, selon lesquels un enseignement-apprentissage reposant sur les concepts procéduraux constitutifs de la pensée historienne entraine une compréhension historique approfondie et durable (Ashby, Lee et Shemilt, 2005; Hynd, Holschuh et Hubbard, 2004; Martineau, 2010; Pontecorvo et Girardet, 1993; Seixas, 1996; VanSledright, 2013; Wineburg, 2001) et un rapport au savoir propice à l'exercice d'une citoyenneté active et critique chez les élèves (Barton et Levstik, 2004; Martineau, 1999, 2010). L'épreuve uniforme évalue-t-elle le développement de la pensée historienne? Cette contribution a pour objectif d'exposer les liens entre les concepts procéduraux constitutifs de la pensée historienne et les questions de l'épreuve, à l'aide d'une analyse qualitative du contenu des épreuves de 2012 à 2015. Elle alimentera la réflexion sur les finalités de l'épreuve uniforme et sur l'influence qu'elle peut avoir sur les pratiques enseignantes

L'approche par compétences nous incite à évaluer les apprentissages à l'aide de situations complexes. C'est à travers de multiples nuances que les compétences des étudiantes et des étudiants se manifestent d'où la nécessité d'avoir recours à des outils de jugement efficaces qui facilitent l'évaluation et permettent l'attribution d'une note juste. En s'appuyant sur des critères d'évaluation observables, les grilles d'évaluation descriptives ont beaucoup à offrir puisqu'elles permettent d'apprécier, dans leur diversité, les productions et les performances réalisées dans le contexte d'une approche par compétences.

Émergeant d'une expertise de terrain et documentée par une revue de littérature, la présentation propose une démarche structurée permettant de construire une grille d'évaluation descriptive. Les balises à respecter, les questions à se poser, les pièges à éviter ainsi que des exemples de grilles d'évaluation descriptives seront au cœur de la présentation. Nous discuterons également de la perspective évolutive d'une grille. Une grille de première génération évoluera, à l'usage, vers une grille de deuxième et même de troisième génération.

Cette démarche fera l'objet d'une publication cet automne aux Presses de l'université du Québec. Elle mène à des outils porteurs de défis et d'avenir dans le domaine de la mesure et de l'évaluation.

Dans la plupart des cas, un examen ou une tâche d'évaluation évaluent la même compétence ou les mêmes connaissances pour tous les individus qui y participent (Miller, Linn et Gronlund, 2009; Stiggins, 2008). L'un des apports, défis et avenir du domaine de l'évaluation serait d'envisager la problématique de l'évaluation de différentes connaissances et compétences durant la même tâche d'évaluation dans le cas où les participants auraient des relations hiérarchiques entre eux tel que membre d'équipe, chef d'équipe ainsi que gestionnaire d'équipe qui supervise les chefs d'équipe (Nance, 2000, p.298). Afin de résoudre cette problématique, une application Internet d'évaluation d'équipes à plusieurs niveaux de hiérarchisation a été développée selon le modèle de Harvey et Loiselle (2009) dont la convivialité de l'interface a été déterminée à l'aide du questionnaire QUIS (Chin, Diehl et Norman, 1988). Les tests fonctionnels ont été effectués par des étudiants de secondaire II tandis que la mise à l'essai fonctionnelle a été effectuée par un groupe de cadets de l'armée. Dans les cas de ces mises à l'essai, une forte résistance au changement s'est produite en raison du temps et des difficultés éprouvées par les utilisateurs à ouvrir une session ainsi qu'à apprendre le fonctionnement de l'application.

Les Mini Entrevues Multiples (MEM) sont un outil d'évaluation des habiletés cognitives très utilisé au Canada pour sélectionner les candidats au Programme de doctorat en médecine. Au Québec, les trois universités francophones proposant ce programme, à savoir l'Université Laval, l'Université de Montréal et l'Université de Sherbrooke, se sont associées pour développer et administrer des Mini Entrevues Multiples Francophones Intégrées (MEMFI). La présente communication a ainsi pour objectif d'apprécier les qualités métriques des MEMFI lors de l'exercice 2014 du processus d'admission au programme de doctorat en médecine. Durant celui-ci, 1492 candidats ont participé, dans l'une des trois universités concernées, aux MEMFI lors d'une session d'admission de deux jours. Afin d'apprécier la consistance interne, les alphas de Cronbach et les indices de discrimination ont été calculés, et ce, pour chacun des deux jours d'administration. Une analyse factorielle confirmatoire (AFC) a, également, été réalisée pour tester la structure unifactorielle des MEMFI. Les indices de discrimination sont acceptables puisque tous supérieurs à 0.20, alors que les Alphas de Cronbach sont considérés comme satisfaisants car supérieurs à 0.70 (DeVellis, 2003), et se rapprochent des valeurs rapportées dans la littérature scientifique (Pau et al., 2013). L'AFC réalisée confirme la structure unifactorielle des MEMFI

Dans le système scolaire québécois, la mise en œuvre de programmes par compétences nécessite des changements, notamment dans les pratiques évaluatives et pose plusieurs défis en salle de classe. Dans ce contexte, la planification de l'évaluation, l'intégration de l'évaluation à l'enseignement, l'équité et l'authenticité sont des caractéristiques de l'évaluation des apprentissages qui devraient se refléter dans les pratiques évaluatives. Une échelle de mesure du degré d'accord des pratiques d'évaluation des apprentissages en lien avec les caractéristiques du cadre de référence planification-intégration-équité-authenticité (PIEA) de Raîche a été élaborée.

Au cours de cette présentation, les résultats d'une analyse factorielle exploratoire et d'une modélisation selon le modèle gradué de Samejima (1969) seront présentés. Ces analyses ont été effectuées avec les données d'un échantillon de 1 975 étudiants provenant du secteur collégial. Une discussion des résultats permettra de mieux comprendre l'apport de cette échelle de mesure pour l'avancement des connaissances dans le domaine de la mesure et évaluation.

Avec l'orientation progressive des cégeps vers les mécanismes d'amélioration continue des programmes et la prise de conscience aigüe de la présence croissante, au collégial, de populations étudiantes issues des milieux défavorisés et de celles ayant des troubles et difficultés particulières, l'évaluation de la valeur des méthodes pédagogiques est devenue un enjeu majeur dans notre collège. Enseignants, syndicats, chercheurs, cadres n'ont pas la même vision et sont, consciemment ou non, d'obédiences paradigmatiques différentes de l'enseignement – apprentissage (Jonnaert, 2002), ce qui rend difficile toute tentative d'évaluation.

Partant du cadre de référence d'une approche intégrée multi paradigmatique proposée par un groupe d'auteurs (Desbiens, Malo, Martineau et Simard, 1997) nous formulons l'hypothèse d'une échelle de mesure de l'efficacité des méthodes pédagogiques. Notre analyse comparative des approches actuelles et des résultats de recherche connus du milieu collégial aboutit à une échelle à 7dimensions dont les libellés sont issus du cadre de l'enseignement explicite. Devant le malaise de la fréquentation des salles de classe par le personnel non enseignant, l'échelle ainsi constituée ne peut être soumise qu'à la population étudiante.

Notre présentation vous invitera à questionner les résultats préliminaires des détails de la validation du construit : items, échelons, scores de saturation. Votre apport permettra de valider l'attribution des scores et la validation externe.

La recherche en édumétrie utilise souvent des notes, obtenues à l'aide d'examens ou de questionnaires, afin de mettre en relation ces notes avec d'autres variables. Or, peu d'études ont cherché à répondre à la question : la méthode de notation utilisée a-t-elle une influence sur les opérations statistiques subséquentes (Dumenci et Achenbach, 2008; Xu et Stone, 2011)? De plus, la plupart de ces études se sont limitées à comparer les méthodes provenant de la théorie classique des tests et de la théorie de la réponse aux items (Fan, 1998; Macdonald et Paunonen, 2002). Cette étude a pour objectif de combler ce manque, en utilisant des données réelles provenant d'un questionnaire mesurant le sentiment d'efficacité personnelle rempli par 391 répondants. Les scores générés par 7 méthodes de notation ont été corrélés à d'autres scores, réels et simulés, afin de voir si la méthode de notation influence les corrélations subséquentes. Les résultats montrent que, en accord avec les rares études antérieures (Ferrando et Chico, 2007; Zaman, Kashmiri, Mubarak et Ali, 2008), la méthode de notation utilisée pour générer des scores ne change pas significativement les corrélations calculées avec de tierces variables.