513 - La communication des résultats d'évaluation

Les études de satisfaction des clients (ex. : étudiants, patients) apportent aux décideurs une rétroaction sur la qualité de leurs services/produits. Certains auteurs suggèrent qu'utiliser une échelle de réponse plus longue, autour de 10 points, donnerait aux répondants plus de latitude pour indiquer avec justesse leur degré de satisfaction, surtout que leurs réponses y sont généralement concentrées à l'extrémité positive. La présente étude examine l'effet de la longueur de l'échelle de réponse (6 pts c. 10 pts) sur la variance et les qualités psychométriques d'un questionnaire de satisfaction. Deux versions d'un questionnaire de satisfaction ont été administrées à 154 et 157 personnes, respectivement. Les résultats d'analyses de variance et du test de Hakstian et Whalen indiquent qu'employer une échelle de réponse en 10 points plutôt qu'en 6 points ne permet pas d'obtenir des écarts-types d'items, des indices de discrimination ou une fidélité supérieurs. De plus, des tests d'invariance des paramètres structuraux démontrent que la longueur de l'échelle de réponse n'influence pas la validité nomologique. Ces résultats suggèrent que les échelles de réponse en 10 points et en 6 points sont équivalentes sur le plan des qualités psychométriques lorsqu'elles sont utilisées dans un questionnaire de satisfaction des clients.

Selon March (2007), les évaluations de l'enseignement universitaire (EEE) sont multidimensionnelles, fiables, stables et relativement valides Nous avons vérifié ces conclusions en administrant deux questionnaires (24 items et 8 items) à des étudiants marocains (N1=22), algériens (N2= 83) et tunisiens (N3= 56) en septembre 2012. L'analyse factorielle exploratoire a permis de confirmer les dimensions théoriques des questionnaires. La fiabilité est vérifiée par le calcul de l'alpha de Crombach. La méthode ‘Éducational Testing Service' a permis d'estimer les degrés de discrimination des items. Après avoir éliminé un item déviant, les 24 items s'avèrent être tous discriminants, la fiabilité est acceptable (alpha = 0,92) et l'analyse factorielle exploratoire confirme bien les cinq dimensions théoriques du questionnaire (Shemsi, G.; Radid, M.; Sadiq, M. et Talbi, M., 2011). Les huit items sont également tous discriminants et la fiabilité est supérieure à 0,83. Par contre, la solution factorielle révèle seulement deux composantes principales fort ressemblantes pour chacun des trois pays: le climat d'apprentissage et la consistance dans la poursuite des objectifs d'enseignement-apprentissage; celles-ci expliquent à elles seules plus de 75 % de la variance totale. Cette étude suggère que les EEE sont effectivement multidimensionnelles, fiables et discriminantes, par contre leur validité reste encore à démontrer.



Il n'est pas rare d'obtenir des données manquantes lors de la passation d'une épreuve d'évaluation ou d'un questionnaire de recherche. Ce problème peut survenir lorsqu'un étudiant a omis de répondre à une section d'un examen ou lorsqu'il a volontairement décidé de ne pas répondre à certaines questions.

Les chercheurs en éducation se soucient généralement très peu de ce problème important. Il existe pourtant de nombreuses stratégies pour gérer/traiter les données manquantes. Dans le cadre de cette étude, nous aurons comme objectif de comparer des méthodes traditionnelles (par exemple, l'utilisation de la moyenne) et d'autres plus contemporaines (par exemple, la méthode par imputations multiples) pour traiter les données manquantes. Pour ce faire, nous utiliserons le modèle de Rasch (Rasch, 1960) pour vérifier si le paramètre de difficulté des items diffère selon l'utilisation de diverses méthodes. Nous avons choisi un test d'anglais, langue seconde (N=1709), constitué de 85 items à réponses choisies, unidimensionnel et qui a déjà été validé, pour procéder aux analyses.

L'engagement professionnel est un construit basé sur le rapport affectif du professionnel avec son occupation. Les individus qui s'identifient à leur profession ont tendance à avoir un vécu professionnel plus rempli d'expériences positives et leur engagement professionnel et leur satisfaction au travail peuvent jouer un rôle dans leur décision de continuer ou de quitter le métier. En utilisant des données de l'enquête pancanadienne auprès des enseignants d'écoles primaires et secondaires, la présente étude s'intéresse à l'engagement professionnel et à la satisfaction relativement à leurs conditions de travail des enseignants canadiens en milieux défavorisés, en tenant compte du genre et du moment d'entrée dans la profession. L'étude vise d'abord à examiner les propriétés psychométriques des items composant les deux sections du questionnaire de l'enquête qui ont été retenues. Elle vise également à faire le portrait de l'engagement professionnel et de la satisfaction de 1 114 enseignants de milieux défavorisés. Les données sont analysées à l'aide d'un modèle de Rasch à crédit partiel pour items polytomiques. Les résultats suggèrent notamment que les femmes enseignantes sont plus satisfaites dans la profession que les hommes, et que les nouveaux enseignants ont un vécu professionnel moins plaisant et plus turbulent que les enseignants chevronnés. 

Depuis l'implantation de la réforme, les pratiques évaluatives demeurent au cœur des préoccupations des enseignants. Les changements survenus dans ce domaine sont nombreux (Scallon, 2004), particulièrement en ce qui concerne la communication des résultats. Pensons notamment au passage du bulletin descriptif au bulletin chiffré et à la récente mise en place du bulletin unique (MELS, 2011). Les enseignants ont dû s'approprier ces changements et bien entendu, les mettre en pratique. Naturellement, tout changement peut apporter chez les enseignants un sentiment de déséquilibre qui risque d'influencer la façon dont ils mettent en œuvre l'évaluation dans leur classe. Dans ce contexte, nous avons interrogé, par l'entremise d'un questionnaire, une trentaine d'enseignants du primaire. Notre objectif était de dresser un portrait de leurs pratiques évaluatives, en questionnant entre autres leur sentiment de compétence, dans le but de dégager leurs besoins de documentation et de formation. À ce stade de l'analyse, il appert que les besoins portent surtout sur les outils, autant pour l'évaluation des compétences que des ressources. L'intérêt de cette communication est, par conséquent, de démontrer la réalité vécue dans une commission scolaire québécoise en matière d'évaluation, notamment au niveau de la communication des résultats, thématique du colloque.

Dans le système éducatif camerounais encore dominé par la pédagogie frontale, la communication des résultats d'évaluation dans les établissements scolaires et universitaires fait l'objet de pratiques humiliantes (Merle, 2005), plus particulièrement pour les élèves en difficultés. Au Cameroun, communiquer les résultats revient, selon certains enseignants, à célébrer le mérite des élèves doués et à stimuler l'esprit d'excellence chez les élèves en difficultés. Or les pratiques qui accompagnent cette communication provoquent plutôt un sentiment d'humiliation chez les élèves en difficultés et  traduisent l'institutionnalisation de la discrimination entre les apprenants. Cela favorise l'établissement de rapports peu émancipatoires entre les apprenants d'une part, et entre les apprenants et les enseignants d'autre part. Cette communication se propose d'examiner certaines de ces pratiques à partir des données découlant de l'observation documentaire, de l'observation directe et des entretiens semi-directifs menés auprès de quelques acteurs, pour ensuite en dégager l'impact sur l'intégration scolaire, académique et/ou sociale des apprenants en difficultés. En tenant compte des impacts sociaux de la communication des résultats d'évaluation sur l'apprenant en difficultés, ce travail s'inscrit dans une approche interactionniste qui considère que le sens se construit dans l'interaction (Goffman, 1973-1987).

L'évaluation de l'enseignement par les étudiants, selon Romainville et Coggi (2009), constitue un volet délicat de la relation dynamique s'instaurant entre l'étudiant et le professeur, et soulève ainsi des questions à propos du statut des uns et des autres. À l'Université de Montréal, elle est essentiellement de nature formelle et de deux types: la rétroaction de mi-session, facultative, administrée par le professeur, et l'évaluation de fin de trimestre, administrée par l'Université, obligatoire pour les étudiants du 1^er cycle. L'utilisation faite des résultats de cette évaluation formelle et instrumentée soulève des enjeux importants, tant sur les plans économique, politique et socio-éthique, comme l'ont relevé divers auteurs (Bernard, 2011; Jorro, 2007; Paquay et al., 2010; Poissant, 1996).

Dans le cadre de cette contribution, nous présenterons la recension des écrits effectuée dans le cadre d'une étude de 2^e cycle (Sèguéda, en cours) pour questionner ces enjeux, selon la position occupée par les principaux acteurs concernés : pour les administrateurs, l'enjeu principal est la création d'une culture de l'enseignement qui s'est perdue au détriment de celle de la recherche; pour les professeurs, il s'agit de leur développement professionnel et de leur progression dans la carrière; pour les étudiants, c'est autour de la qualité de la formation que se pose l'enjeu principal.



À partir d'une approche mixte (Karsenti, 2011; Pluye et al., 2009), nous essayerons
de comprendre la façon dont les notes et les commentaires d'un bulletin scolaire
peuvent contribuer à la construction de deux types de jugement : le professionnel et
le parental. Nous nous inspirerons de notre expérience actuelle d'enseignement en français
de 1re secondaire dans une école publique québécoise. Nous nous interrogerons, par
exemple, sur les gradations (résultats : faibles malgré son travail / tendent à baisser /
baissent dangereusement; efforts : satisfaisants / insatisfaisants / inconstants /
laissent grandement à désirer / fait des efforts, mais éprouve des difficultés;
autonomie : remarquable / manque) de même que sur les énoncés quant aux facteurs
suivants, plus récurrents que d'autres (leadership, organisation de travail, ordre dans
les notes de cours, autorité) dans la liste des commentaires disponibles : les
résultats, les travaux, l'effort et l'attention.