513 - La communication des résultats d'évaluation

Les études de satisfaction des clients (ex. : étudiants, patients) apportent aux décideurs une rétroaction sur la qualité de leurs services/produits. Certains auteurs suggèrent qu'utiliser une échelle de réponse plus longue, autour de 10 points, donnerait aux répondants plus de latitude pour indiquer avec justesse leur degré de satisfaction, surtout que leurs réponses y sont généralement concentrées à l'extrémité positive. La présente étude examine l'effet de la longueur de l'échelle de réponse (6 pts c. 10 pts) sur la variance et les qualités psychométriques d'un questionnaire de satisfaction. Deux versions d'un questionnaire de satisfaction ont été administrées à 154 et 157 personnes, respectivement. Les résultats d'analyses de variance et du test de Hakstian et Whalen indiquent qu'employer une échelle de réponse en 10 points plutôt qu'en 6 points ne permet pas d'obtenir des écarts-types d'items, des indices de discrimination ou une fidélité supérieurs. De plus, des tests d'invariance des paramètres structuraux démontrent que la longueur de l'échelle de réponse n'influence pas la validité nomologique. Ces résultats suggèrent que les échelles de réponse en 10 points et en 6 points sont équivalentes sur le plan des qualités psychométriques lorsqu'elles sont utilisées dans un questionnaire de satisfaction des clients.

Selon March (2007), les évaluations de l'enseignement universitaire (EEE) sont multidimensionnelles, fiables, stables et relativement valides Nous avons vérifié ces conclusions en administrant deux questionnaires (24 items et 8 items) à des étudiants marocains (N1=22), algériens (N2= 83) et tunisiens (N3= 56) en septembre 2012. L'analyse factorielle exploratoire a permis de confirmer les dimensions théoriques des questionnaires. La fiabilité est vérifiée par le calcul de l'alpha de Crombach. La méthode ‘Éducational Testing Service' a permis d'estimer les degrés de discrimination des items. Après avoir éliminé un item déviant, les 24 items s'avèrent être tous discriminants, la fiabilité est acceptable (alpha = 0,92) et l'analyse factorielle exploratoire confirme bien les cinq dimensions théoriques du questionnaire (Shemsi, G.; Radid, M.; Sadiq, M. et Talbi, M., 2011). Les huit items sont également tous discriminants et la fiabilité est supérieure à 0,83. Par contre, la solution factorielle révèle seulement deux composantes principales fort ressemblantes pour chacun des trois pays: le climat d'apprentissage et la consistance dans la poursuite des objectifs d'enseignement-apprentissage; celles-ci expliquent à elles seules plus de 75 % de la variance totale. Cette étude suggère que les EEE sont effectivement multidimensionnelles, fiables et discriminantes, par contre leur validité reste encore à démontrer.

Il n'est pas rare d'obtenir des données manquantes lors de la passation d'une épreuve d'évaluation ou d'un questionnaire de recherche. Ce problème peut survenir lorsqu'un étudiant a omis de répondre à une section d'un examen ou lorsqu'il a volontairement décidé de ne pas répondre à certaines questions.

Les chercheurs en éducation se soucient généralement très peu de ce problème important. Il existe pourtant de nombreuses stratégies pour gérer/traiter les données manquantes. Dans le cadre de cette étude, nous aurons comme objectif de comparer des méthodes traditionnelles (par exemple, l'utilisation de la moyenne) et d'autres plus contemporaines (par exemple, la méthode par imputations multiples) pour traiter les données manquantes. Pour ce faire, nous utiliserons le modèle de Rasch (Rasch, 1960) pour vérifier si le paramètre de difficulté des items diffère selon l'utilisation de diverses méthodes. Nous avons choisi un test d'anglais, langue seconde (N=1709), constitué de 85 items à réponses choisies, unidimensionnel et qui a déjà été validé, pour procéder aux analyses.

L'engagement professionnel est un construit basé sur le rapport affectif du professionnel avec son occupation. Les individus qui s'identifient à leur profession ont tendance à avoir un vécu professionnel plus rempli d'expériences positives et leur engagement professionnel et leur satisfaction au travail peuvent jouer un rôle dans leur décision de continuer ou de quitter le métier. En utilisant des données de l'enquête pancanadienne auprès des enseignants d'écoles primaires et secondaires, la présente étude s'intéresse à l'engagement professionnel et à la satisfaction relativement à leurs conditions de travail des enseignants canadiens en milieux défavorisés, en tenant compte du genre et du moment d'entrée dans la profession. L'étude vise d'abord à examiner les propriétés psychométriques des items composant les deux sections du questionnaire de l'enquête qui ont été retenues. Elle vise également à faire le portrait de l'engagement professionnel et de la satisfaction de 1 114 enseignants de milieux défavorisés. Les données sont analysées à l'aide d'un modèle de Rasch à crédit partiel pour items polytomiques. Les résultats suggèrent notamment que les femmes enseignantes sont plus satisfaites dans la profession que les hommes, et que les nouveaux enseignants ont un vécu professionnel moins plaisant et plus turbulent que les enseignants chevronnés.

Les récentes études démontrent que l'adolescence est une période critique dans l'apparition de nombreux troubles psychiatriques et qu'un stress chronique est associé à plusieurs problèmes de santé mentale dont l'anxiété et la dépression (Romer et Walker, 2007; Paus, Keshavan et Giedd, 2008). Les Centres jeunesse du Québec sont responsables d'un grand nombre de jeunes qui ont des difficultés, dont des problèmes de santé mentale et dont le quotidien représente une source de stress. Dans ce contexte nous avons élaboré un programme de prévention de la santé mentale auprès des adolescents.

Objectifs du projet de recherche

Ce projet vise à évaluer l'efficacité du programme In vivo qui vise le développement de compétences pour faire face au stress. Nous désirons examiner si le programme permet 1) une diminution des marqueurs de stress, 2) une plus grande utilisation de stratégies de coping efficaces au détriment des stratégies inefficaces et 3) une diminution des symptômes de dépression et d'anxiété.

Méthodologie de recherche

Protocole à cas unique quasi-expérimental pré-test/post-test (après le programme et 3 mois après) avec condition témoin affectée par échantillon de convenance. Devis pluriméthodique avec mesures physiologiques (fréquences cardiaques et cortisol salivaire) et psychologiques. Capsule vidéo sur le projet In vivo : www.vimeo.com/49244701

Au cours des dernières décennies, on note une importante augmentation des étudiants étrangers dans les universités canadiennes (Association des universités et collèges du Canada, 2011). Ce constat nous amène à réfléchir sur les conditions favorisant l'intégration de ces étudiants dans les programmes. D'un point de vue méthodologique, il existe de nombreux instruments pour mesurer les compétences interculturelles chez les étudiants (Paige, 2004). Par contre, il existe peu d'études crédibles concernant les qualités de ces instruments et la façon dont il est possible de les utiliser en situation réelle. Cette communication consiste à présenter un devis alternatif d'évaluation des compétences interculturelles en contexte universitaire et à discuter des éléments essentiels dont les évaluateurs doivent tenir compte et en particulier dans une perspective de reddition de comptes. Ainsi, en tenant compte des recommandations de Messick (1993) concernant les facettes de la validité, les éléments sur lesquels nous avons décidé de nous pencher sont la pertinence et l'utilité des instruments de collecte de données (ibid.), ainsi que les conséquences et les implications de leur utilisation au niveau organisationnel. Par ailleurs, nous aborderons le recueil d'indicateurs ou indices observables (Nagy, Demeris et van Berneveld, 2000). Nous discuterons également de l'importance de l'instrumentation dans la prise de décision et subséquemment pour la pérennisation des programmes.

La question de l'évaluation des pratiques enseignantes est une question complexe (André, 2012). Les difficultés sont de différents ordres :

• la question de la référence permettant de fonder l'évaluation, sachant qu'il n'existe pas de consensus entre chercheurs sur de bonnes pratiques universelles (Brookhart & Loadman, 1992)

• La variabilité des situations et contextes de l'évaluation, qui ont un impact marqué sur les performances observées sur lesquelles se fondent les évaluations.

• La complexité des pratiques enseignantes difficiles à séparer analytiquement (Darling-Hammond, Wise, & Klein, 1999; Dumay, 2011).

Notre recherche a examiné les instruments permettant le recueil et la communication des résultats de l'évaluation de trois systèmes relatifs à la formation des enseignants : le Performance Assessment for California Teachers (PACT) aux États-Unis, l'évaluation des stages de formation pratique à l'UQAM (Canada) et ceux effectués à la Haute école pédagogique à Lausanne (Suisse). Nous examinerons en particulier :

- L'articulation entre évaluation globale et l'utilisation d'indicateurs précis.

- La dynamique entre subjectivation et objectivation de l'évaluation.

- La place des observations et des inférences dans l'évaluation.

L'analyse de ces éléments, liés entre eux, vise à dégager les enjeux des choix effectués, particulièrement la place et le développement du jugement professionnel chez les évaluateurs (Lafortune & Allal, 2007; Mottier Lopez & Allal, 2010).

Quels que soient l'objet d'évaluation, la visée, ou le contexte, la dernière étape de la démarche évaluative est la communication des résultats. Dans le cas d'une évaluation diagnostique, le construit évalué est le plus souvent multidimensionnel et doit faire l'objet d'un rapport individuel détaillé communiqué à chaque participant et cohérent avec le design du test (Leighton et Gierl, 2007). Notre communication présente une revue de littérature des études empiriques qui proposent des modèles de rapports individuels issus d'une évaluation diagnostique. Ces modèles prennent par exemple la forme de portraits chiffrés, graphiques ou descriptifs (Jang, 2005, Lee et Sawaki, 2009, Jang, 2009). Dans un premier temps, nous proposons un cadre d'analyse pour juger divers critères dont la qualité visuelle du portrait, la précision de l'information, la pertinence du choix des graphiques, ou encore la facilité de l'interprétation par l'apprenant ou l'enseignant (Roberts et Gierl, 2010). Nous appliquons ensuite ce cadre d'analyse aux divers modèles de rapports diagnostiques que nous avons identifiés dans la littérature. Les résultats prennent la forme d'une synthèse critique des approches utilisées pour communiquer les résultats aux apprenants dans diverses disciplines et à divers niveaux de formation. Nous concluons par une liste de recommandations à prendre en considération pour proposer un modèle de rapport individuel diagnostique utile aux enseignants et aux apprenants.

Depuis plusieurs années, la majorité des universités (Meyer et Latham, 2008; Michaud, 2010) qui offrent des programmes de formation à l'enseignement demandent aux étudiants de se constituer, tout au long de leur formation, un portfolio professionnel. Inspiré du modèle de l'enseignement de Shulman (1987) et du modèle de portfolio de Diez (1994), le portfolio professionnel se définit comme un outil où la réflexion, l'autoévaluation et la créativité permettent de faire des liens entre les objectifs d'apprentissage et les apprentissages réalisés. Intégré tout au long de la formation. Dès lors, il permet à l'étudiant de communiquer l'état du développement de ses compétences professionnelles auprès des formateurs universitaires. Le portfolio professionnel peut alors devenir un outil dévaluation certificative permettant de soutenir le jugement professionnel des formateurs. Dans le contexte d'un projet doctoral en cours, la communication visera dans un premier temps à définir le portfolio professionnel comme outil d'évaluation dans une fonction certificative selon différents auteurs. Puis, seront présentées les perceptions des formateurs universitaires quant à l'utilisation du portfolio professionnel, recueillies lors d'entrevues individuelles. Ces résultats préliminaires permettront d'identifier les avantages et les désavantages d'utiliser le portfolio professionnel pour évaluer les étudiants du point de vue des formateurs.

Depuis l'implantation de la réforme, les pratiques évaluatives demeurent au cœur des préoccupations des enseignants. Les changements survenus dans ce domaine sont nombreux (Scallon, 2004), particulièrement en ce qui concerne la communication des résultats. Pensons notamment au passage du bulletin descriptif au bulletin chiffré et à la récente mise en place du bulletin unique (MELS, 2011). Les enseignants ont dû s'approprier ces changements et bien entendu, les mettre en pratique. Naturellement, tout changement peut apporter chez les enseignants un sentiment de déséquilibre qui risque d'influencer la façon dont ils mettent en œuvre l'évaluation dans leur classe. Dans ce contexte, nous avons interrogé, par l'entremise d'un questionnaire, une trentaine d'enseignants du primaire. Notre objectif était de dresser un portrait de leurs pratiques évaluatives, en questionnant entre autres leur sentiment de compétence, dans le but de dégager leurs besoins de documentation et de formation. À ce stade de l'analyse, il appert que les besoins portent surtout sur les outils, autant pour l'évaluation des compétences que des ressources. L'intérêt de cette communication est, par conséquent, de démontrer la réalité vécue dans une commission scolaire québécoise en matière d'évaluation, notamment au niveau de la communication des résultats, thématique du colloque.

Dans le système éducatif camerounais encore dominé par la pédagogie frontale, la communication des résultats d'évaluation dans les établissements scolaires et universitaires fait l'objet de pratiques humiliantes (Merle, 2005), plus particulièrement pour les élèves en difficultés. Au Cameroun, communiquer les résultats revient, selon certains enseignants, à célébrer le mérite des élèves doués et à stimuler l'esprit d'excellence chez les élèves en difficultés. Or les pratiques qui accompagnent cette communication provoquent plutôt un sentiment d'humiliation chez les élèves en difficultés et traduisent l'institutionnalisation de la discrimination entre les apprenants. Cela favorise l'établissement de rapports peu émancipatoires entre les apprenants d'une part, et entre les apprenants et les enseignants d'autre part. Cette communication se propose d'examiner certaines de ces pratiques à partir des données découlant de l'observation documentaire, de l'observation directe et des entretiens semi-directifs menés auprès de quelques acteurs, pour ensuite en dégager l'impact sur l'intégration scolaire, académique et/ou sociale des apprenants en difficultés. En tenant compte des impacts sociaux de la communication des résultats d'évaluation sur l'apprenant en difficultés, ce travail s'inscrit dans une approche interactionniste qui considère que le sens se construit dans l'interaction (Goffman, 1973-1987).

L'évaluation de l'enseignement par les étudiants, selon Romainville et Coggi (2009), constitue un volet délicat de la relation dynamique s'instaurant entre l'étudiant et le professeur, et soulève ainsi des questions à propos du statut des uns et des autres. À l'Université de Montréal, elle est essentiellement de nature formelle et de deux types: la rétroaction de mi-session, facultative, administrée par le professeur, et l'évaluation de fin de trimestre, administrée par l'Université, obligatoire pour les étudiants du 1^er cycle. L'utilisation faite des résultats de cette évaluation formelle et instrumentée soulève des enjeux importants, tant sur les plans économique, politique et socio-éthique, comme l'ont relevé divers auteurs (Bernard, 2011; Jorro, 2007; Paquay et al., 2010; Poissant, 1996).

Dans le cadre de cette contribution, nous présenterons la recension des écrits effectuée dans le cadre d'une étude de 2^e cycle (Sèguéda, en cours) pour questionner ces enjeux, selon la position occupée par les principaux acteurs concernés : pour les administrateurs, l'enjeu principal est la création d'une culture de l'enseignement qui s'est perdue au détriment de celle de la recherche; pour les professeurs, il s'agit de leur développement professionnel et de leur progression dans la carrière; pour les étudiants, c'est autour de la qualité de la formation que se pose l'enjeu principal.

À partir d'une approche mixte (Karsenti, 2011; Pluye et al., 2009), nous essayerons
de comprendre la façon dont les notes et les commentaires d'un bulletin scolaire
peuvent contribuer à la construction de deux types de jugement : le professionnel et
le parental. Nous nous inspirerons de notre expérience actuelle d'enseignement en français
de 1re secondaire dans une école publique québécoise. Nous nous interrogerons, par
exemple, sur les gradations (résultats : faibles malgré son travail / tendent à baisser /
baissent dangereusement; efforts : satisfaisants / insatisfaisants / inconstants /
laissent grandement à désirer / fait des efforts, mais éprouve des difficultés;
autonomie : remarquable / manque) de même que sur les énoncés quant aux facteurs
suivants, plus récurrents que d'autres (leadership, organisation de travail, ordre dans
les notes de cours, autorité) dans la liste des commentaires disponibles : les
résultats, les travaux, l'effort et l'attention.

Un des défis qui se pose aux spécialistes de l'évaluation est celui de mettre en relation le résultat aux épreuves d'évaluation et les divers niveaux de compétence attendus. Cette opération est importante pour donner un sens à la transmission des résultats d'évaluation. Une approche fréquemment employée consiste à élaborer une échelle descriptive globale, ou encore des échelles descriptives analytiques, pour ensuite établir quel score correspond à chacun des niveaux de ces échelles. Des techniques qui reposent sur l'appréciation d'experts ont été proposées à cette fin : principalement les méthodes d'Angoff, d'Ebel et du signet (bookmark). Lors de cette présentation, nous allons décrire ces trois méthodes et allons proposer une variation à la méthode du signet qui permet non seulement d'établir des standards, mais aussi de valider la constitution des échelles descriptives élaborées a priori. La présentation sera réalisée à l'aide de données empiriques tirées d'une épreuve d'évaluation langagière en français, langue seconde, auprès de la clientèle immigrante au Québec. Les résultats obtenus montreront les avantages et les inconvénients de la méthode.

Cette communication présentera un projet d'évaluation de l'efficacité d'un centre d'aide en philosophie au collégial. Il s'agit d'un travail important car, bien que les centres d'aide à la réussite en philosophie soient présents dans presque tous les cégeps, les cours de philosophie faisant partie de la formation obligatoire commune, aucune évaluation de leur efficacité n'a, jusqu'à maintenant, été publiée par un chercheur indépendant. À notre connaissance, seuls Brière, Filteau et Laurin (1996) ont publié un article ayant trait à une évaluation d'un programme d'aide à la réussite en philosophie au collégial, et cette recherche souffre de carences méthodologiques évidentes.

Une évaluation de l'efficacité d'un centre d'aide en philosophie d'un cégep de taille moyenne de la grande région montréalaise a donc été entreprise à l'automne 2012 pour se poursuivre à l'hiver 2013. Les professeurs responsables du centre et la direction des études de cet établissement ont collaboré à ce projet. Cette évaluation, fondée sur le modèle logique, tente de mesurer l'impact de la fréquentation du centre sur les résultats des étudiants en philosophie. Cette communication présentera ce projet, ses objectifs, sa méthodologie et ses résultats partiels, disponibles au moment de la présentation.