504 - 15e colloque sur les avancées en mesure et évaluation

Le test de concordance de script (TCS) est un outil de plus en plus utilisé dans le domaine des sciences de la santé afin de mesurer, entre autres, le jugement clinique et la prise de décision. Il s'agit d'un instrument composé d'une vignette présentant un cas clinique et de différentes questions en lien avec le cas présenté. Chaque question est composée d'une hypothèse et d'une nouvelle donnée en lien avec l'hypothèse présentée. Les sujets doivent alors se prononcer sur la valeur de cette dernière en comparant leur jugement avec celui d'un panel d'experts. Les propriétés des TCS sont généralement étudiées par le biais de la théorie classique des tests (corrélation item-total, consistance interne, etc.). Dans le cadre de cette recherche, nous avons utilisé le modèle de Rasch à crédit partiel (Masters, 1982) afin d'étudier les propriétés métriques d'un TCS développé et administré (n=70) en sciences infirmières. Nous avons examiné, entre autres, la distribution de l'indice de difficulté, les statistiques d'ajustement infit et outfit ainsi que les problèmes d'ordonnancement des catégories. Les résultats tendent à montrer une bonne adéquation entre les scores bruts et le modèle choisi. Nos travaux suggèrent que la modélisation Rasch serait appropriée pour discuter des propriétés de ce genre d'outil.

Les instruments utilisés pour récolter des données en éducation et dans les sciences sociales en général sont souvent assimilés à des instruments de mesure qui auraient les caractéristiques de ceux utilisés dans les sciences de la nature (par ex. des mètres, des balances, des horloges, etc.). À la première intuition, cette association est alléchante, mais elle perd de son éclat lorsqu'on traite à fond la question. Cette présentation se veut une réflexion théorique et critique sur les caractéristiques de l'instrumentation dans chacun des domaines, de façon à faire ressortir les limites inhérentes d'une telle association. Pour ce faire, l'instrumentation sera disséquée en trois composantes : un dispositif de captation d'une variation, un dispositif de transmission et transformation d'un signal ainsi qu'un dispositif d'affichage d'une valeur numérique. Cette décomposition servira alors à mettre en lumière le fossé qui sépare les sciences naturelles et les sciences de l'Homme. Sous une note plus optimiste, cette réflexion conclura en dégageant quelques avenues prometteuses qui permettraient, si cela est possible, de réduire les disparités dans les opérations de collecte de données et de mesure entre les deux domaines scientifiques.

En enseignement supérieur notamment lors de la formation des professionnels de la santé, l'évaluation mène régulièrement à la prise de décisions qui influencent et dictent le cheminement académique des étudiants ainsi que leur devenir professionnel. Ces décisions doivent reposer avant tout sur des critères de justesse et d'équité. Cependant,  certains écrits notamment ceux de Borsboom et coll. suggèrent que la quête de justesse et d'équité peut parfois se traduire en un dilemme, un paradoxe qui met en scène l'incompatibilité des concepts d'invariance de la mesure et d'invariance de la décision.

La présentation propose d'explorer ce dilemme et paradoxe en abordant celui-ci par l'entremise de la problématique d'attribution des notes littérales. Les concepts et les préoccupations soulevées par ces écrits seront illustrés avec l'aide des données recueillies au cours des trois dernières années académiques notamment dans le cadre des cours et des stages de formation professionnelle intégrés au programme de doctorat professionnel en pharmacie. La démarche d'attribution des notes littérales explorée repose, en premier lieu, sur une procédure de modélisation, le modèle de Rasch, puis, en second lieu, sur une procédure de classification, la méthode des strates. La justesse et l'équité de cette démarche seront discutées.

Malgré tous les développements dans le domaine de la mesure et de l'évaluation, la théorie classique demeure largement utilisée pour le développement d'instruments en santé et autres. Parmi les stratégies disponibles, l'utilisation du coefficient alpha de Cronbach est très populaire et rapportée dans la majorité des articles décrivant le développement d'instruments à plusieurs énoncés. Encore trop souvent, l'utilisation de ce coefficient n'est pas appropriée ou sa valeur est biaisée. Les objectifs de cette communication sont de : 1) revoir les applications d'utilisation du coefficient alpha de Cronbach en mesure, 2) savoir interpréter sa valeur et autres résultats pertinents (ex : corrélations inter-item, item-total), 3) identifier les types d'instruments pour lesquels l'utilisation de ce coefficient est pertinente ou non, 4) reconnaître la façon dont le coefficient alpha de Cronbach a été obtenu pour une critique plus raffinée des résultats rapportés dans les articles de recherche. Des démonstrations seront effectuées à l'aide d'une banque de données d'un instrument d'évaluation de la douleur pour illustrer les pièges à éviter, par exemple, l'utilisation de données répétées et son impact sur la valeur du coefficient. Des extraits d'articles seront également utilisés afin de faire une critique de l'utilisation de cette stratégie et des résultats rapportés.

présentations orales et les projets. La notation est alors effectuée à l'aide de grilles d'appréciation et souvent par une équipe d'évaluateurs. Malgré l'utilisation de grilles d'appréciation communes, chacun des évaluateurs doit avoir recours à une part de subjectivité. Cette subjectivité explique en grande partie les différences dans les résultats attribués. Afin de déterminer le niveau de sévérité des évaluateurs de présentations orales dans le cadre d'un cours universitaire, une analyse à partir du modèle de Rasch à multifacettes est effectuée. Au total, 3 évaluateurs évaluent les présentations orales de 9 équipes. La grille d'appréciation utilisée est constituée de 5 critères. Les résultats de cette analyse seront présentés au cours de cette communication.        

Depuis l'adoption de l'approche par compétences aux différents niveaux d'enseignement, les modalités d'évaluation des apprentissages sont de plus en plus diversifiées. Parmi celles-ci, se retrouvent les performances complexes, les

Le développement de dispositifs de formation à distance en enseignement supérieur soulève la question de la nature et de la validité des pratiques évaluatives des enseignantes et enseignants, dans un contexte où la nature des données recueillies, la portée et la crédibilité de leur interprétation ainsi que les modalités de communication des résultats restent assujetties à des exigences de certification encadrées par des normes collectives. Afin d'éclairer les choix institutionnels en matière d'évaluation des apprentissages à distance au sein des différentes facultés de l'Université de Sherbrooke, un relevé de pratiques évaluatives a été effectué au moyen d'entrevues auprès d'un échantillon non probabiliste d'enseignantes et d'enseignants provenant des neuf facultés, et ayant accepté de participer à la recherche. Les résultats de ce relevé sont présentés ainsi que leur analyse à la lumière d'une recension d'écrits portant sur les référentiels d'évaluation, la typologie des instruments utilisés, les types de savoirs à évaluer, les critères de crédibilité et de qualité ainsi que les enjeux de la valeur ajoutée de l'évaluation à distance. Enfin, de ces résultats sera dégagé un ensemble de recommandations à des fins d'encadrement des pratiques d'évaluation des apprentissages à distance au regard, notamment, des problématiques qui lui sont associées. 

Nous rendons compte ici d'un mémoire de maîtrise ayant documenté les façons de faire l'évaluation formative de professeurs de français exerçant en contexte de classes pléthoriques au Sénégal. Le choix récent dans ce pays de l'approche par compétences invite à privilégier l'évaluation formative, au regard de son potentiel pour les apprentissages (Allal & Mottier Lopez, 2005; Black & Wiliam, 2009). Cependant, les orientations concernant sa mise en œuvre sont très générales et la recherche ne s'est jusqu'ici pas attardée au contexte spécifique des classes pléthoriques. Nous appuyant sur le domaine des savoirs pratiques (Schön, 1983) ainsi que sur une vision interactive et située de l'évaluation formative (Allal & Mottier Lopez, 2005; Morrissette, 2010), une démarche de recherche collaborative a été conduite auprès de 14 professeurs de français sénégalais enseignant dans le même lycée. L'analyse des 6 entretiens de groupe conduits a permis de mettre en relief des façons de faire rattachées à trois dimensions de la pratique de l'évaluation formative: l'analyse du contexte de la pratique, la construction négociée du savoir et la gestion de l'effectif. En outre, une analyse transversale de ces résultats a éclairé des savoir-faire relatifs à l'exercice de leur profession en contexte d'«étrangeté culturelle» (Douville, 2002).

Au cours des dernières années, les pratiques de l'évaluation comme aide à l'apprentissage dans la salle de classe ont été de plus en plus considérées comme des éléments essentiels (Black & Wiliam, 1998; Harlen & Winter, 2004; van de Watering & van der Rijt, 2006). Cependant, dans le domaine de l'apprentissage d'une langue seconde la recherche sur ce sujet est plutôt limitée. En nous fondant sur les études de Colby-Kelly et Turner (2007) et de Lyster et Ranta (1997), nous avons mené une recherche exploratoire visant à combler ce besoin. L'objectif général était de comprendre comment l'évaluation formative se réalise dans deux cours d'anglais intermédiaire à l'Université de Montréal, et de comparer comment ces pratiques sont perçues et vécues par la professeure et ses étudiants. La collecte de données comprend des observations en classe, des entrevues auprès de la professeure et des questionnaires pour les étudiants. Nous présentons et discutons les résultats les plus significatifs obtenus dans cette étude qualitative. Nous concluons cette présentation en proposant des avenues pour des recherches futures.

Ce projet doctoral étudie l'implantation informatisée de l'évaluation hiérarchique des apprentissages ou évaluation agrégée. Ce type d'évaluation se définit comme étant un sous-domaine de l'évaluation des équipes (teamwork assessment) où les équipes ont plusieurs niveaux de supervision dans le sens où les chefs d'équipe (qui peuvent être des étudiants) sont évalués par un ou plusieurs gestionnaires d'équipe (qui peuvent être eux-mêmes d'autres étudiants ou des enseignants) selon une hiérarchie arborescente. Cette théorie relève donc fondamentalement de l'évaluation. Bien que ce processus d'évaluation puisse s'exécuter manuellement, ce projet veut enregistrer dans une base de données la structure arborescente des équipes. L'application Internet « Cluster » a été développée selon une méthodologie de recherche développement (R et D). L'idée de développement, qui constitue également l'hypothèse de recherche, est que l'évaluation des équipes qui ont plusieurs niveaux de hiérarchie peut être longue et fastidieuse lorsqu'exécutée manuellement. Le fait d'informatiser ce type d'évaluation va faire en sorte d'accélérer l'accès aux données d'évaluation et de rendre l'évaluation plus précise. Ce projet doctoral voudrait tout d'abord faire reconnaître le domaine de l'évaluation agrégée par la communauté scientifique et produire une application informatique qui pourrait implanter ce type d'évaluation sur l'Internet et les technologies mobiles (WIFI).

Dans une formation axée sur le développement des compétences professionnelles, plus particulièrement en formation initiale des maîtres, il devient nécessaire d'utiliser des dispositifs et des outils d'évaluation qui permettront à l'étudiant de mieux comprendre ce qu'est l'évaluation des apprentissages ainsi qu'au formateur de soutenir leur jugement professionnel. Néanmoins, l'évaluation des apprentissages dans un contexte d'approche par compétences impose des nombreux défis et représente un enjeu difficile pour les formateurs. Elle doit alors s'appuyer non plus sur un seul type d'instrumentation, mais bien sur une variété de modalités afin de mieux saisir la complexité des tâches professionnelles des futurs enseignants. Dans le cadre de notre projet doctoral, cette communication vise à présenter et comparer les différentes modalités d'évaluation utilisées en formation des maîtres. Dans un deuxième temps, nous tenterons de justifier en quoi le portfolio professionnel représente une valeur ajoutée aux autres modalités plus traditionnelles d'évaluation des apprentissages, selon une recension des recherches récentes sur le sujet.