501 - La mesure et l’évaluation des apprentissages complexes en éducation médicale : défis et enjeux

Le programme de doctorat de premier cycle en pharmacie de l’Université Laval a été mis en place à l’automne 2011. Ce programme, axé sur le développement de compétences professionnelles, a exigé des changements majeurs au niveau de l’évaluation. La faculté a choisi de structurer l’évaluation autour de deux grands pôles : l’évaluation du développement des ressources qui se veut plus traditionnelle et l’évaluation du développement des compétences par l’activité rendre-compte qui fera l’objet de la présentation. L’activité rendre-compte a pour but d’évaluer le niveau de développement des compétences au terme de chacune des quatre phases/années du programme. Cette évaluation de type succès ou échec sanctionne le passage d’une phase/année à l’autre. Tout au long du programme les étudiants doivent cumuler des preuves dans un dossier d’apprentissage numérique et annuellement ils doivent bâtir un dossier de réussite qu’ils présentent devant un comité composé de deux évaluateurs. Les preuves et le dossier de réussite permettent à l’étudiant de démonter qu’il a atteint le niveau de chacune des compétences tel que prévu dans le dispositif d’apprentissage du programme et de rendre compte de leur progression. On comprendra que cette évaluation est davantage de nature qualitative que quantitative mais tout un processus a été mis en place afin d’en assurer la validité. L’activité rendre-compte s’avère un moyen efficace pour évaluer le développement des compétences professionnelles mais également cette activité permet d’identifier rapidement les étudiants qui présentent des difficultés et de leur offrir des moyens de remédiation individualisés. 

L’évaluation des compétences dites « transversales » (Rey, 1996) constitue un défi pour les établissements universitaires de formation en sciences de la santé. L’évaluation, centrée sur des tâches propres à la profession ciblée, fait déjà partie des pratiques en formation en sciences de la santé (Patrício, Julião, Fareleira et Carneiro, 2013). Cette approche axée sur la « production » permet certes de résoudre le problème de l’authenticité des tâches d’évaluation. Cependant, des défis persistent lorsque cette production n’est pas conforme aux attentes et il devient nécessaire de cibler ce qu’il faut améliorer. L’explicitation du savoir-agir en contexte de la collaboration interprofessionnelle pourrait fournir des pistes concrètes d'amélioration ainsi qu'un cadre d'évaluation axé sur les savoirs en action. Reconnaissant que la collaboration interprofessionnelle devient incontournable pour la pratique clinique actuelle, nous nous attardons à la description de l’action collaborative, dans le cadre d’un entretien d’explicitation, pour révéler le savoir tacite détenu par des cliniciens. Nous retenons le cadre de la collaboration organisationnelle de Corriveau, Boyer, Fernandez et Striganuk (2010) puisqu’il permet de cibler trois aspects : 1) Comment le professionnel de la santé contribue à l’identification des objets communs de l’équipe interprofessionnelle ? 2) Comment contribue-t-il aux dynamiques de la coaction ? et 3) Quelle est la nature des résultats de ce travail en équipe ? L’analyse thématiques des propos explicitant l’action du praticien en regard de ces trois aspects permettront d’obtenir un portrait approfondi et dynamique de la compétence ce qui permettra d’orienter et d’assoir des pratiques pour son évaluation.

Contexte: Avec l'adoption de son cursus axé sur les compétences, le Collège des médecins de famille du Canada invite les programmes de résidence à fournir aux enseignants des outils pour mieux guider leur évaluation des résidents, tels que des jalons observables qui définissent les attentes à des étapes significatives de la formation.

But: Développer un outil critérié d’évaluation des compétences reposant sur les attentes des enseignants quant au moment d’acquisition des différentes compétences pour chacun des rôles CanMEDS-médecine familiale durant la résidence.

Méthodes: Les intervalles attendus pour démontrer diverses compétences ont d’abord été définis par méthodologie Delphi auprès de 33 cliniciens enseignants en médecine familiale de l’Université Laval. La validité de contenu et de convergence ont été vérifiées. Un système informatisé a ensuite été développé pour relier les différents niveaux d’autonomie aux intervalles attendus pour le développement des compétences. Le système identifie, au besoin, les diagnostics pédagogiques possibles et suggère des prescriptions pédagogiques.

Résultats: L’outil permet de suivre le développement de 34 compétences réparties sous les sept rôles CanMEDs-MF selon trois niveaux d’autonomie : peu autonome, partiellement autonome et autonome et identifie automatiquement si chaque compétence est développée selon les attentes.

Conclusions/implications: Cet outil novateur critérié d'évaluation des compétences permet non seulement d’apprécier la progression des résidents, mais aussi de guider le développement de leurs compétences. Une étude de validation psychométrique est en cours afin d’évaluer l’impact de l’outil sur la qualité des évaluations, sur la pratique des cliniciens enseignants et le parcours des résidents.

La collaboration interprofessionnelle est un processus où des professionnels provenant de diverses disciplines adoptent des modalités de pratique visant à répondre aux besoins des patients de façon cohérente, coordonnée et intégrée. La collaboration interprofessionnelle demeure peu enseignée dans un mode expérimentiez. Notre but est de proposer des indicateurs de compétence acceptés par les représentants de six professions (anesthésiologie, ergothérapie, pharmacie, physiothérapie, psychologie, soins infirmiers) impliquées dans la prise en charge de la douleur chronique et d’élaborer un outil d'évaluation qui permettrait aux superviseurs et aux programmes professionnels de suivre le développement de la compétence de collaboration interprofessionnelle dans le contexte des stages cliniques en douleur chronique. Nous avons analysé les référentiels de compétences d’ordres professionnels impliqués en collaboration interprofessionnelle ; produit une liste d’indicateurs basés sur le référentiel du Consortium Pancanadien pour l’Interprofessionnalisme en Santé (CPIS) ; validé ces indicateurs lors de rencontres avec des responsables des programmes, des étudiants et des professionnels impliqués en clinique de douleur; développé une grille d’évaluation de collaboration interprofessionnelle en contexte clinique. L'utilisation des dimensions du cadre du CPIS assure que l'outil donne un portrait global des compétences collaboratives de l'apprenant. La méthode utilisée nous permet de valider les indicateurs pour l'évaluation de la compétence collaborative et en considérant les cadres de compétences des programmes. Les cliniciens considèrent que la grille est intéressante et facile à utiliser. Elle sera d’abord utilisée en stage en clinique de la douleur au CHU de Québec. D’autres consultations sont planifiées afin de poursuivre la validation de cet outil. 

L’évaluation de la trajectoire d’apprentissage de chaque apprenant revêt une importance capitale dans l’approche par compétences, dans ses rôles tant certifiant que formatif. Si le milieu clinique est particulièrement approprié à l’évaluation des compétences, l’organisation classique de l’externat, sous forme de stages successifs, ne favorise pas la continuité de supervision propice à l’évaluation d’une trajectoire. Nous avons tenté d’y pallier en créant un programme d’évaluation longitudinale des compétences dites intrinsèques (compétences autres l’expertise médicale) pendant la première année d’externat. Ce programme se fonde sur le recueil d’évaluations ponctuelles par divers professionnels de la santé tout au long de l’externat. Nous avons interrogé 21 professionnels de santé, lors de 2 groupes focaux et 11 entretiens semi-directifs, pour explorer comment ils ont procédé à ces évaluations. Nous avons analysé les transcriptions de manière thématique. Les participants rapportent un souci de bien faire, quitte à dévier des instructions du programme. Ce souci de bien faire peut tantôt représenter un souci d’exactitude de l’évaluation, tantôt un souci d’être utile voire de ne pas nuire à l’apprenant. Ce souci de bien faire a mené de nombreux participants à préférer utiliser leurs observations agrégées plutôt qu’une observation unique. Elle a également influé sur leur manière de compléter les formulaires et de donner une rétroaction. Enfin, les croyances des participants sur les compétences intrinsèques, leur développement, et les objectifs d’apprentissage les concernant divergeaient.

 

Introduction :
L’évaluation des apprentissages a une importance indéniable en pédagogie des sciences de la santé et l’utilisation d’examens écrits y est omniprésente. Toutefois, l’élaboration d’évaluations de haute qualité est souvent un défi pour les rédacteurs. Il est important d’identifier des stratégies pour faciliter le travail des rédacteurs tout en ayant un impact positif sur la qualité des questions écrites.
Méthodologie :
À l’aide d’une étude de cas multiples, nous avons exploré l’utilisation d’une liste circonscrite de consignes de rédaction de questions auprès de quatre rédacteurs pour des examens d’un programme préclinique de médecine. Un questionnaire et une entrevue individuelle semi-dirigée ont été effectué pré et post utilisation des consignes. Les unités d’analyses et de comparaison étaient : propriétés psychométriques des questions pré et post utilisation des consignes, acceptabilité et utilisation. 
Résultats :
Nos résultats suggèrent que l’appropriation que font les rédacteurs des consignes semblent influencer leur perception de l’utilité et de l’acceptabilité des consignes. Pour tous les participants, les questions rédigées respectaient majoritairement les consignes de rédaction. Quoique non statistiquement significative, nous avons observé une légère augmentation du coefficient de discrimination chez les rédacteurs qui utilisaient les consignes de manière active. 
Discussion/Conclusion : 
Les résultats obtenus semblent suggérer que l’utilisation d’une liste circonscrite de consignes de rédaction offre une bonne stratégie à adopter pour améliorer la qualité des questions. Les rédacteurs de questions qui sont mieux outillés et qui semblent adopter pleinement l'utilisation des consignes de rédaction en voient les impacts positifs sur la qualité de leurs questions.

Problématique. Les principaux outils développés pour évaluer le raisonnement clinique (RC) – les tests de concordance de scripts (TCS) (Charlin, 2000) et les problèmes de raisonnement clinique (PRC) (Groves, 2002) sont réalisés en salle de classe et ne reflètent pas l’environnement de pratique du médecin. De plus, ils ne s’intéressent qu’à certaines étapes de la démarche réflexive et ne sont pas destinés à évaluer l’intuition. En cela, ils n’explorent pas l’ensemble des processus cognitifs décrits dans la théorie mixte du RC, pourtant largement acceptée (Pelaccia, 2011). Enfin, leur validité ne s’intéresse qu’aux propriétés psychométriques des tests sans s’inscrire dans une véritable démarche de validation. Objectif. Développer un outil intégrant TCS et PRC à une mise en situation simulée et faire varier les conditions de l’environnement afin d’activer les différents processus impliqués dans le RC du participant en immersion. La validation reposera sur le modèle de Kane (2006) dans le but de fournir une variété d’éléments de preuve sur la qualité des interprétations des scores obtenus. Méthodologie. Les pédiatres en formation seront exposés à 3 mises en situation simulées dont les conditions de stress pourront varier. Les données démographiques, les performances aux tests et les marqueurs de stress seront recueillis. L’analyse du parcours visuel soutiendra l’inférence d’extrapolation du processus de validation. Conséquences. Ce nouvel outil d'évaluation permettra d’identifier les failles du RC afin de mettre en place des stratégies de remédiations adaptées. La validation de l’interprétation des résultats sera en accord avec les conceptions récentes en mesure et évaluation en éducation.

Dans de nombreuses recherches, incluant celle réalisée en éducation médicale, le développement d’instrument de mesure valide représente un défi. À ce chapitre, l’utilisation de tests (examens) permet de démontrer quantitativement les changements reliés à une intervention éducative. C’est notamment en regard de la validation de deux tests similaires et comparables que le défi méthodologique repose. Dans ce contexte, il est possible d’utiliser le modèle de Rasch pour développer et valider deux tests. Plus précisément, il s’agit d’une méthode statistique permettant de pouvoir analyser non pas le score global d’un examen, mais bien les réponses de chaque personne à chacun des items (questions). L’un des principes de cette théorie repose sur le fait que les personnes et les items peuvent être superposés sur une courbe représentant simultanément la compétence de la personne et la difficulté de l'item. Ce modèle permet également d'obtenir des erreurs d'estimation séparées pour chaque item et pour chaque personne. Ces résultats peuvent ensuite permettre au chercheur d’identifier les sources d'erreurs et de corriger les plus importantes. L’application de cette méthode sera abordée à partir des résultats de notre recherche. Cette présentation sera divisée en deux parties. La première repose sur les fondements méthodologiques du modèle de Rasch et de son utilisation la seconde sur les résultats de notre étude auprès de 300 sujets. 

La théorie classique des tests (TCT) est souvent utilisée pour analyser les items dichotomiques des évaluations dans les programmes d’études en sciences de la santé. Cette approche permet d’accumuler des informations sur la validité, c’est-à-dire sur la possibilité de faire une bonne interprétation des scores des étudiants à une évaluation (Kane, 2013).Malheureusement, il est reconnu que la présence de données manquantes peut distordre les résultats lors de l’analyse de données (Allison, 2001; Schafer & Graham, 2002), ce qui empêche l’évaluateur de bien interpréter les scores de ses étudiants. Étonnamment, il existe peu d’études portant sur les impacts des données manquantes dans le contexte de la TCT. Nous allons, dans le cadre de cette communication, utiliser un devis Monte Carlo pour étudier l’impact de dix méthodes de substitution de données manquantes sur la difficulté de l’item, la discrimination de l’item et le coefficient alpha de Cronbach. Nos résultats démontrent qu’il est important de se soucier du traitement des données manquantes. C’est la méthode par imputation multiple qui ressort comme celle qui a le moins d’impact sur les qualités psychométriques considérées, alors que certaines posent des problèmes de biais en altérant considérablement. Par contre, d’autres méthodes simples, qui sont basées sur la moyenne, semblent aussi très prometteuses.

Au cours des 20 dernières années, des outils tels que le test de concordance de script (TCS) ont été développés et ont fait l’objet de plusieurs études dans les différentes spécialités de la médecine principalement. Bien que la physiothérapie partage plusieurs caractéristiques avec le domaine de la médecine, elle possède aussi plusieurs différences. En ce sens, il était pertinent de se questionner sur l’applicabilité de ces outils dans le contexte spécifique de la physiothérapie.
Afin de collecter des données, des versions de ces tests ont été développées et ont été administrées à 93 étudiants volontaires des cohortes de deuxième, troisième et quatrième année du programme de physiothérapie de l’Université de Sherbrooke. Selon la procédure d’attribution des scores de ces tests, un panel d’experts (n=19) dans le domaine a aussi répondu aux items. La moyenne des scores au TCS des étudiants de 2e année est de 64,3 %, de 66,2 % en 3e année, de 70,4 % en 4e année et de 76,4 % pour les membres du panel d’experts. Les résultats obtenus nous indiquent que les scores du TCS permettent de discerner des différences significatives entre les étudiants novices (2e année) et les étudiants finissants de 4e année du programme de physiothérapie, et ce, avec une taille d’effet importante (Cohen d =0,85). Les résultats de cette étude supportent le potentiel du TCS comme outil d’évaluation du raisonnement clinique en physiothérapie.