501 - La mesure et l’évaluation des apprentissages complexes en éducation médicale : défis et enjeux

Communications orales 08 h 45 → 11 h 30

L’évaluation des compétences

• Communication orale 09 h 00
  Évaluation des compétences du programme de pharmacie par l’activité « rendre-compte »
  Marie-Claude Boivin (Université Laval), Anne Dionne (Université Laval)

  Le programme de doctorat de premier cycle en pharmacie de l’Université Laval a été mis en place à l’automne 2011. Ce programme, axé sur le développement de compétences professionnelles, a exigé des changements majeurs au niveau de l’évaluation. La faculté a choisi de structurer l’évaluation autour de deux grands pôles : l’évaluation du développement des ressources qui se veut plus traditionnelle et l’évaluation du développement des compétences par l’activité rendre-compte qui fera l’objet de la présentation. L’activité rendre-compte a pour but d’évaluer le niveau de développement des compétences au terme de chacune des quatre phases/années du programme. Cette évaluation de type succès ou échec sanctionne le passage d’une phase/année à l’autre. Tout au long du programme les étudiants doivent cumuler des preuves dans un dossier d’apprentissage numérique et annuellement ils doivent bâtir un dossier de réussite qu’ils présentent devant un comité composé de deux évaluateurs. Les preuves et le dossier de réussite permettent à l’étudiant de démonter qu’il a atteint le niveau de chacune des compétences tel que prévu dans le dispositif d’apprentissage du programme et de rendre compte de leur progression. On comprendra que cette évaluation est davantage de nature qualitative que quantitative mais tout un processus a été mis en place afin d’en assurer la validité. L’activité rendre-compte s’avère un moyen efficace pour évaluer le développement des compétences professionnelles mais également cette activité permet d’identifier rapidement les étudiants qui présentent des difficultés et de leur offrir des moyens de remédiation individualisés.

• Communication orale 09 h 30
  Vers une évaluation de la compétence de collaboration interprofessionnelle en santé axée sur l’explicitation du savoir-agir en contexte
  Gabriel Dumouchel (Université de Montréal), Nicolas Fernandez (UQAM - Université du Québec à Montréal)

  L’évaluation des compétences dites « transversales » (Rey, 1996) constitue un défi pour les établissements universitaires de formation en sciences de la santé. L’évaluation, centrée sur des tâches propres à la profession ciblée, fait déjà partie des pratiques en formation en sciences de la santé (Patrício, Julião, Fareleira et Carneiro, 2013). Cette approche axée sur la « production » permet certes de résoudre le problème de l’authenticité des tâches d’évaluation. Cependant, des défis persistent lorsque cette production n’est pas conforme aux attentes et il devient nécessaire de cibler ce qu’il faut améliorer. L’explicitation du savoir-agir en contexte de la collaboration interprofessionnelle pourrait fournir des pistes concrètes d'amélioration ainsi qu'un cadre d'évaluation axé sur les savoirs en action. Reconnaissant que la collaboration interprofessionnelle devient incontournable pour la pratique clinique actuelle, nous nous attardons à la description de l’action collaborative, dans le cadre d’un entretien d’explicitation, pour révéler le savoir tacite détenu par des cliniciens. Nous retenons le cadre de la collaboration organisationnelle de Corriveau, Boyer, Fernandez et Striganuk (2010) puisqu’il permet de cibler trois aspects : 1) Comment le professionnel de la santé contribue à l’identification des objets communs de l’équipe interprofessionnelle ? 2) Comment contribue-t-il aux dynamiques de la coaction ? et 3) Quelle est la nature des résultats de ce travail en équipe ? L’analyse thématiques des propos explicitant l’action du praticien en regard de ces trois aspects permettront d’obtenir un portrait approfondi et dynamique de la compétence ce qui permettra d’orienter et d’assoir des pratiques pour son évaluation.

• Communication orale 10 h 00
  Développement d’un outil novateur critérié d’évaluation des compétences à partir d’indicateurs de développement pour les résidents en médecine familiale
  Louise Arsenault (Université Laval), Josette Castel (Université Laval), Frédéric Coché (Université Laval), Luc Côté (Université Laval), Miriam Lacasse (Université Laval), Jean-Sébastien Renaud (Université Laval), Christian Rheault (Université Laval), Isabelle Savard (TÉLUQ), Caroline Simard (Université Laval), Caroline Simard (Université Laval), Annie St-Pierre (Université Laval), Sylvie Tessier (Université Laval), Johanne Théorêt (Université Laval), Isabelle Tremblay (Université Laval)

  Contexte: Avec l'adoption de son cursus axé sur les compétences, le Collège des médecins de famille du Canada invite les programmes de résidence à fournir aux enseignants des outils pour mieux guider leur évaluation des résidents, tels que des jalons observables qui définissent les attentes à des étapes significatives de la formation.

  But: Développer un outil critérié d’évaluation des compétences reposant sur les attentes des enseignants quant au moment d’acquisition des différentes compétences pour chacun des rôles CanMEDS-médecine familiale durant la résidence.

  Méthodes: Les intervalles attendus pour démontrer diverses compétences ont d’abord été définis par méthodologie Delphi auprès de 33 cliniciens enseignants en médecine familiale de l’Université Laval. La validité de contenu et de convergence ont été vérifiées. Un système informatisé a ensuite été développé pour relier les différents niveaux d’autonomie aux intervalles attendus pour le développement des compétences. Le système identifie, au besoin, les diagnostics pédagogiques possibles et suggère des prescriptions pédagogiques.

  Résultats: L’outil permet de suivre le développement de 34 compétences réparties sous les sept rôles CanMEDs-MF selon trois niveaux d’autonomie : peu autonome, partiellement autonome et autonome et identifie automatiquement si chaque compétence est développée selon les attentes.

  Conclusions/implications: Cet outil novateur critérié d'évaluation des compétences permet non seulement d’apprécier la progression des résidents, mais aussi de guider le développement de leurs compétences. Une étude de validation psychométrique est en cours afin d’évaluer l’impact de l’outil sur la qualité des évaluations, sur la pratique des cliniciens enseignants et le parcours des résidents.

• Communication orale 10 h 30
  Apprendre au sein d’une équipe en douleur chronique : proposition d’un outil pour évaluer la compétence en collaboration interprofessionnelle
  Emmanuelle Careau (Université Laval), Kadija Perreault (Université Laval), Anne Marie Pinard (Université Laval), Isabelle Savard (TÉLUQ - Université du Québec)

  La collaboration interprofessionnelle est un processus où des professionnels provenant de diverses disciplines adoptent des modalités de pratique visant à répondre aux besoins des patients de façon cohérente, coordonnée et intégrée. La collaboration interprofessionnelle demeure peu enseignée dans un mode expérimentiez. Notre but est de proposer des indicateurs de compétence acceptés par les représentants de six professions (anesthésiologie, ergothérapie, pharmacie, physiothérapie, psychologie, soins infirmiers) impliquées dans la prise en charge de la douleur chronique et d’élaborer un outil d'évaluation qui permettrait aux superviseurs et aux programmes professionnels de suivre le développement de la compétence de collaboration interprofessionnelle dans le contexte des stages cliniques en douleur chronique. Nous avons analysé les référentiels de compétences d’ordres professionnels impliqués en collaboration interprofessionnelle ; produit une liste d’indicateurs basés sur le référentiel du Consortium Pancanadien pour l’Interprofessionnalisme en Santé (CPIS) ; validé ces indicateurs lors de rencontres avec des responsables des programmes, des étudiants et des professionnels impliqués en clinique de douleur; développé une grille d’évaluation de collaboration interprofessionnelle en contexte clinique. L'utilisation des dimensions du cadre du CPIS assure que l'outil donne un portrait global des compétences collaboratives de l'apprenant. La méthode utilisée nous permet de valider les indicateurs pour l'évaluation de la compétence collaborative et en considérant les cadres de compétences des programmes. Les cliniciens considèrent que la grille est intéressante et facile à utiliser. Elle sera d’abord utilisée en stage en clinique de la douleur au CHU de Québec. D’autres consultations sont planifiées afin de poursuivre la validation de cet outil.

• Communication orale 11 h 00
  Évaluation longitudinale des compétences intrinsèques pendant l’externat : que signifie « bien évaluer »?
  Sylvia Cruess (Université McGill), Richard Cruess (Université McGill), Beth-Ann Cummings (Université McGill), Valérie Dory (Université McGill), Carlos Gomez-Garibello (Université McGill), Meredith Young (Université McGill)

  L’évaluation de la trajectoire d’apprentissage de chaque apprenant revêt une importance capitale dans l’approche par compétences, dans ses rôles tant certifiant que formatif. Si le milieu clinique est particulièrement approprié à l’évaluation des compétences, l’organisation classique de l’externat, sous forme de stages successifs, ne favorise pas la continuité de supervision propice à l’évaluation d’une trajectoire. Nous avons tenté d’y pallier en créant un programme d’évaluation longitudinale des compétences dites intrinsèques (compétences autres l’expertise médicale) pendant la première année d’externat. Ce programme se fonde sur le recueil d’évaluations ponctuelles par divers professionnels de la santé tout au long de l’externat. Nous avons interrogé 21 professionnels de santé, lors de 2 groupes focaux et 11 entretiens semi-directifs, pour explorer comment ils ont procédé à ces évaluations. Nous avons analysé les transcriptions de manière thématique. Les participants rapportent un souci de bien faire, quitte à dévier des instructions du programme. Ce souci de bien faire peut tantôt représenter un souci d’exactitude de l’évaluation, tantôt un souci d’être utile voire de ne pas nuire à l’apprenant. Ce souci de bien faire a mené de nombreux participants à préférer utiliser leurs observations agrégées plutôt qu’une observation unique. Elle a également influé sur leur manière de compléter les formulaires et de donner une rétroaction. Enfin, les croyances des participants sur les compétences intrinsèques, leur développement, et les objectifs d’apprentissage les concernant divergeaient.
  
  

Dîner 11 h 30 → 13 h 15

Dîner libre

Communications orales 13 h 15 → 16 h 15

La simulation et les processus cognitifs

• Communication orale 13 h 15
  La simulation virtuelle en soins critiques dans le cadre de la formation universitaire en sciences infirmières au Québec
  Sylvie Charette (UdeS - Université de Sherbrooke)

  Cette proposition de communication par affiche ou orale porte sur les résultats d’une recherche doctorale visant le développement des compétences professionnelles dans le domaine de la traumatologie via un environnement virtuel de travail (EVT). Ce projet de recherche visait à mettre en place et à évaluer un dispositif permettant le soutien pédagogique distant à la formation via l’expérimentation virtuelle de gestes cliniques anxiogènes chez les étudiantes infirmières en soins critiques. Il s'agissait ici d'une mise à l'épreuve systématique d'un outil pédagogique destiné au premier cycle en sciences infirmières impliquant un plan de type quasi-expérimental. Nous avons eu recours à une méthodologie mixte privilégiant la synergie entre l’analyse de données quantitatives et l’analyse de données qualitatives. Les données issues de questionnaires ont été traitées selon des modèles statistiques multidimensionnels tandis que les données issues des verbatim d'entrevue ont été traitées selon une approche d'analyse de contenu lexicométrique. L’originalité de cette recherche reposait sur le caractère novateur de l’environnement et de la démarche pédagogique constructiviste qui en a guidé l’usage. Elle fut stratégique au niveau de l’avancement technopédagogique en sciences infirmières, mais aussi en ce qui concerne les apprentissages qui ont été réalisés grâce à cet EVT ayant comme impact direct, l’amélioration de la qualité des soins.

• Communication orale 13 h 45
  Utilisation de la simulation pour l’évaluation des compétences : l’expérience d’un examen clinique objectif structuré (ECOS) repensé en réadaptation
  Marie-Hélène Lévesque (Université Laval), Émilie Rajotte (Université Laval)

  Introduction : Bien établie en éducation médicale, la simulation est une modalité d’évaluation récemment utilisée en réadaptation, notamment pour l’utilisation de patients simulés. Malgré un intérêt grandissant, peu d’études combinent la simulation et l’évaluation du raisonnement clinique en ergothérapie. Cette étude pilote visait donc à valider la perception d’étudiants en ergothérapie ayant expérimenté une version repensée d’un examen clinique objectif structuré (ECOS).

  Méthode : Soixante-sept étudiants de deuxième année d’ergothérapie ont participé à un ECOS impliquant la mise en œuvre d’interventions auprès de clientèles variées. Plusieurs stratégies ont été intégrées à la structure de l’examen afin d’accéder au raisonnement des étudiants et de refléter la pratique clinique (ex. stations d’entrevue orale, grilles d’observation adaptées). À la suite de l’examen, les étudiants ont rempli un questionnaire portant sur leur expérience, leur satisfaction ainsi que sur la pertinence de la modalité et de la structure proposée.

  Résultats : Selon une majorité (n = 35 ; 52,2 %) d’étudiants qui ont répondu au sondage, l’utilisation de la simulation constitue une valeur ajoutée à la formation en contribuant au développement de leurs compétences. Les étudiants ont apprécié le caractère authentique et la variété des situations cliniques. Enfin, ils soulignent que la structure a favorisé l’expression de leur raisonnement et qu’ils souhaiteraient voir cette modalité reconduite.

  Conclusion : L’intégration de l’ECOS en ergothérapie a été évaluée positivement par les étudiants. De plus, la structure proposée apparaît aidante pour évaluer à la fois les habiletés cliniques et le raisonnement clinique, deux éléments essentiels de la pratique professionnelle.

• Communication orale 14 h 15
  Évaluer l’efficience des activités d’apprentissage en se basant sur la théorie de la charge cognitive
  Joseph-Omer Dyer (UdeM - Université de Montréal), Maya Hammoud (Université de Montréal), Katherine Montpetit-Tourangeau (Université de Montréal), Monica Windsor (Université de Montréal)

  Introduction : La théorie de la charge cognitive stipule que pour faciliter l’apprentissage les activités éducatives doivent éviter de surcharger la mémoire de travail des apprenants (surcharge cognitive). Ainsi, les activités d’apprentissage sont efficientes en termes de processus d’apprentissage lorsqu’elles imposent une faible charge cognitive tout en permettant de réaliser les apprentissages ciblés. Les activités d’apprentissage peuvent également être efficientes en termes de résultats d’apprentissage lorsque les apprenants peuvent réaliser la tâche apprise de manière adéquate tout en utilisant un faible effort mental. Objectifs : Comparer l’efficience cognitive entre des activités de a) rappel actif et b) construction de cartes conceptuelles pour développer le raisonnement clinique d’apprenants novices. Méthode : Quarante étudiants de 2è année en physiothérapie de l’Université de Montréal ont été randomisés entre 2 conditions : a) rappel actif ou b) carte conceptuelle. Tous les participants devaient étudier six exemples résolus présentés en ligne. Les exemples présentaient le raisonnement clinique pour choisir l’intervention optimale d’électrothérapie (ex. : ultrason, laser) pour traiter des patients suivis en physiothérapie. De plus, les étudiants devaient pratiquer le rappel actif ou faire une carte conceptuelle pour approfondir leur apprentissage. Résultats : Les étudiants dans la condition de rappel actif investissaient moins d’effort mental lors de la phase d’apprentissage, ainsi que pour effectuer le test post-apprentissage en comparaison de ceux ayant construit des cartes conceptuelles. Conclusion : Le rappel actif est plus efficient en termes de processus et de résultats d’apprentissage que la construction de carte conceptuelle dans ce contexte spécifique d’apprentissage.

• Communication orale 14 h 45
  Explorer la perception de crédibilité de l’évaluation dans la littérature scientifique en pédagogie médicale : une étude de la portée
  Stephanie Long (Université McGill), Charo Rodriguez (Université McGill), Christina St-Onge (Université de Sherbrooke), Pierre-Paul Tellier (Université McGill), Nazi Torabi (Université McGill), Meredith Young (Université McGill)

  Introduction : La rétroaction constructive peut stimuler l’apprentissage et encourager le changement de comportements chez les apprenants, notamment en sciences de la sante. Plusieurs facteurs contribuent à la valorisation de la rétroaction par les apprenants. Par exemple, si les outils d’évaluations et les superviseurs ne sont pas considérés comme crédibles par les apprenants, la rétroaction risque ne pas être intégrée et leur apprentissage n’en bénéficiera pas.
  
  Objectif : Cette recherche explore les écrits scientifiques sur la crédibilité de l’évaluation en pédagogie médicale. L’objectif est d’identifier des critères de crédibilité implicite aux apprenants.
  
  Méthodes : A l’aide d’une étude de la portée (Scoping Review), nous avons cherché dans la littérature en pédagogie médicale « évaluation des apprenants » et « crédibilité perçue » en utilisant une combinaison de ces mots-clés, ainsi que des « subject headings » dans plusieurs bases de données, notamment ERIC et MedLine.
  
  Résultats : La stratégie de recherche a donné 3759 articles uniques. À ce jour, 95 résumés ont été examinés pour inclusion par deux co-auteurs, avec accord inter-codeur de 73%. Les désaccords ont été présentes à un troisième auteur pour décision finale. Lorsque le processus d’inclusion/exclusion sera terminé, nous pourrons élaborer une grille d’extraction et procéder au codage des articles retenus.
  
  Conclusion : Nos résultats contribueront aux écrits scientifiques en pédagogie médicale en plus de faire progresser les pratiques évaluatives en lien avec la rétroaction. Nos résultats pourront ainsi contribuer à l’amélioration du rôle que peut avoir la rétroaction sur l’apprentissage des apprenants en pédagogie médicale.

• Communication orale 15 h 15
  Modèle théorique et données empiriques : mieux comprendre le raisonnement évaluatif
  Simonne Couture (UdeS - Université de Sherbrooke), Geneviève Gauthier (Université d'Ottawa), Christina St-Onge (Université de Sherbrooke)

  L’évaluation de compétences dans les programmes en sciences de la santé nécessite le recours au jugement d'évaluateurs. Gauthier, St-Onge et Tavares (2016) ont proposé un modèle théorique qui identifie et synthétise en trois phases les écrits scientifiques sur les processus cognitifs des évaluateurs. Toutefois, ce modèle issu des écris scientifiques n’a pas encore été confronté à des données empiriques. Cette étude propose de mettre à l’essai le modèle théorique sur des données empiriques issues d’entrevues semi-dirigés avec des évaluateurs cliniciens en processus d’évaluation de la performance d’une résidente junior avec un patient standardisé. Nous avons analysé 11 entrevues à l’aide d’un arbre de codes représentant le modèle de Gauthier et al. (2006), et ce, en utilisant le logiciel Dedoose. En cohérence avec la nature constructiviste de ce projet ainsi que les objectifs de recherche, de nouveaux codes étaient créés et définis lorsque de nouveaux éléments émergeaient des données, mais n’étaient pas présents dans le modèle théorique. Pour cinq participants, nous avons observé tous les mécanismes, pour cinq participants nous avons observé huit des neuf mécanismes et pour un participant, nous avons observé sept des neuf mécanismes. Trois nouveaux thèmes ont émergé des données, soit Pratiques évaluatives en rotation, Formation évaluative et Rétroaction. L’analyse des données nous laisse croire que le modèle de Gauthier et al. (2016) s'applique généralement bien aux données. Ces résultats contribuent à rendre le modèle théorique plus concret et opérationnel via des exemples des différents mécanismes.

Communications orales 08 h 45 → 11 h 30

La mesure des apprentissages et la validité

• Communication orale 09 h 00
  L’utilisation de consignes de rédaction de questions en médecine, une piste à suivre pour les rédacteurs?
  Christina St-Onge (Université de Sherbrooke), Elise Vachon Lachiver (UdeS - Université de Sherbrooke)

  Introduction :
  L’évaluation des apprentissages a une importance indéniable en pédagogie des sciences de la santé et l’utilisation d’examens écrits y est omniprésente. Toutefois, l’élaboration d’évaluations de haute qualité est souvent un défi pour les rédacteurs. Il est important d’identifier des stratégies pour faciliter le travail des rédacteurs tout en ayant un impact positif sur la qualité des questions écrites.
  Méthodologie :
  À l’aide d’une étude de cas multiples, nous avons exploré l’utilisation d’une liste circonscrite de consignes de rédaction de questions auprès de quatre rédacteurs pour des examens d’un programme préclinique de médecine. Un questionnaire et une entrevue individuelle semi-dirigée ont été effectué pré et post utilisation des consignes. Les unités d’analyses et de comparaison étaient : propriétés psychométriques des questions pré et post utilisation des consignes, acceptabilité et utilisation.
  Résultats :
  Nos résultats suggèrent que l’appropriation que font les rédacteurs des consignes semblent influencer leur perception de l’utilité et de l’acceptabilité des consignes. Pour tous les participants, les questions rédigées respectaient majoritairement les consignes de rédaction. Quoique non statistiquement significative, nous avons observé une légère augmentation du coefficient de discrimination chez les rédacteurs qui utilisaient les consignes de manière active.
  Discussion/Conclusion :
  Les résultats obtenus semblent suggérer que l’utilisation d’une liste circonscrite de consignes de rédaction offre une bonne stratégie à adopter pour améliorer la qualité des questions. Les rédacteurs de questions qui sont mieux outillés et qui semblent adopter pleinement l'utilisation des consignes de rédaction en voient les impacts positifs sur la qualité de leurs questions.

• Communication orale 09 h 30
  Développement et validation d’un outil d’évaluation du raisonnement clinique intégré à une séance de simulation médicale
  Nathalie Loye (Université de Montréal), Thomas Pennaforte (UdeM - Université de Montréal)

  Problématique. Les principaux outils développés pour évaluer le raisonnement clinique (RC) – les tests de concordance de scripts (TCS) (Charlin, 2000) et les problèmes de raisonnement clinique (PRC) (Groves, 2002) sont réalisés en salle de classe et ne reflètent pas l’environnement de pratique du médecin. De plus, ils ne s’intéressent qu’à certaines étapes de la démarche réflexive et ne sont pas destinés à évaluer l’intuition. En cela, ils n’explorent pas l’ensemble des processus cognitifs décrits dans la théorie mixte du RC, pourtant largement acceptée (Pelaccia, 2011). Enfin, leur validité ne s’intéresse qu’aux propriétés psychométriques des tests sans s’inscrire dans une véritable démarche de validation. Objectif. Développer un outil intégrant TCS et PRC à une mise en situation simulée et faire varier les conditions de l’environnement afin d’activer les différents processus impliqués dans le RC du participant en immersion. La validation reposera sur le modèle de Kane (2006) dans le but de fournir une variété d’éléments de preuve sur la qualité des interprétations des scores obtenus. Méthodologie. Les pédiatres en formation seront exposés à 3 mises en situation simulées dont les conditions de stress pourront varier. Les données démographiques, les performances aux tests et les marqueurs de stress seront recueillis. L’analyse du parcours visuel soutiendra l’inférence d’extrapolation du processus de validation. Conséquences. Ce nouvel outil d'évaluation permettra d’identifier les failles du RC afin de mettre en place des stratégies de remédiations adaptées. La validation de l’interprétation des résultats sera en accord avec les conceptions récentes en mesure et évaluation en éducation.

• Communication orale 10 h 00
  L’utilisation du modèle de Rasch dans le domaine de l’éducation médicale
  Christophe Chénier (UQAM), Bruno Pilote (Cégep de Sainte-Foy), Ivan Simoneau (Cégep de Sherbrooke)

  Dans de nombreuses recherches, incluant celle réalisée en éducation médicale, le développement d’instrument de mesure valide représente un défi. À ce chapitre, l’utilisation de tests (examens) permet de démontrer quantitativement les changements reliés à une intervention éducative. C’est notamment en regard de la validation de deux tests similaires et comparables que le défi méthodologique repose. Dans ce contexte, il est possible d’utiliser le modèle de Rasch pour développer et valider deux tests. Plus précisément, il s’agit d’une méthode statistique permettant de pouvoir analyser non pas le score global d’un examen, mais bien les réponses de chaque personne à chacun des items (questions). L’un des principes de cette théorie repose sur le fait que les personnes et les items peuvent être superposés sur une courbe représentant simultanément la compétence de la personne et la difficulté de l'item. Ce modèle permet également d'obtenir des erreurs d'estimation séparées pour chaque item et pour chaque personne. Ces résultats peuvent ensuite permettre au chercheur d’identifier les sources d'erreurs et de corriger les plus importantes. L’application de cette méthode sera abordée à partir des résultats de notre recherche. Cette présentation sera divisée en deux parties. La première repose sur les fondements méthodologiques du modèle de Rasch et de son utilisation la seconde sur les résultats de notre étude auprès de 300 sujets.

• Communication orale 10 h 30
  Théorie classique des tests et données manquantes : une étude Monte Carlo de la difficulté, de la discrimination et du coefficient alpha de Cronbach
  Sébastien Béland (UdeM - Université de Montréal), François Pichette (TELUQ)

  La théorie classique des tests (TCT) est souvent utilisée pour analyser les items dichotomiques des évaluations dans les programmes d’études en sciences de la santé. Cette approche permet d’accumuler des informations sur la validité, c’est-à-dire sur la possibilité de faire une bonne interprétation des scores des étudiants à une évaluation (Kane, 2013).Malheureusement, il est reconnu que la présence de données manquantes peut distordre les résultats lors de l’analyse de données (Allison, 2001; Schafer & Graham, 2002), ce qui empêche l’évaluateur de bien interpréter les scores de ses étudiants. Étonnamment, il existe peu d’études portant sur les impacts des données manquantes dans le contexte de la TCT. Nous allons, dans le cadre de cette communication, utiliser un devis Monte Carlo pour étudier l’impact de dix méthodes de substitution de données manquantes sur la difficulté de l’item, la discrimination de l’item et le coefficient alpha de Cronbach. Nos résultats démontrent qu’il est important de se soucier du traitement des données manquantes. C’est la méthode par imputation multiple qui ressort comme celle qui a le moins d’impact sur les qualités psychométriques considérées, alors que certaines posent des problèmes de biais en altérant considérablement. Par contre, d’autres méthodes simples, qui sont basées sur la moyenne, semblent aussi très prometteuses.

• Communication orale 11 h 00
  L’utilisation du test de concordance de script chez les étudiants universitaires en physiothérapie
  Jean-Guy Blais (Université de Montréal), Bernard Charlin (Université de Montréal), Jean-Pierre Dumas (UdeS - Université de Sherbrooke)

  Au cours des 20 dernières années, des outils tels que le test de concordance de script (TCS) ont été développés et ont fait l’objet de plusieurs études dans les différentes spécialités de la médecine principalement. Bien que la physiothérapie partage plusieurs caractéristiques avec le domaine de la médecine, elle possède aussi plusieurs différences. En ce sens, il était pertinent de se questionner sur l’applicabilité de ces outils dans le contexte spécifique de la physiothérapie.
  Afin de collecter des données, des versions de ces tests ont été développées et ont été administrées à 93 étudiants volontaires des cohortes de deuxième, troisième et quatrième année du programme de physiothérapie de l’Université de Sherbrooke. Selon la procédure d’attribution des scores de ces tests, un panel d’experts (n=19) dans le domaine a aussi répondu aux items. La moyenne des scores au TCS des étudiants de 2e année est de 64,3 %, de 66,2 % en 3e année, de 70,4 % en 4e année et de 76,4 % pour les membres du panel d’experts. Les résultats obtenus nous indiquent que les scores du TCS permettent de discerner des différences significatives entre les étudiants novices (2e année) et les étudiants finissants de 4e année du programme de physiothérapie, et ce, avec une taille d’effet importante (Cohen d =0,85). Les résultats de cette étude supportent le potentiel du TCS comme outil d’évaluation du raisonnement clinique en physiothérapie.

Dîner 11 h 30 → 13 h 15

Dîner libre

Communications orales 13 h 15 → 16 h 00

Apprentissage et évaluation

• Communication orale 13 h 15
  Apprentissage transformationnel en éducation de la santé : de la gestion de la maladie à l’appropriation de la santé par la communauté
  Fabio Balli (Université Concordia)

  Environ six personnes sur dix meurent de maladie chronique dans le monde. Si l’Organisation Mondiale de la Santé recommande de valoriser la santé une vie durant en impliquant les communautés au-delà des personnes malades, les systèmes de soins restent bien souvent dans une logique de gestion des maladies à court terme.Faut-il alors repenser ces systèmes, leurs infrastructures, leurs cultures, les cursus qui y mènent ? Vaut-il mieux initier de nouvelles dynamiques, valorisant la co-création, l’interdisciplinarité, et l’autonomie ? Comment mieux prendre en compte les déterminants sociaux de la santé si ce n’est en encourageant l’individu à s’approprier sa santé, et s’impliquer dans celle de sa communauté ? Nous présenterons Breathing Games, une initiative canado-européenne qui invite ainsi experts et amateurs de tous domaines à co-créer, lors d’événements et sur Internet, des jeux éducatifs et thérapeutiques en santé respiratoire. Cette initiative s’inscrit dans une approche nouvelle de la santé, alliant recherche-création participative, accès libre au travail réalisé, et apprentissage expérientiel et itératif. À travers notre expérience de trois ans, nous montrerons comment chercheurs et cliniciens se sont impliqués dans l’initiative, et avec quels résultats. Nous esquissons l'évolution des mesures pour documenter l’expérience de chacun et ses apprentissages. Cette présentation vise à partager des pistes de réflexion aux chercheurs et praticiens actifs en andragogie des sciences de la santé, et plus généralement dans les domaines de la formation et de l’apprentissage.
  
  

• Communication orale 13 h 45
  Approches inclusives pour les étudiants présentant des troubles d’apprentissage dans un programme de baccalauréat en sciences infirmières
  Frédéric Douville (Université Laval), Myriam Gauthier (Université Laval), Ève La Rue (Université Laval)

  Environ 6% des étudiants universitaires présentent des troubles d’apprentissage. Les approches inclusives, qui visent la diversification des méthodes d’enseignement et d’évaluation afin de répondre aux besoins des étudiants, peuvent favoriser la réussite de ces étudiants à risque de difficultés. Identifier les besoins des étudiants quant aux stratégies d’enseignement/apprentissage et d’évaluation en vue de l’adoption d’une approche inclusive dans le programme de baccalauréat en sciences infirmières. Étude de besoins comportant une revue systématique et une étude descriptive. La revue systématique a interrogé les bases de données Education Source, ERIC, CINAHL, Embase, Medline, et PsyINFO pour les concepts suivants : stratégies d’enseignement/apprentissage/évaluation, étudiants en sciences infirmières, troubles d’apprentissage/handicap. L’extraction des données a été effectuée en fonction de divers cadres de développement et d’évaluation de programme. Une analyse descriptive a identifié les stratégies les plus efficaces. Ensuite, un questionnaire basé sur la Conception Universelle de l’Apprentissage a évalué les besoins en enseignement/apprentissage des étudiants de première année au baccalauréat en sciences infirmières. La revue de littérature a identifié 203 articles présentant des interventions pouvant être regroupées ainsi : étudiants présentant des handicaps; étudiants immigrants; préparation à l’examen d’admission à la profession. Les stratégies favorisées par les étudiants sont principalement le mentorat, le travail d’équipe, les outils visuels, les histoires de cas, les vidéos. Ce projet a identifié des stratégies d’enseignement/apprentissage et d’évaluation efficaces auprès des étudiants en situation de handicap dans les programmes universitaires de sciences infirmières et de préciser les stratégies inclusives à retenir pour notre programme.

• Communication orale 14 h 15
  Évaluer l’apprentissage pertinent de la résolution de problèmes cliniques par l’évaluation des connaissances et des capacités de transfert des apprentissages
  Joseph-Omer Dyer (UdeM - Université de Montréal), Christophe Gendron (Université de Montréal), Maya Hammoud (Université de Montréal), Monica Windsor (Université de Montréal)

  Des connaissances factuelles, conceptuelles, stratégiques et conditionnelles participeraient aux capacités de résolution de problèmes. L’apprentissage pertinent de ces connaissances implique que l’apprenant puisse les utiliser pour résoudre des problèmes différents de ceux étudiés (i.e. transfert d’apprentissage). Le transfert proche consiste en la capacité de résoudre des nouveaux problèmes qui requièrent des stratégies de résolution similaires à celles étudiées. Le transfert lointain fait référence à la capacité de résoudre des nouveaux problèmes qui requièrent des stratégies différentes de celles étudiées. Objectifs : Comparer les effets sur les connaissances conceptuelles, les capacités de transfert proche et de transfert lointain entre l’apprentissage basé sur des exemples résolus en format vidéo ou texte. Méthode : Quatre-vingt-sept étudiants de 2è année en physiothérapie à l’Université de Montréal ont été randomisés entre deux conditions : a) vidéo ou b) texte. Tous les étudiants devaient étudier 6 exemples résolus en ligne présentant le raisonnement clinique pour sélectionner les interventions d’électrothérapie optimales (ex. : ultrason, laser) pour traiter des patients suivis en physiothérapie. Les exemples étaient présentés en format vidéo ou texte selon l’allocation du groupe de l’étudiant. Résultats : Les étudiants dans la condition vidéo présentaient une plus grande capacité de transfert lointain que les étudiants dans la condition texte aux évaluations post-intervention (p< .05). Il n’y avait pas de différence pour ce qui est des connaissances conceptuelles et aux capacités de transfert proche entre les deux conditions. Conclusion : Les vidéos ont permis un apprentissage plus pertinent que les textes dans ce contexte d’apprentissage.