524 - Les enjeux socio-éthiques et socio-politiques de l'évaluation et de la mesure

Depuis quelques décennies, nous assistons à une montée spectaculaire de l'évaluation en tant que fonction politique, administrative et pédagogique. À tous les niveaux des systèmes éducatifs, au plan national et international, elle est mise à contribution avant l'élaboration des politiques, pendant leur mise en œuvre, et après, au moment de l'évaluation des effets et des résultats. L'évaluation est désormais un des moteurs d'une boucle de régulation que la rationalité instrumentale voudrait sans fin. Elle sert à comparer et classer les systèmes éducatifs, les établissements, les personnels et les élèves. Cette centralité de l'évaluation s'est accompagnée d'une professionnalisation et technicisation du travail évaluatif. Dans cette communication, nous réfléchirons aux caractéristiques, aux fonctions sociopolitiques et aux conséquences socio éthiques de cette intégration de l'évaluation dans la Nouvelle Gestion Publique en éducation (NGP). Notamment à son impact sur la mission et la dynamique interne/externe du champ éducatif, et à ses dangers (uniformisation, standardisation, marchandisation, concurrence effrénée, méfiance généralisée). Nous illustrerons notre propos en référant au développement de l'assurance qualité dans l'enseignement supérieur.

Nous constatons une diversité accrue des formes d'évaluation des apprentissages, et certaines de ses caractéristiques ont été dégagées au cours des dernières années, tant au niveau primaire, secondaire, collégial qu'universitaire. Dans ce contexte, Raîche, Cantin et Lalonde (2005) ont identifié quatre dimensions de l'évaluation des apprentissages. Il s'agit de la planification, de l'intégration, de l'équité ainsi que de l'authenticité. Chacune d'elles a des points en commun avec les trois autres. Plus précisément, pour qu'une tâche d'évaluation soit équitable, entre autres, les attentes doivent être connues des étudiants (Suskie, 2000; Vos, 2000; Dietel, 1991), ce qui est évalué doit être en lien avec ce qui est enseigné (Suskie, 2000; McMillan, 2000; Dietel, 1991; Bercier-Larivière, 1999), la tâche d'évaluation doit avoir une neutralité culturelle (Stobart, 2005; Astin, 1990; Bercier-Larivière, 1999) et les étudiants connaissent à l'avance ce qui sera évalué (Suskie, 2000; McMillan, 2000, Dietel, 1991; Bercier-Larivière, 1999). L'objectif de notre communication est, dans un premier temps, d'identifier les liens théoriques entre l'équité et les trois autres caractéristiques de l'évaluation : la planification, l'intégration ainsi que de l'authenticité de l'évaluation des apprentissages; dans un deuxième temps, de présenter les résultats d'analyses de corrélation entre chacune de ces dimensions, effectuées à partir d'un échantillon d'étudiants de niveau collégial.

L'évaluation entretient avec l'éthique des rapports plus complexes qu'il ne paraît au premier abord. D'une part, toute évaluation, dans ses visées et dans ses orientations comme dans ses mises en œuvre ou ses pratiques en divers champs, suscite bien des questions d'ordre éthique touchant par exemple, plus spécialement peut-être en éducation, la justice et l'équité. Cela est aujourd'hui assez largement reconnu. D'autre part et comme en retour, l'éthique recourt elle-même à l'évaluation dans ses démarches d'analyse et d'évaluation des situations jugées inadéquates, puis des actions possibles pour apporter les correctifs requis, en vue d'une prise de décision et d'une action qui sera entreprise — décision et action dont la pertinence et les résultats effectifs, malheureusement, ne sont que bien rarement soumis, comme ils devraient l'être, à une évaluation tant soit peu rigoureuse. M'intéressant ici surtout à ce second volet, à ce jour peu exploré, j'entends mettre en lumière, pour en discuter, les théories de l'action qui, sans qu'on en soit conscient le plus souvent, sous-tendent tant les pratiques de l'évaluation que celles de l'éthique et les orientent, voire les conditionnent. Des questions proprement radicales se posent, qu'on ne saurait éluder, à ce niveau des référents implicites, généralement ignorés, inconscients, de ceux et celles qui pratiquent l'évaluation ou l'éthique.

Depuis septembre 2009, le portfolio a pris une place d'importance dans l'évaluation des compétences professionnelles à la faculté des sciences de l'éducation de l'Université du Québec à Montréal. Que ce soit au baccalauréat en éducation préscolaire et en enseignement primaire, en adaptation scolaire et sociale ou au programme court en pédagogie de l'enseignement supérieur, le portfolio a pour but de permettre à l'étudiant de recueillir et d'organiser des documents et du matériel qui rendront compte du développement de ses compétences professionnelles, mais aussi de réfléchir de manière cyclique à ses actions, ses expériences et ses apprentissages (Bélanger, 2009) afin de les améliorer. Comme le soutiennent Johnson, Mims-Cox et Doyle-Nichols (2006), le portfolio peut aider l'étudiant à faire la transition de son programme de formation en éducation à l'enseignement. La communication vise dans un premier temps à présenter les différentes démarches implantées dans la formation des maîtres ainsi que les divers outils utilisés par les étudiants. Dans un deuxième temps, nous présenterons les résultats sommaires de trois études réalisées en 2011-2012 portant sur les perceptions des étudiants quant à l'intégration de cette modalité d'évaluation dans leur formation universitaire. Finalement, ces résultats permettront de vérifier l'impact éventuel du portfolio professionnel sur le développement des compétences en jeu des futurs enseignants.

Cette communication s'inscrit dans le volet «L'évaluation comme mode d'action» du colloque. Elle présente des procédures de mesure visant à améliorer la fiabilité et l'usage de pratiques d'évaluation des compétences informationnelles (CI), telles qu'énoncées par la CRÉPUQ .

Plus précisément, elle rend compte de la phase préparatoire d'une recherche pour évaluer les CI chez des cohortes d'étudiants de l'Université du Québec en Outaouais. Leurs scores à certaines évaluations ont été modélisés à l'aide d'un logiciel afin d'observer leur comportement dans des modèles de réponse à l'item (MRI).

Cette recherche a pour objectif de permettre des recommandations pour l'ajustement des pratiques d'évaluation. L'étude de ces pratiques, ici par les MRI, pourra contribuer à préciser le(s) rôle(s), la portée et / ou les impact(s) respectifs des CI chez l'individu ou dans des champs d'application, entre autres comme dispositif professionnalisant.

L'évaluation est un acte professionnel qui comporte des enjeux éthiques importants. Ces enjeux ne sont pas nouveaux, toutefois ils sont devenus une préoccupation incontournable en enseignement. C'est parce qu'un enseignant peut tricher, tromper, abuser, favoriser, détourner, privilégier, dévaloriser que l'éthique de l'évaluation est devenue un souci permanent. Tous les élèves ont vécu des expériences scolaires malheureuses à cet égard. La réflexion sur l'éthique dans l'évaluation oblige à poser des questions sur le sens des pratiques évaluatives, sur la valeur des outils pour évaluer, sur les fonctions de l'évaluation, sur les principes pédagogiques sous-jacents à l'évaluation, sur les effets de l'évaluation sur les élèves, mais aussi et surtout sur les valeurs sous-jacentes à l'acte d'évaluer. La dimension éthique de l'évaluation ne constitue pas une doctrine ou un ensemble d'obligations. L'éthique n'a pas une visée contraignante. Bien au contraire, elle engage une réflexion à partir des valeurs qui guident le jugement professionnel. Ainsi, l'enseignant préoccupé par l'éthique dans l'évaluation se demande comment il peut être à la hauteur des valeurs de justice, d'impartialité, d'équité, de probité et d'égalité. Les questions qu'il se pose l'amènent bien sûr à mieux cerner ses responsabilités pour être juste avec tous les élèves. Nous allons nous intéresser ici aux valeurs fondamentales pouvant guider l'action dans des situations-problèmes liées à l'évaluation.

Les pays sont de plus en plus préoccupés par la qualité de l'enseignement dispensé dans les écoles. Ces préoccupations les poussent à procéder à de multiples changements au sein de leur système éducatif. Le gouvernement de l'Union Nationale de la République du Rwanda a demandé en 2005 au Ministère de l'éducation d'intégrer dans les politiques éducatives l'évaluation de la performance et des compétences. Le gouvernement souhaite ainsi améliorer la qualité de l'enseignement et a pour enjeu socio-politique de rehausser la qualité du système éducatif. Parmi les normes formulées par le MINEDUC (2009), une importance est attribuée aux pratiques évaluatives (voir les travaux de Bélair & Dionne, 2009; Laveault, 2009). Les études soulignent que la façon dont les pratiques évaluatives sont faites en classe reste encore méconnue (Issaieva, & Crahay, 2010; Forgette-Giroux & al., 1996). Cette recherche consiste à interroger les enseignants rwandais du secondaire (n=106) de la mairie Gicumbi sur leurs pratiques évaluatives depuis ce changement. Un questionnaire a été développé pour apprécier les pratiques évaluatives selon quatre thématiques : (1) la connaissance de la politique évaluative du pays, (2) les fonctions et interprétations les plus utilisées lors de l'évaluation, (3) les niveaux de compétences évalués, et (4) les divers instruments utilisés. Les résultats seront discutés à la lumière des enjeux socio-politiques au Rwanda et des recherches dans le domaine.

Au cours des dernières décennies, l'intérêt pour évaluer les compétences interculturelles en pédagogie universitaire a augmenté. Il n'en demeure pas moins que certains aspects théoriques et méthodologiques sont remis en question. Le principal défi dans l'évaluation des compétences consiste à mesurer de façon efficace la mobilisation de ressources personnelles telles que des caractéristiques émotives, cognitives ou comportementales dans une situation complexe (Le Boterf, 2010). Face à l'évaluation d'un construit complexe comme c'est le cas pour les compétences interculturelles, la validité et la fidélité des interprétations peuvent être compromises par différentes menaces (Sireci, 1997). C'est pourquoi il est important de créer et d'administrer des outils de cueillette de données qui minimisent les biais qui peuvent affecter la validité (Messick, 1995). Donc, cette communication a pour objectif de discuter de la portée et des limites des outils utilisés pour apprécier le développement des compétences interculturelles, ainsi que des principales menaces qui peuvent compromettre la validité et la fidélité dans le contexte de l'évaluation de ces compétences. Pour ce faire, nous présenterons la synthèse d'une analyse des outils fréquemment utilisés dans le cadre de recherches qui s'intéressent aux dimensions interculturelles.

Les politiques d'enseignement à travers le monde se basent de plus de plus sur de nouveaux instruments d'action publique: évaluations externes standardisées, tableaux de bord, indicateurs, critères de référence (benchmarks) orientant les politiques. Les outils d'évaluation externes des acquisitions des élèves, parfois assez anciens, qui servaient surtout à des fins pédagogiques, deviennent progressivement des instruments de régulation et d'orientation des politiques, outils qui sont basés sur les connaissances. Autrement dit, la régulation des systèmes d'enseignement naguère fondées surtout sur les règles et les contrôles professionnels se complexifie et se transforme. Notre propos dans cette communication sera d'interroger la signification de ces transformations et d'élaborer plus particulièrement une réflexion sur le rôle des indicateurs de pilotage et de gouvernance dans le domaine de l'enseignement. Nous montrerons que l'usage de ces indicateurs s'inscrit dans un nouveau paradigme politique mobilisé pour penser les politiques scolaires : l'école n'est plus pensée principalement comme une institution mais de plus en plus comme un « système de production » scolaire. Ensuite, nous formulerons quelques hypothèses sur les fonctions instrumentales et symboliques de ces indicateurs et plus largement sur le recours à l'évaluation des performances scolaires des systèmes.

Le concept de validité dans le domaine de l'évaluation des apprentissages a beaucoup évolué depuis le début du 20^e siècle. La définition la plus souvent reprise actuellement s'inspire de celle mise de l'avant par Messick en 1989 dans la 3^ième édition du livre Educational Measurement. Plus récemment, Kane dans la 4^e édition de Educational Measurement (en 2004) a introduit l'idée que ce qui était prépondérant était le processus de validation et que celui-ci devait être considéré comme une structure argumentative qui est déterminante pour la plausibilité de l'interprétation des scores. D'autres, comme Boorsboom et ses collègues (2004), plaident plutôt pour un retour à une définition qui a longtemps prévalu et qui mettait de l'avant l'instrument lui-même comme objet de la validité. En rappelant les différences entre «évaluation» et «mesure», la communication fera un retour sur ces différentes prises de position en les situant d'abord dans un contexte d'épistémologie évolutive et, ensuite, en faisant un parallèle avec ce qu'on retrouve dans les sciences de la nature en prenant comme base de discussion la question suivante. Qu'est-ce qui devrait être valide dans le cas de la mesure du poids: la balance, le nombre qui apparaît sur le cadran ou les conclusions qu'on peut tirer à partir de la lecture du nombre sur le cadran?

Au cours de l'histoire de la fabrication du TCALS II, le test de classement en anglais langue seconde en vigueur depuis plusieurs années dans différents cégeps francophones du Québec, il a toujours été question du problème d'estimation des scores de césure à des fins d'uniformisation (Fournier, 1992; Laurier et coll., 1998). Beaucoup d'enseignants au cégep ne comprennent pas les enjeux de cette uniformisation : si les variances entre habiletés se chevauchent trop, la discrimination entre niveaux ne sera pas claire et il y aura plus de détection de patrons de réponses inappropriés à effectuer pour rendre le test valide.

Dans le cadre du présent colloque, je me concentrerai sur cet équilibre nécessaire entre variance et discrimination quant à l'administration du TCALS II.

L'étude des patrons de réponses inappropriés peut aider à mieux comprendre pourquoi il s'avère délicat d'uniformiser les scores de césure, ce dont on se sert pour déterminer les niveaux d'habileté et les cours/groupes. Comme l'ont montré Raîche (PAREA, 2002-2003) et Brassard (2011), l'étude des patrons de réponses des élèves des niveaux « avancés » et « très avancés » (103-104) révèle l'utilisation de stratégies de réponse au hasard et d'inversion des réponses directement responsables des sous-classements. Poursuivre une telle étude contribue au processus de mise en évidence de l'imputabilité de comportements fraudeurs inhérent à l'intervention enseignante (Buss & Novick, 1980; Cizek, 1999).

Depuis deux ans, les finissants des programmes de formation à l'enseignement au Québec doivent démontrer leur maîtrise de la langue d'enseignement. Dans le cas du français, cela se fait par la réussite du TECFEE. L'imposition de ce test découle d'une politique commune de l'ensemble des universités. Celles-ci répondaient à une demande sociale la qualité de la langue des enseignants étant souvent mise en doute. Au-delà de l'analyse de la composante langagière du travail enseignant, les représentations sociales de la compétence à écrire et les attentes à cet égard ont dicté certains choix pour ce qui du construit et des seuils de passage. On craint maintenant que la nature du test et les exigences n'agissent comme mécanisme pour empêcher l'accès à la profession de certains groupes sociaux. Le test est géré par un consortium qui réunit les établissements universitaires (sous l'égide de la CREPUQ), le ministère (MELS) en tant que responsable de la titularisation et une firme qui administre l'épreuve (CEFRANC). C'est cette dernière qui produit de nouvelles versions, s'assure de leur équivalence et atteste des qualités psychométriques de l'instrument. Ce rôle est primordial dans une épreuve aussi déterminante pour l'avenir professionnel des candidats. Depuis que le TECFEE est en usage, on observe son impact non seulement à travers les mesures que les universités mettent en place pour favoriser la réussite, mais aussi à travers les stratégies que mettent en œuvre les candidats.

La politique québécoise à l'égard des universités vise à augmenter le taux de scolarisation dans les diverses concentrations universitaires et par le fait même à encourager la persévérance aux études. Concrètement, les universités sont invitées à mettre en place des mesures d'aide à la réussite. Cette communication présente les grandes lignes et les résultats de deux études qui s'inscrivent dans le champ des facteurs personnels influençant la réussite à l'université et plus particulièrement dans les programmes de Baccalauréat en administration des affaires (BAA). Deux variables (l'attrait et la performance aux différentes méthodes d'évaluation) liées à la réussite à l'université ont été retenues dans le cadre de ces études. Afin de pouvoir suggérer des mesures d'aide à la réussite, il nous est apparu pertinent d'étudier les facteurs personnels pouvant avoir une influence sur ces variables, à savoir la personnalité, le genre et l'âge. Les résultats de ces études indiquent que la personnalité aurait une influence sur l'attrait et la performance aux méthodes d'évaluation. Ainsi, il s'avère que les méthodes d'évaluation utilisées favoriseraient ou non la persévérance des étudiants dans le cadre des programmes de BAA. Quelles sont les limites liées à l'utilisation de ces méthodes d'évaluation dans ces programmes d'études? Quels sont les enjeux socio-éthiques sous-jacents? Cette communication vise, entre autres choses, à répondre à ces questions.

Les centres de formation professionnelle (FP) au Québec sont actuellement aux prises avec des taux inquiétants d'échec dans les programmes incluant des contenus mathématiques. Le constat actuel est que les directions et les enseignants de plusieurs centres de FP se sentent démunis face aux difficultés de leurs élèves en mathématiques, difficultés que ces derniers trainent avec eux parfois depuis le primaire et qui aboutissent régulièrement chez les élèves à un sentiment de découragement, voire d'incompétence, et mènent directement à l'abandon. Un des problèmes majeurs pour les intervenants réside dans le fait que les outils valides de diagnostic des difficultés restent encore peu développés. Notre présentation décrit la mise en œuvre d'un projet de recherche visant le développement de tels outils et basé sur l'établissement d'un partenariat novateur entre des chercheurs universitaires en éducation et une firme privée, chef de file en développement de tests au Québec. Nous expliquerons dans un premier temps comment le fait de combiner l'expertise de chercheurs universitaires avec l'expérience, la qualité d'organisation et l'accessibilité à de vaste échantillons d'élèves qu'offre la firme Brisson-Legris permet de fournir un élément de réponse opérationnelle au décrochage scolaire. Dans un deuxième temps, nous discuterons des enjeux socio-éthiques reliés à l'établissement d'un tel partenariat.

Depuis la démocratisation de l'éducation, dont le mouvement le plus important s'est produit dans les années 1960, l'éducation nord-américaine et européenne est marquée d'un principe méritocratique. Selon ce principe, le mérite est reconnu à l'individu en fonction de sa compétence plutôt qu'en fonction de ses caractéristiques naturelles (géographiques, culturelles, économiques et sociales). Maintes réflexions et plusieurs efforts ont été consacrés au cours des cinquante dernières années à la réduction des inégalités sociales au sein de la culture scolaire et à l'instauration d'un système d'éducation plus juste et plus équitable.

Cette communication propose une réflexion critique mettant en parallèle le concept d'égalité en éducation ainsi que celui de la validité en évaluation des apprentissages. À travers l'exposé de leur évolution sociohistorique, ces concepts seront situés par rapport aux visées de l'éducation, aux attitudes de ses acteurs à l'égard de l'évaluation des apprentissages et à l'épistémologie des disciplines académiques. L'exposé mettra en exergue l'influence de ces concepts sur les pratiques en évaluation des apprentissages et sur les attitudes à leur égard.