475 - Praxis de l'évaluation des politiques gouvernementales : avancées conceptuelles, enjeux méthodologiques et défis socio-institutionnels

Le 1er avril 2009, une politique sur l'évaluation renouvelée est entrée en vigueur. Le but de cette politique est de constituer une base de données d'évaluation fiable et exhaustive qui servira à appuyer l'amélioration des politiques et des programmes, la gestion des dépenses, la prise de décisions par le Cabinet et l'établissement de rapports destinés au public. Au cours de cette présentation, la directrice principale du Centre d'excellence en évaluation du Secrétariat du Conseil du Trésor du Canada donnera aux participants un bref aperçu de la politique renouvelée, y compris de ses éléments clés qui appuient la qualité et l'utilisation des évaluations. Les nouvelles tendances dans la qualité et l'utilisation des évaluations y seront abordées, de même que les défis que doit relever la fonction d'évaluation fédérale depuis l'introduction de la Politique en 2009, comme en témoignent les évaluations des fonctions d'évaluation des ministères et organismes fédéraux réalisées tous les ans par le Secrétariat. Enfin, y seront aussi abordées les Compétences en leadership des chefs de l'évaluation fédéraux établies par le Secrétariat en 2011, ainsi que les efforts menés en vue de l'élaboration d'un cadre de perfectionnement professionnel pour les évaluateurs fédéraux, qui appuiera la mise en œuvre de compétences et, de ce fait, la qualité et l'utilisation des évaluations réalisées au gouvernement du Canada.

À venir

Il y a un consensus mondial sur la nécessité de faire l'évaluation de notre développement en reconnaissant les défauts du PIB comme indicateur de celui-ci. L'Indice de progrès véritable (IPV) est reconnu comme un indicateur synthétique qui répond aux besoins, en dépit de certaines faiblesses méthodologiques et face aux données disponibles. Le calcul de l'IPV du Québec cible les coûts des externalités sociales et environnementales et permet ainsi d'avoir une évaluation de programme en termes monétaires. Il permet aussi d'avoir un meilleur bilan de secteurs défaillants, de bien évaluer les coûts globaux des mauvaises orientations et d'identifier des pistes pour de nouvelles approches. Ces résultats, situés dans le contexte fourni par l'empreinte écologique, surprennent par leur ampleur dans plusieurs secteurs clé : l'agriculture et la foresterie, et l'exploitation minière; le travail, le revenu et la consommation; l'usage de l'énergie. Des pans de notre développement même sont à redéfinir.

En mai 2000, l'Assemblée nationale du Québec adoptait la Loi sur l'administration publique (L.R.Q., 2000, c.8) (LAP). Avec cette loi, le Québec marquait significativement le passage d'un cadre de gestion axé sur le contrôle des moyens et des processus vers une gestion axée sur les résultats (GAR). Du point de vue de l'évaluation de programme, un cadre de gestion gouvernemental structuré en partie autour du concept de résultat semble une plateforme idéale pour investir la prise de décision stratégique au sein de l'État. L'évaluation peut effectivement soutenir la GAR par la production de renseignements sur les résultats et la mise en œuvre des programmes ainsi qu'en fournissant des outils analytiques supportant la conception des programmes. Cette recherche tente de déterminer quel est l'état du développement de la fonction évaluation dans le contexte des dix premières années d'application de la LAP. Nous cherchons à cerner la place qu'occupe l'évaluation dans la LAP elle même, à identifier les gestes politico-administratifs structurant la pratique de l'évaluation durant cette période et finalement à documenter l'ampleur de l'utilisation de l'évaluation au sein de la GAR.

Dans l'administration publique du Québec, la fonction d'évaluation de programme a connu depuis ses quarante ans d'existence un parcours, caractérisé par la décentralisation, qui la distingue des modèles typiques aux pays membres de l'OCDE. La conjugaison de deux facteurs a joué un rôle fondamental dans cette évolution : les périodes de contraintes budgétaires et le choix délibéré de l'Assemblée nationale de rendre les hauts fonctionnaires imputables de leur gestion administrative en commission parlementaire.
Cette nouvelle forme d'imputabilité, qui va au-delà du principe d'imputabilité ministérielle hérité du parlementarisme britannique, confère ainsi à l'évaluation le rôle d'outil pour aider les administrateurs publics à rendre des comptes aux élus.
Cette présentation se décline en deux volets : 1) Un bref rappel des événements qui ont marqué chaque décennie depuis 1970, sous l'angle du contexte budgétaire et des orientations gouvernementales en matière d'évaluation; 2) Un sommaire des lois, règlements et orientations gouvernementales qui encadrent à ce jour la gouvernance de la fonction d'évaluation de programme, notamment le rôle clef attribué aux sous-ministres et aux dirigeants d'organismes.

C'est en 1977 que l'évaluation a été introduite comme outil de gestion au gouvernement fédéral. La première politique, adoptée en 1977, exigeait que l'évaluation soit une aide à la prise de décision et à la gestion et qu'elle soit une source d'information pour l'affectation des ressources, l'amélioration des programmes et l'imputabilité des gestionnaires. La révision de la politique de 2009 vise un renforcement de la fonction d'évaluation pour appuyer le Système de gestion des dépenses. Le but est d'éclairer les décisions sur la gestion des dépenses et sur l'amélioration des politiques et des programmes, ainsi que les décisions du Cabinet et les rapports destinés au public. Cette présentation revient sur trente années d'institutionnalisation de l'évaluation de programme au gouvernement fédéral. Plus spécifiquement, nous procéderons à une analyse comparative des politiques de 1977 et 2009. Nous examinerons également plus en détails la politique de 2009 à la lumière de l'expérience des dernières décennies pour identifier les défis de sa mise en œuvre et les conditions de sa réussite.

La conférence sera articulée autour de trois volets : 1) Historique de la fonction d'évaluation au MDEIE; Il s'agit de présenter l'évolution de la fonction au sein du Ministère, depuis sa création en 2000 jusqu'à aujourd'hui. On rappellera les raisons de sa création, l'évolution de sa raison d'être et de son fonctionnement au cours des 12 dernières années : 2) Pratique évaluative au sein du MDEIE; Dans ce volet, il sera présenté les grandes lignes de la pratique évaluative au Ministère, notamment la méthode et l'utilisation des rapports d'évaluation dans le processus de prise de décision : 3) Défis à court terme; Ce dernier volet vise à décrire les principaux défis rencontrés actuellement dans la pratique de l'évaluation, notamment la conciliation de nouveaux besoins d'information des clients de l'évaluation (mesure du rendement, mesure des retombées économiques) et les coûts reliés à l'évaluation. Nous en profiterons aussi pour faire un bilan des principales leçons apprises quant à la pratique d'évaluation au sein du MDEIE, ainsi que des conditions de succès pour fiabiliser les résultats des évaluations et renforcer leur utilisation.

À l'instar de nombreuses autres économies, le Québec s'est doté d'un important réseau d'intermédiaires pour stimuler l'innovation en entreprise. Les centres collégiaux de transfert de technologie, les sociétés de valorisation, les bureaux de liaison entreprise/université, les organismes de développement régional et les centres de recherche publique ne représentent qu'une portion de cette complexe réalité. Ce système comprend au-delà de 200 organisations, créées par des gouvernements de niveau parfois fédéral, provincial ou municipal. Dotées de responsabilités parfois spatiales, thématiques ou sectorielles, ces organisations offrent des services aussi divers que l'établissement de partenariats, le transfert de connaissances, le réseautage et le financement.
Le projet vise à éclairer l'action gouvernementale dans ce domaine. Il s'intéresse à la gouvernance et à l'offre de services d'un tel système d'intermédiation sous l'angle des besoins des PME et des défis que présente l'innovation ouverte. Pratique courante en Europe, l'évaluation ex ante consiste à planifier l'évaluation d'une intervention avant sa mise en œuvre en posant un regard stratégique sur les enjeux à l'origine de l'intervention ainsi que sur les résultats et les impacts attendus. Comment réussir une telle évaluation dans un univers aussi complexe que l'intermédiation en innovation en adoptant une vision d'ensemble du système? Cet important défi sera examiné dans le devis évaluatif proposé pour discussion.

La pratique de l'évaluation aborde, de plus en plus souvent, des programmes complexes tant au niveau des problématiques qu'au niveau de la conception ou de la mise en œuvre. La communication présente les principales leçons apprises de l'évaluation d'une intervention multi-sites, multipartites et transversales. L'évaluation a porté sur le programme de la revitalisation urbaine intégrée (RUI) à Montréal. La RUI est une variante urbaine de l'approche territoriale intégrée, préconisée dans le Plan d'action gouvernemental en matière de lutte contre la pauvreté et l'exclusion sociale. Elle se veut une stratégie d'intervention concertée et intégrée dont le but est d'améliorer la qualité de vie dans les secteurs défavorisés. L'évaluation s'est intéressée à l'efficacité du déroulement des processus fondamentaux de mise en œuvre de la RUI : la mobilisation, la concertation, la planification de la revitalisation et l'apprentissage collectif. Nous exposons les différentes contraintes auxquelles a été confrontée l'équipe d'évaluation et l'approche méthodologique qui a été adoptée pour les surmonter.

Les populations autochtones du Nord Canada sont depuis longtemps confrontées à des problèmes sociaux-économiques gangrénant leur développement. Au début des années 1990, les conclusions de la Commission royale sur les peuples autochtones allait mettre en exergue l'importance d'intégrer et d'autonomiser les peuples autochtones par rapport à la gestion des politiques publiques les concernant.

Afin de produire une évaluation de meilleure qualité et davantage utilisée, des mesures ont été développées s'assurant que l'évaluation de programme autochtone accorde une place de choix à la sensibilité culturelle, tout en intégrant des participants locaux au processus évaluatif. Dans cette étude, nous avons donc effectué un survol de l'évaluation de programme autochtone en vérifiant comment les priorités découlant des nouveaux objectifs de gouvernance autochtone transcendent l'évaluation de programme. Une analyse effectuée suite à la codification de rapports, nous aura permis de comprendre l'importance de la sensibilité culturelle et d'observer de quelle manière des approches participatives sont intégrées au sein de l'évaluation de programme autochtone. Il a donc été possible de constater que la sensibilité culturelle s'intègre graduellement à l'évaluation autochtone. Enfin, nous avons observé un recours occasionnel à des approches participatives, mais qu'il ne s'agit pas là d'une tendance lourde, les approches systématiquement technocratiques étant encore largement employées.

L'évaluation de programmes s'adressant à des groupes culturels minoritaires pose plusieurs défis, notamment liés à la prise en compte de perspectives (normes, valeurs) variées sur la valeur d'un programme et aux adaptations méthodologiques que cela induit (Green, 2000; Hobson, 2003; Kirkhart, 1995; SenGupta et al., 2004, Hanberger, 2010). Au Québec, le contexte autochtone s'inscrit dans cette réalité et pose des défis de différentes natures au processus évaluatif. Prenant assise sur trois mandats réalisés au cours des dernières années en milieu autochtone, nous aborderons certains d'entre eux, notamment : 1) les obstacles sur le plan de la collecte de données et l'obtention d'indicateurs valides sur les communautés autochtones québécoises; 2) certaines lacunes sur le plan de la formation et de l'expertise des communautés à l'égard des processus de gestion, de suivi et d'évaluation; 3) la pression exercée sur les ressources administratives des communautés; 4) la difficile traçabilité des informations requises aux fins évaluatives; 5) la prise en compte des enjeux identitaires et les pièges liés aux jeux d'influence politique. Enfin, nous ferons état des différentes stratégies qui ont été déployées afin de surmonter ces défis et assurer la rigueur de l'évaluation (validité, fidélité, utilité).

La gestion axée sur les résultats et la gestion durable des biens publics environnementaux constituent des outils privilégiés pour mesurer les performances des interventions gouvernementales. Cependant, les dernières crises économiques et la raréfaction des ressources budgétaires ont complexifié les modalités d'interventions des gouvernements affectant ainsi l'évaluabilité des interventions publiques. Ce fut le cas pour l'implantation des grands projets hydroélectriques dans le bassin du fleuve Sénégal durant laquelle les principes de précaution et les besoins des communautés locales ont été négligés dans les différents schémas de développement économique des décennies durant.

Un choix judicieux des questions d'évaluation et l'analyse approfondie de la dynamique des facteurs socio-institutionnels se sont révélés être des approches adaptées pour révéler, le poids des relations entre les différents actifs socio-institutionnels dans la mesure de l'efficience de cette intervention gouvernementale. Cette approche est d'autant plus pertinente que ces politiques doivent non seulement démontrer leur efficience, mais également gagner le pari de l'acceptabilité sociale.

L'intégration de principes socio-institutionnels dans la praxis de l'évaluation démontre sa pertinence et procure des enseignements utiles aux évaluateurs et décideurs publics préoccupés par les défis que pose l'évaluation des politiques publiques actuelles.

L'évaluation est un exercice commun en administration publique. Cependant, les décideurs sont peu nombreux à valoriser et à utiliser les résultats découlant de ces exercices. L'auteure pose l'hypothèse qu'une demande d'évaluation clairement formulée et convenue entre les différents partenaires permet d'accroître les retombées de l'évaluation.

L'exposé présente une expérience de co-formulation d'une demande d'évaluation. Cette énonciation de la compréhension partagée de la demande d'évaluation a nécessité la collaboration du mandataire, des cochercheurs et des principales parties prenantes de l'intervention évaluée. Inspirée des fondements constructivistes et participatifs, l'exercice s'est traduit par la réalisation d'entrevues exploratoires et de rencontres de travail. Ces efforts ont mené à la rédaction et l'adoption d'une demande d'évaluation partagée et convenues entre les partenaires.

L'auteure croit que la co-construction de la demande d'évaluation est un investissement nécessaire lors de l'évaluation d'une intervention complexe telle que celles soutenues par l'administration publique. Selon l'auteure, l'exercice entraîne plusieurs retombées : démystification de l'exercice d'évaluation, partage d'un langage commun tout au long du processus évaluatif, meilleure identification des besoins en information et promotion du projet et de ses retombées auprès d'un plus large public.

L'exposé présentera la démarche employée, sa pertinence et ses retombées pour l'évaluation.

Comme dans bien des secteurs de l'intervention gouvernementale, le domaine de la santé publique présente son lot de difficultés pour l'évaluation des impacts des programmes (absence de cadre d'évaluation précis et de plan de mise en œuvre, insuffisance de données probantes, rareté des ressources, etc.). Ces défis pour la pratique évaluative requièrent des évaluateurs qui optent pour le pragmatisme et la souplesse dans la conception de leurs stratégies d'évaluation. Dans un tel contexte, l'évaluation d'implantation se positionne de plus en plus comme un moyen pour informer les décideurs quant à la pertinence et aux conditions favorables à l'implantation de programmes, mais aussi à la prise de décision. Ces éléments seront abordés via un retour sur l'évaluation du programme Fruits et légumes en vedette 2009-2010 (PFLV). Initié de concert en 2010 par le ministère de l'Agriculture, des Pêcheries et de l'Alimentation du Québec (MAPAQ) et le ministère de la Santé et des Services sociaux (MSSS), ce programme est l'une des actions du Plan d'action gouvernemental de promotion des saines habitudes de vie et de prévention des problèmes reliés au poids 2006-2012 – Investir pour l'avenir. Par une appréciation de l'implantation du PFLV et de l'adhésion des restaurateurs à une stratégie d'intervention de santé publique en matière d'offre de fruits et de légumes, l'évaluation a été en mesure d'informer les décideurs sur certains aspects de la performance de l'intervention.

Pour répondre aux besoins de plus en plus importants et variés de l'Administration publique et du contexte de ses interventions, de nouvelles approches et méthodes évaluatives ont été récemment développées. Or, ces changements ont un impact fort sur le rôle et la place de l'évaluateur, et nombre d'entre eux vont accroitre la potentialité d'apparition d'enjeux éthiques au sein du processus évaluatif (Shaw 2008). De récents efforts, comme ceux entrepris par Yarbrough et al. (2011), ont été réalisés pour mettre à jour les standards éthiques en prenant en compte la réalité quotidienne des évaluateurs. Cependant, la multitude de standards et la difficulté de leur mise en pratique sont des obstacles majeurs à leur bonne application par les évaluateurs. Nous proposons de présenter les résultats d'une recherche visant à intégrer les nouvelles propositions de standards liés au respect des droits de la personne dans les standards actuellement admis, et ce, tout particulièrement en contexte complexe. Nous présenterons tout d'abord les « nouveaux » standards issus de la littérature et visant à protéger les droits des personnes et des parties prenantes, puis nous soumettrons à discussion diverses stratégies permettant aux évaluateurs de clarifier le positionnement éthique de leur évaluation et de favoriser l'application de ces standards.

La reddition de compte dans le secteur public est soumise à des lois et directives diverses. Le Conseil sur la compatibilité dans le secteur public, le Secrétariat du Conseil du Trésor et le Governmental Accounting Standards Board obligent ou recommandent aux organisations publiques d'inclure leurs résultats de périodes antérieures dans leurs rapports annuels. Pour sa part, la présence de comparatifs externes dans la reddition de compte des résultats est souvent suggérée, mais avec moins d'insistance.

Peu de recherches se penchent sur les bases de comparaisons prisées par les citoyens. Deux questionnaires incluant des mises en situation randomisées sur les services ambulancier et l'éducation élémentaire ont été complétés respectivement par 893 et 595 Américains. Les résultats obtenus sont que les comparaisons aux périodes antérieures influencent moins la satisfaction des citoyens que les comparaisons externes. L'inclusion obligatoire de comparaisons externes dans la reddition de compte constituerait une innovation dans le domaine municipal.

L'Office de la protection du consommateur offre des services de renseignements et de soutien aux consommateurs et mesure régulièrement leur satisfaction à l'égard des services reçus. Cette offre de services a été récemment revue et vise davantage à accompagner le consommateur dans le processus de résolution de son problème avec un commerçant qu'à le prendre entièrement en charge. Compte tenu des moyens dont dispose l'Office, la mesure de la satisfaction de la clientèle sert également de véhicule pour documenter des questions d'évaluation, notamment l'évaluation des effets de la nouvelle approche d'intervention auprès des consommateurs.

Cette étude de cas vise d'abord à mettre en relief les avantages et les limites d'un outil qui combine mesure de satisfaction et évaluation, ainsi qu'à bien cerner les conditions favorables à l'utilisation de cette stratégie d'évaluation. La présentation de quelques résultats obtenus illustrera le potentiel de cette stratégie, bien adaptée à la pratique de l'évaluation sous contraintes de temps et de budget.

Les jeunes conducteurs automobiles, particulièrement ceux âgés entre 16 et 24 ans, représentent un groupe à risque élevé d'accidents de la route. Pour réduire les risques encourus par ces derniers, le gouvernement du Québec a réintroduit les cours de conduite automobile obligatoires en janvier 2010. Parallèlement à cette mesure, une tarification maximale fixée à 825 $ fut introduite. Cette dernière suscite de nombreux enjeux, dont la rentabilité des écoles de conduite et l'accessibilité financière des cours pour les jeunes et leurs parents. L'évaluation réalisée avait pour but d'étudier, à partir des préférences des diverses parties prenantes, les prédispositions à payer des consommateurs et les prédispositions de l'industrie à accepter des compensations financières pour maintenir une offre de cours de qualité dans l'ensemble de la province. Cette présentation permettra donc de mieux comprendre la méthodologie déployée pour répondre aux interrogations de l'administration publique, ainsi que les réponses apportées par l'évaluation réalisée.

Plus que jamais, les gouvernements sont amenés à mesurer et démontrer la performance de leurs interventions (pertinence, efficacité, efficience, économie). De telles démonstrations (notamment via l'évaluation des politiques gouvernementales) visent à éclairer la prise de décision, surtout dans un contexte marqué par des restrictions économiques et des «coupures» imposées par une lutte acharnée contre les déficits budgétaires et l'endettement public. La réalisation d'évaluations se heurte toutefois à la complexité grandissante du contexte dans lequel ces exercices évaluatifs sont réalisés (interventions sortant du cadre conventionnel du « programme », changements des modalités d'actions de l'État, impacts latents, intangibles, plurisectoriels, stratégiques et difficilement quantifiables, etc.). Un tel contexte amène son lot de pressions et de contingences mettant en péril l'évaluabilité des interventions publiques et la rigueur de leurs résultats. Des arbitrages deviennent alors nécessaires entre d'une part les contraintes liées aux coûts et aux délais d'une évaluation rigoureuse et d'autre part une synchronisation de l'évaluation avec les impératifs des processus budgétaires et les ressources disponibles. En clôture, cette communication reviendra sur les approches et innovations présentées au cours de la journée et ailleurs dans le monde, dans une perspective de renforcement des méthodes, des compétences et des procédures évaluatives.