475 - Évaluation des politiques publiques dans les pays francophones : les méandres de l'institutionnalisation et les malaises de l'opérationnalisation

Présentation d'un état de situation sur l'évaluation de programme dans l'administration publique du Québec et des nouvelles orientations en évaluation de programme

La présentation traite de l'état des lieux de l'évaluation dans le contexte des administrations publiques au Vietnam. Après une mise en perspective globale de l'avancement des processus de mesure de la performance dans les politiques publiques au Vietnam, il est question des initiatives visant à renforcer le développement de l'évaluation de programmes, notamment en terme de renforcement des compétences évaluatives, dans le cadre des systèmes d'enseignement et de recherche sur le sujet. Des éclairages empiriques sont apportés dans ce cadre pour quantifier et qualifier l'état des lieux de l'évaluation dans différentes régions et secteurs publics au Vietnam. Le Vietnam a aussi une histoire francophone où la modernisation de l'administration publique se fait grâce au regard de l'institutionnalisation de l'évaluation de la performance de l'action collective. Une mise en perspective est faite dans ce cadre pour tenir compte des transferts de connaissances évaluatives initiés dans le cadre d'échange et de coopération avec l'école nationale d'administration publique au Québec.

Un peu partout dans le monde, l'impératif de l'évaluation des politiques s'impose comme un gage de transparence, de reddition de comptes et de redevabilité mutuelle. Malgré tout, le Maroc se caractérise par un faible ancrage de la fonction évaluative dans son paysage politico-administratif et institutionnel. Mais, la situation change rapidement puisque l'évaluation connait un intérêt grandissant et a été citée à une dizaine de fois dans la nouvelle Constitution marocaine (juillet 2011). Désormais, l'évaluation apparaît donc comme l'une des thématiques clés sur laquelle l'État doit compter pour se rénover et améliorer la performance de l'action gouvernementale. La recherche proposée caractérise les attentes associées à la pratique de l'évaluation au Maroc (combler le déficit juridique et pratique en matière d'institutionnalisation de la fonction évaluative) et balise les dispositifs institutionnels et organisationnels permettant de codifier les approches et méthodes associées. Nous examinons à cet effet le déficit juridique et institutionnel à combler dans l'implantation de l'évaluation. Les dispositifs institutionnels et opérationnels de l'évaluation seront passés en revue, et ce, pour mieux ancrer l'évaluation dans le contexte du Maroc. Des propositions sont énoncées pour identifier les institutions et les expertises requises pour mieux aider le Parlement et les décideurs à assumer leurs responsabilités dans l'évaluation des politiques et la promotion de la redevabilité publique.

L'institutionnalisation de l'évaluation des politiques publiques dans les pays africains en est à ses débuts. Ceux-ci sont poussés vers cette nouvelle dynamique, par des partenaires externes et parfois par des forces citoyennes qui exigent plus d'efficacité, d'efficience et de transparence dans la gestion des affaires publiques. Cela dit, la faiblesse des assises de la pratique de l'évaluation, en tant que fonction au sein de ces pays, constitue un frein à la constitution nécessaire de capacités nationales en la matière, notamment en termes de qualité. L'encadrement de la pratique de l'évaluation par la loi apparaît ainsi à la fois comme un passage obligé pour consolider le processus d'institutionnalisation de l'évaluation et pour exiger de la rigueur, de la neutralité et des compétences culturelles. Dès lors, il importe d'analyser les limites, les obstacles possibles, les exigences et les conditions de succès d'une telle démarche. La présente recherche brosse un état des lieux de la pratique de l'évaluation des politiques publiques dans différents pays d'Afrique francophone : les expériences, les dispositifs nationaux, les acteurs, les normes, etc. Une analyse comparative est menée avec un accent principal sur le Sénégal. La recherche proposée tente de savoir si l'expérience des pays qui ont adopté des lois pour favoriser et encadrer la pratique de l'évaluation est extrapolable aux autres pays d'Afrique francophone qui souhaitent s'inscrire dans la même dynamique.

Instituée avec le début des années 2000, une Politique publique d'environnement (PPE) a émergé en Algérie. Évaluée au regard de ses processus, cette politique a à son actif deux originalités : un champ opérationnel multisectoriel et holistique (tourisme, transports, énergie, hydrocarbures, industrie, agriculture) ; une démarche renouvelée et modulable ayant pour finalité la modernisation écologique et un partenariat durable entre l'État et les entreprises. Exploratoire et qualitatif, mobilisant principalement la théorie des contrats, notre article se propose, à travers une analyse de contenu du CPE, d'évaluer l'incomplétude de ce contrat. L'évaluation de l'institutionnalisation de cet outil contractuel est susceptible de révéler des comportements opportunistes des entreprises et une asymétrie d'information, rendant difficile l'atteinte d'un optimum du bien-être social.

Véritable leitmotiv des stratégies de développement des institutions internationales (FMI, Banque Mondiale, etc.), la gouvernance locale est devenue progressivement un passage obligé pour les réformes publiques dans les pays du Sud. Comme d'autres pays africains, la République de Djibouti s'est engagée, depuis les années 2000, dans un processus de réformes et de réorganisation de l'administration territoriale. Une telle décentralisation a été impulsée de l'intérieur, répondant à une volonté des parties prenantes nationales. Conséquence notable, cette politique a façonné un territoire macrocéphale centré sur une capitale, véritable micro-Etat, regroupant 80% de la population et des richesses nationales. La recherche proposée apporte des éléments de réponses aux questions suivantes : i) quel a été l'impact de la décentralisation dans la vie politique, économique et sociale du pays ? ii) comment cette décentralisation compose-t-elle avec l'État central ? iii) comment a-t-on évalué cette politique par les différents acteurs ?) iv) l'arsenal juridique est-il suffisamment étoffé pour permettre une gouvernance locale effective ? Cinq ans après sa mise en place, l'heure est au bilan et à l'évaluation. Les résultats atteints semblent très mitigés. Il est alors urgent de réfléchir aux contraintes juridiques, institutionnelles, mais aussi sociales et politiques, qui limitent la pleine efficacité de la gouvernance locale.

La recherche proposée vise à donner une vue d'ensemble sur la pratique de l'évaluation des politiques publiques au Maghreb, en accordant une place particulière au contexte de la Tunisie des dernières années. Un intérêt particulier est accordé à l'institutionnalisation et aux défis d'opérationnalisation de l'évaluation en Tunisie, sans perdre de vue la réalité observée dans les autres pays du Maghreb. Notre investigation prend ancrage dans les documents gouvernementaux qui régissent la mesure de la performance des politiques publiques. Elle est aussi complétée par une revue de littérature de la pratique de l'évaluation dans le contexte de l'émergence de nouvelles stratégies de gouvernance imposant une gestion axée sur les résultats : emploi, infrastructure, santé, démocratie, etc. L'évolution socio-institutionnelle entourant les appréciations de la performance de l'action collective est aussi marquée par de nouveaux repères et partenariats favorisant le financement et la pertinence des interventions selon les préceptes islamiques et les idéologies d'obédience religieuse qui s'affirment de jour en jour dans les différentes sphères de gouvernance des interventions publiques. Dans ce cadre, nous examinerons de manière plus particulière les dimensions évaluatives liées à l'appréciation de la pertinence, de l'implantation et de l'efficience des interventions.

L'harmonisation des mécanismes d'évaluation des politiques publiques, notamment à travers les évaluations conjointes, constitue l'un des cinq instruments stratégiques de réformes préconisés par la Déclaration de Paris. Cependant, une telle harmonisation peine à voir le jour, et cela au grand regret des parties prenantes concernées. La présente explore cette réalité et passe en revue la diversité conceptuelle régissant la pratique évaluative et identifie les incohérences épistémologiques rencontrées par l'évaluation dans l'aide au développement. La recherche répond à trois questions spécifiques à savoir : i) Quelles sont les définitions de l'évaluation utilisées par les organismes d'aide au développement? ii) Quels sont les critères d'évaluation utilisés? iii) Quelles sont les divergences et convergences qui s'érigent aujourd'hui dans les processus évaluatifs en œuvre dans les organisations internationales responsables de l'aide au développement?

Les enjeux définitionnels et stratégiques entourant le concept d'évaluation s'articulent autour des aspects suivants : finalité, unité d'observation, niveau d'analyse, indicateurs de mesure, synchronisation avec la prise de décision, questionnement évaluatif et méthodologie de mesure des effets nets des interventions. La recherche contribue à mieux situer les obstacles et les dissonances qui s'érigent contre l'évaluation de l'aide au développement dans le contexte francophone.

La recherche proposée examine la pratique de l'évaluation dans un ensemble de pays africains. On s'appuie sur des données issues du Centre pour l'Apprentissage sur l'Évaluation
et les Résultats (Université Witwatersrand d'Afrique du Sud) pour apporter un regard croisé et comparatif. On rapporte que seul le Bénin pour l'Afrique francophone, ainsi que l'Afrique du Sud et l'Ouganda, pour l'Afrique anglophone, ont institutionnalisé et formalisé des pratiques évaluatives dignes de ce nom. La recherche démontre que d'autres pays manifestent un intérêt grandissant pour le renforcement de l'évaluation, dont notamment le Ghana, le Kenya et le Sénégal. Évidemment, ces données ne signifient aucunement que l'évaluation dans les autres pays n'est pas en développement. En revanche, des efforts sont à faire pour mieux arrimer la fonction d'évaluation avec les processus de prise de décision à l'intérieur des administrations gouvernementales et du secteur des organisations communautaires. Par exemple au Sénégal, les incitations à produire les rapports d'évaluation proviennent
davantage de processus bureaucratiques internes de vérification et d'audit budgétaires, et moins dans le cadre de processus de gestion axée sur les résultats.

La recherche proposée explore la question de l'organisation territoriale et évalue les problèmes que cette dernière soulève – ou résout -, dans une perspective de recherche d'un quasi-mythique « optimum territorial ». Elle rapporte que les règles régissant la hiérarchie, la coopération/partenariat ainsi que la distribution spatiale des sous espaces concernés impactent fortement sur l'organisation territoriale et ultimement sur la performance de l'action gouvernementale pour le développement régional. La recherche traite ce sujet dans le contexte de l'Algérie, un pays dont la superficie correspond à 1,4 fois celle du Québec et qui recèle, en plusieurs de ses immenses ressources naturelles, plusieurs verrous institutionnels qui enchaînent les initiatives et institutions territoriales (Wilayas, Daïras, etc.), faisant d'elles des « entités artificielles » qui peuvent être si étroitement liées au point d'avorter toute pertinence et impacts économiques et stratégiques.

La création à Djibouti du médiateur s'inscrit dans la mouvance de la reforme de l'administration publique initiée par le gouvernement en 1997, notamment dans le cadre d'une
politique destinée à améliorer les rapports entre l'administration et les administrés. Le médiateur de la république a été décrété par une loi ambitieuse et innovante. Autorité indépendante, il reçoit, dans les conditions fixées par la loi précitée, les réclamations concernant, dans leurs relations avec les administrés, le fonctionnement des administrations de l'État, des institutions décentralisées, des établissements publics et de tout autre organisme investi d'une mission de service public. La recherche apporte des éléments de réponse à
trois questions : i) quelle est la place de cette institution dans le paysage administratif de Djibouti ? ii) Comment peut-on l'évaluer et iii) Que peut-on retenir de cette institution après treize ans d'existence ?

Cette présentation propose d'expliquer les éléments méthodologiques de base servant à développer une analyse coût-avantage dans le cadre d'une évaluation. Le but de l'exercice est d'offrir aux auditeurs un regard critique et des balises lorsqu'ils doivent commenter sur une analyse coût-avantage ayant été conduite et rédigée par un consultant, un expert ou une autre personne. Des exemples en contexte international seront présentés.

Avec la globalisation, les retombées économiques des guerres et conflits armés dépassent les limites géographiques et s'étalent de manière diffuse dans le temps. J. E. Stiglitz[1], prix Nobel d'économie, estime le coût économique de la guerre en Irak à plus de 3000 milliards de dollars, et explique pourquoi ce conflit a joué un déclencheur de la crise financière qui a fortement ébranlé le modèle de croissance américain, avec des effets planétaires qu'on connait depuis 2008. La présente recherche constitue une méta-évaluation et elle s'appuie sur une revue des principales études empiriques ayant évalué les coûts des guerres ou conflits sociaux. On se propose d'explorer les coûts évités, les coûts implicites et les coûts indirects subits par les pays concernés dont la mortalité indirecte (malnutrition, maladie, épidémies, etc.), la destruction des infrastructures (écoles, hôpitaux, routes…), la dégradation de l'environnement. Ces coûts dépassent fortement les coûts résultant directement des combats et armements. Ayant un faible effet sur la stimulation économique (que les dépenses en infrastructure), les dépenses militaires génèrent aussi des coûts d'opportunité et des bénéfices indirects. Ce papier se propose de cerner les éléments de coûts de la présence canadienne en Afghanistan et dans d'autres conflits. Il portera sur l'évaluation des retombées économiques, sociales des dépenses consacrées à l'industrie de la défense.

Les développements récents de la recherche en évaluation se concentrent sur la pratique de l'évaluation et son praticien, l'évaluateur. Dans cette perspective, on tend à considérer que l'amélioration de l'évaluation passe par l'amélioration des connaissances et aptitudes des évaluateurs et on en vient à assimiler la qualité des évaluations à la qualité du travail de ceux-ci. Cette présentation suggère que l'évaluateur n'est qu'un facteur de production parmi d'autres et propose que le développement de la fonction évaluation dans nos sociétés passe également par la critique et le développement des institutions encadrant l'évaluation.

Le chercheur apporte un regard croisé sur les dimensions théoriques et pratiques de l'évaluation des interventions publiques en contexte de développement. L'objectif est d'explorer les variables pertinentes d'analyse pour décrypter les méandres de l'institutionnalisation et les malaises méthodologiques. Sur quels repères et comment se construisent ces méandres et malaises? L'environnement contextuel est pris en compte pour identifier les caractéristiques et les indicateurs qui émergent comme incontournables pour apprécier la mise en œuvre des politiques (gestion, stratégies opératoires), l'efficacité (atteinte des objectifs) et l'effet découlant du bilan. La présentation valorise une sélection de projets urbains de la Banque Mondiale au Sénégal entre 1972 et 2006. Elle dégage les stratégies clés et les dimensions collectives sur lesquelles s'appuient ces stratégies (dimensions cognitives construites par un réseau mixte des savoirs). Un sondage auprès de 50 acteurs du développement, dans 13 pays francophones, est utilisé. La grille évaluative proposée permet d'interroger l'histoire, évoquer la mondialisation et cadrer le processus d'apprentissage opérationnel. L'institutionnalisation est examinée dans un cadre local de gouvernance favorisée par les dimensions culturelles et cognitives qui assurent les fondements de l'action de la Banque Mondiale.

Au Québec, dix ans après l'adoption d'une loi dédiée à la modernisation de l'administration publique et à l'optimisation de l'action gouvernementale, plusieurs initiatives et procédures ont été mises en place pour systématiser et encadrer les activités d'évaluation des programmes et politiques publics. Cette systématisation s'est inscrite dans la foulée de mesures complémentaires visant aussi la gestion de la performance des interventions gouvernementales : vérification, mesure de la satisfaction, tableau de bord, planification stratégique, etc. Si le déploiement de ces différentes mesures a été progressif et diffus, les administrations publiques ont été exposées à des impératifs méthodologiques et des paradigmes de management public qui ne sont pas nécessairement compatibles et faciles à gérer avec les moyens disponibles et les procédures en vigueur.

La recherche proposée traite de l'évaluation de la performance de l'action gouvernementale dans le contexte du Québec. Elle apporte une lecture évolutive du processus d'institutionnalisation des mécanismes d'évaluation et des défis opérationnels à relever pour faire de l'évaluation un levier capable d'optimiser les retombées bénéfiques susceptibles d'améliorer le bien-être des contribuables. Elle met en perspective quelques nouvelles implications relativement aux hiatus mettant en jeu l'institutionnalisation de l'évaluation des politiques publiques ainsi que les défis opérationnels et méthodologiques associés.