Utilisation des études scientifiques par les ministères : bénéfique, mais non sans risque

Si l’apologie d’un accroissement quantitatif de l’utilisation de ces résultats au sein des ministères est chose courante dans les écrits sur le transfert de connaissances, la réflexion sur les effets indésirables ou les risques associés à cette pratique est plutôt rare. Pourtant, une enquête récente suggère que les lecteurs d’études scientifiques peuvent se faire influencer par la façon dont les recherches sont présentées dans les publications.

[Sommaire du dossier Transfert]

Les résultats d’études scientifiques publiés dans les périodiques spécialisés, combinés à d’autres sources d’information, s’avèrent utiles dans les cercles d’élaboration des politiques publiques. Ils sont, en effet, bien adaptés pour répondre à certaines questions telles que « La campagne publicitaire de prévention de la vitesse au volant a-t-elle contribué à réduire l’incidence des accidents causés par la vitesse sur les routes? », ou encore, « Quels sont les principaux déterminants de l’embonpoint dans la population? ».

Si l’apologie d’un accroissement quantitatif de l’utilisation de ces résultats au sein des ministères est chose courante dans les écrits sur le transfert de connaissances, la réflexion sur les effets indésirables ou les risques associés à cette pratique est plutôt rare. Pourtant, une enquête récente suggère que les lecteurs d’études scientifiques peuvent se faire influencer par la façon dont les recherches sont présentées dans les publications.

Les études scientifiques et leurs écueils

Un défi majeur pour les analystes et les conseillers des ministères est de déterminer le degré de rigueur des études dont les résultats leur paraissent a priori utiles pour remplir leur mission d’information. Là où cela se complique, c’est lorsque l’on apprend, grâce à des données récentes, que le marché de la publication scientifique s’apparente parfois à un « marché de citrons¹ », c’est-à-dire un marché caractérisé par une importante asymétrie de l’information entre les offreurs (les scientifiques) et les demandeurs (leurs lecteurs). Par exemple, plusieurs scientifiques auraient la fâcheuse habitude de mettre un peu trop l’accent sur les résultats qui confirment leurs hypothèses de départ plutôt que sur ceux qui appelleraient à les relativiser, voire à les infirmer.

Un défi majeur pour les analystes et les conseillers des ministères est de déterminer le degré de rigueur des études.

L’embellissement des données, pratiqué dans les publications en sciences naturelles, est un phénomène connu. Ce problème prévaudrait aussi dans plusieurs domaines scientifiques – dont les sciences sociales, importante source de résultats de recherche pour les organisations publiques et parapubliques². De plus, il n’existe pas d’obligation pour les auteurs de rapporter dans leurs publications les limites méthodologiques de leur recherche. Ainsi, il n’est pas surprenant de découvrir que ces limites sont souvent sous-rapportées dans les articles scientifiques³, compliquant ainsi la tâche des lecteurs qui n’ont pas toujours la formation ni le temps nécessaires pour détecter de possibles risques de biais.

Deux biais cognitifs mis à l’étude

L’embellissement des données et l’absence de mention des limites méthodologiques, deux caractéristiques  du marché de la publication scientifique, ne sont pas sans conséquence pour le transfert et l’utilisation des connaissances. De fait, ils nuiraient à la capacité des agents de recherche des ministères à reconnaître la nature provisoire des résultats de recherche.

Une étude récente⁴ a manipulé de façon expérimentale l’amplitude du caractère positif des résultats d’une étude sur l’efficacité d’une technologie de la santé, de même que l’information sur les limites méthodologiques de la même étude. On a demandé à des étudiants  de lire un article de quotidien dans lequel étaient résumés les résultats de cette étude.

Chaque groupe était exposé à une version différente :

• l’une mettant plus ou moins l’accent sur le caractère positif des résultats;
• l’autre mettant plus ou moins l’accent sur l’ampleur des limites méthodologiques de l’étude.

Avant de leur faire lire l’article, les chercheurs ont mesuré le niveau de sophistication épistémologique des étudiants à l’aide d’un instrument validé. Cette mesure détermine la nature de l’image que se font les individus de la science – une image dite moins sophistiquée est attribuée aux répondants concevant l’activité scientifique comme étant en mesure de produire des résultats certains et absolus. Après la lecture, les étudiants répondaient à une question fermée visant à mesurer leur perception du caractère provisoire des résultats résumés dans l’article.

Les résultats de l’étude

Les résultats de cette étude sont des plus intéressants. Premièrement, les participants exposés à la première version, celle mettant en évidence les résultats suggérant que la technologie est efficace (résultats dits « positifs »), étaient moins portés à percevoir le caractère provisoire des résultats que ceux qui avaient été exposés à l’article dans lequel on avait moins insisté sur les résultats positifs. 

Deuxièmement, les étudiants exposés à l’article mettant davantage l’accent sur les limites méthodologiques de l’étude scientifique étaient plus portés à percevoir le caractère provisoire des résultats de la recherche que ceux qui avaient été exposés à l’article dans lequel on avait été moins explicite au sujet de ces limites.

Finalement, les chercheurs ont également découvert qu’en moyenne, les participants qui étaient davantage portés à croire sur parole les résultats des scientifiques étaient moins portés à reconnaître la nature provisoire des résultats de recherche présentés dans l’article de presse que ceux dotés d’un niveau plus élevé de sophistication épistémologique.

Suites

Des efforts seront bientôt déployés afin d’examiner si les résultats de cette étude de laboratoire peuvent être reproduits sur la population des analystes des ministères. Advenant que le cadrage de l’information dans les publications scientifiques influence leur perception du caractère provisoire des résultats d’études scientifiques, nous serions alors amenés à réfléchir aux moyens de prévenir ce type de biais cognitifs.

La promotion de l’utilisation de grilles d’analyse critique  pour l’évaluation de la qualité méthodologique de différents types d’études scientifiques pourrait faire partie des pistes de solutions.

La promotion de l’utilisation de grilles d’analyse critique  pour l’évaluation de la qualité méthodologique de différents types d’études scientifiques pourrait faire partie des pistes de solutions. L’Institut d’excellence en santé et en services sociaux (INESSS) diffuse certaines de ces grilles sur son site Internet. Un autre moyen pourrait viser la promotion de l’utilisation d’examens systématiques d’études scientifiques déjà publiées en tirant profit des nombreux registres existants⁵. Enfin, les ministères pourraient envisager de systématiser leurs propres pratiques de production de revues de littérature. Les voies les plus efficientes pour mettre en place de tels changements « de routine » au sein de l’administration publique restent à déterminer.

Références :

• 1. Expression empruntée au récipiendaire du prix Nobel d’économie, George Akerlof.
• 2. FRANCO, A., N. MALHOTRA, et G. SIMONOVITS (2014). « Publication bias in the social sciences: Unlocking the file drawer », Science 345 (6203):1502-5.
• 3. IOANNIDIS, John P.A.
 (2007). « Limitations are not properly acknowledged in the scientific literature », Journal of Clinical Epidemiology 60(4): 324-329.
• 4. KIMMERLE, J., FLEMMING, D., FEINKOHL, I., et CRESS, U. (2015). « How lay people understand the tentativeness of medical research news in the media: an experimental study on the perception of information about deep brain stimulation », Science Communication 37(2): 173-189.
• 5. Dans les domaines de la criminologie, de l’éducation, du développement international et des politiques sociales : Campbell Collaboration (www.campbellcollaboration.org), Education Endowment Foundation (educationendowmentfoundation.org.uk/toolkit/), EPPI Centre (IoE) (eppi.ioe.ac.uk/cms/). Dans le domaine de la santé : Health Evidence (www.healthevidence.org), Health Systems Evidence (www.healthsystemsevidence.org), NICE guidance (www.nice.org.uk/guidance), Cochrane Library (http://www.cochranelibrary.com).