Citée, la recherche?

En 1990, un journaliste de la prestigieuse revue Science y publiait un article avec un titre dévastateur : « De nouvelles preuves soulèvent la possibilité que la majorité des articles scientifique apporte une contribution minimale à l’avancement des connaissances. »  Basé sur les données du Science Citation Index et du Social Science Citation Index, l’article rapportait qu’une majorité (55 %) d’articles publiés entre 1981 et 1985 ne recevaient aucune citation dans les 5 années suivant leur publication. L’auteur extrapolait ensuite, compte tenu du fait que ces deux bases de données indexent les revues les plus importantes à l’échelle mondiale, que l’ensemble de la connaissance publiée était sans doute encore moins citée, et qu’en conséquence près des trois quarts de la littérature étaient sans valeur. Pour bon nombre de chercheurs interviewés dans l’article, ces données étaient très surprenantes. Robert Park, alors directeur de l’American Physical Society à Washington, s’exclamait alors: « Mon Dieu! C’est fascinant… c’est un chiffre extraordinairement grand. Cela soulève de sérieuses questions sur ce que nous faisons. »  

Depuis la publication de cet article plutôt controversé, la question des citations – ou plutôt de leur absence – revient périodiquement dans la littérature savante  et, bien souvent, ce sont les discours alarmistes sur « l’inutilité » de la recherche qui l’emportent. Cette chronique vise donc à fournir un portrait de la recherche non citée, des facteurs pouvant l’expliquer, et des différences entre les disciplines et dans le temps.

Afin de mieux comprendre le phénomène, nous avons compilé, à partir du Web of Science de Clarivate Analytics publié au cours de la période 1980-2015 (˜31 millions d’articles), la proportion d’articles ayant reçu au moins une citation, selon l’année de publication et l’année de citation. Ces résultats sont présentés en incluant et excluant les autocitations, qui sont définies comme toute superposition entre la liste des auteurs citants et la liste des auteurs cités. Dans cette définition large de l’autocitation, un article écrit par Julie, Mélanie et Jean-François, cité dans un article subséquent coécrit par Jean-François et Véronique, sera considéré comme autocité.

Comme le montre la Figure 1, la proportion d’articles non citée est essentiellement fonction du nombre d’années suivant la publication. En effet, la quasi-totalité des articles n’a évidemment aucune citation au moment de leur publication  ; il faut laisser le temps s’écouler afin que d’autres articles utilisant leurs résultats, théories, ou méthodes soient soumis, révisés, puis acceptés et publiés, et qu’ainsi une citation leur soit accordée. En d’autres termes, le processus de recherche prend un certain temps, et cela s’illustre par le fait qu’une fenêtre de citation d’une certaine longueur doit être utilisée afin d’observer un signal. Dans la plupart des disciplines des sciences médicales, naturelles, et sociales, la proportion d’articles non cités décline très rapidement dans les années suivant la publication, puis décroit plus lentement après environ 10 ans.

On observe toutefois d’importantes différences entre les disciplines. En recherche biomédicale, par exemple, la recherche est très rapidement utilisée pour bâtir d’autres travaux et, en conséquence, seulement 39 % des articles demeurent non-cités dès l’année suivant la publication. Et même lors que les autocitations sont exclues, un peu moins d’un article sur deux en recherche biomédicale est cité au cours de la même courte période. Cette tendance est similaire dans la plupart des disciplines des sciences naturelles et médicales, sauf dans le génie et technologie, et les mathématiques, où la proportion d’articles non cités demeure beaucoup plus élevée et similaire à celle observée dans les sciences sociales. Dans l’ensemble, dès les 5 années suivant leur publication (9 années si les autocitations sont exclues), la majorité des articles reçoivent au moins une citation – sauf dans les domaines des arts et des humanités. En fait, dans les deux domaines, même après 25 ans, seuls 35 % (humanités) et 16 % (arts) des articles ont reçu au moins une citation. Ainsi, le constat alarmiste de l’article de Science était en grande partie causé par l’usage d’une fenêtre de citation trop courte.

Les données montrent également que la proportion d’articles non cités est en déclin depuis 1980. En effet, comme le montre la Figure 2, dans tous les domaines, on observe une baisse de la proportion de la littérature non citée après 10 ans. Cette baisse est remarquable en génie et technologie, sciences sociales et champs professionnels; alors qu’environ un article sur deux publié en 1980 n’avait pas été cité à la fin de 1990, cette proportion était d’environ un sur quatre en 2005. Ainsi, la très large majorité des articles publiés en 2005 ont reçu au moins une citation dans les 10 années suivant leur publication, sauf dans les arts et les humanités. La tendance est la même lorsque les autocitations sont exclues, bien que la proportion d’articles non cités demeure légèrement plus élevée.

Ces résultats montrent donc que, non seulement la très grande majorité de la littérature savante est utile à la production de nouvelles connaissances, mais également que cette proportion est en croissance au cours de la période étudiée. On observe toutefois d’importantes différences entre les disciplines, qui peuvent être expliquées par plusieurs facteurs. Un premier est la couverture : le WOS a une moins bonne couverture de la littérature en arts et humanités – et des livres en particulier – et en conséquence ne recense pas les références aux articles qu’ils peuvent inclure. Un second est liée aux dynamiques de recherche et à leur rapport à la littérature antérieure : alors que les travaux des disciplines scientifiques fonctionnant de manière cumulative s’appuient généralement sur les travaux précédents, la recherche en arts et humanités est souvent non cumulative, et s’appuie souvent sur des travaux ou cadres théoriques beaucoup plus anciens .

L’usage croissant, observé dans le temps peut, quant à lui, être expliqué par la création de bases de données bibliographiques à grande échelle, plus complètes et disponibles en ligne, qui permettent aux chercheurs de trouver, lire, et donc de citer un nombre plus important d’articles savants. Un autre facteur est sans doute la pression croissante exercée sur les chercheurs par les éditeurs et évaluateurs à documenter leurs articles, ce qui s’illustre par la croissance du nombre de références par articles, passé de 20-25 à 40-50 au cours des 35 dernières années.

Ainsi, contrairement à ce qui était avancé par le journaliste de Science, la recherche scientifique est bien loin d’être inutile, même lorsque que celle-ci est mesurée – aussi étroitement – qu’avec les citations. Seulement, la valeur d’un travail de recherche peut parfois prendre quelques années avant d’être observée, et l’évaluation de l’impact de la recherche à court terme ne peut qu’être à courte vue…