Remettre le facteur d’impact à sa place

Malgré sa visibilité enviable dans la littérature scientifique, le facteur d’impact demeure mal connu par les chercheurs; et bien peu d’entre eux peuvent se vanter d’être au fait de sa formule exacte ou de ses limites.

Aussi visible qu'Ebola!

Dans quelques semaines, la firme Thomson Reuters publiera pour la  41^e année consécutive ses fameux facteurs d’impact, cette fois-ci pour l’année 2015. Compilé annuellement depuis 1975 dans le Journal Citation Report, cet indicateur de l’impact scientifique des revues est passé d’un outil essentiel au développement des collections de périodiques des bibliothèques universitaires (Archambault et Larivière, 2009) à l’un des marqueurs les plus importants de la « qualité » des travaux de recherche que ces revues publient et, par extension, des chercheurs eux-mêmes.

En outre, les facteurs d’impact orientent de façon importante les stratégies de publication des chercheurs (Rushforth et de Rijcke, 2015). Les revues et leurs éditeurs attendent donc ce moment avec impatience et, alors qu’il marquera pour certains la « consécration », il sera, pour certains autres, signe annonciateur d’un déclin de l’intérêt qu’on leur portera.

À ce changement des usages peut être associé une croissance de l’intérêt envers l’indicateur, comme en témoigne les 7 000 articles écrits à son sujet depuis 1990. Et cet intérêt ne semble pas s’essouffler : en 2014 seulement, il a été l’objet de plus de 700 articles, le rendant aussi visible dans la littérature scientifique que le virus d’Ebola! Ces travaux relatifs au facteur d’impact sont principalement publiés dans des revues scientifiques et médicales et non dans les revues de sciences de l’information ou de sociologie des sciences, ce qui illustre l’importance accordée à cet indicateur par la communauté scientifique.

Malgré sa visibilité enviable dans la littérature scientifique, le facteur d’impact demeure mal connu par les chercheurs; et bien peu d’entre eux peuvent se vanter d’être au fait de sa formule exacte ou de ses limites. Cette chronique vise donc à fournir un petit rappel des principales limites de l’indicateur.

La nature du facteur

Compilé seulement pour les revues des sciences naturelles, sociales et médicales — et donc excluant les arts et humanités compte tenu de leur trop longue fenêtre de citation — le facteur d’impact de l’année 2015 est calculé de la façon suivante : il s’agit du nombre de citations reçues en 2015 par les articles publiés par une revue au cours des deux années précédentes (2013-2014), divisé par le nombre d’articles publiés par cette revue au cours de ces deux années précédentes. Il s’agit donc ici de l’impact moyen à court terme des articles publiés dans une revue donnée.

Or — et il s’agit ici d’une première limite de l’indicateur — les citations reçues par les articles sur une si courte période ne sont pas nécessairement représentatives des citations qui seront reçues par les articles au cours de leur « vie », principalement dans les domaines des sciences sociales où la diffusion et l’intégration des travaux de recherche sont généralement effectuées sur un horizon temporel plus long. Toutefois, même dans le domaine médical, où le rythme de diffusion des travaux de recherche est plus rapide, une analyse des articles publiés en 1990 a montré que les citations reçues au cours des deux années suivantes ne comptent que pour 16% des citations reçues au cours des 20 années suivant leur publication. Et bien que Thomson ait décidé, depuis 2007, d’inclure au Journal Citation Report un facteur d’impact calculé avec une fenêtre de 5 ans, le facteur d’impact classique compilé avec une fenêtre de 2 ans demeure le standard utilisé par les chercheurs, revues et éditeurs.

Le pouvoir prédictif du facteur d’impact de la revue sur les citations reçues par les articles est également plutôt faible. En effet, puisque les facteurs d’impact sont des moyennes basées, non pas sur des distributions normales, mais plutôt sur des distributions non paramétriques — au sein desquelles une minorité d’articles reçoit la majorité des citations et une majeure partie des articles sont peu cités (Seglen, 2002) — seule une faible proportion des articles recevra un nombre de citations égal ou supérieur à la valeur du facteur d’impact de sa revue. Autrement dit, la moyenne obtenue par le calcul du facteur d’impact n’est pas représentative de l’article scientifique typique de la revue, puisqu’il n’existe tout simplement pas d’article scientifique typique! Ajoutons également que ce pouvoir prédictif, déjà faible au départ, est de plus en plus faible depuis l’arrivée de l’ère numérique, qui a étendu le spectre de la littérature visible et a permis aux chercheurs de découvrir des articles hors des revues dans lesquelles ils avaient l’habitude de limiter leurs recherches documentaires (Lozano, Larivière et Gingras, 2012).

En outre, et aussi invraisemblable que cela puisse paraître, le calcul du facteur d’impact comporte une asymétrie entre les citations comptées au numérateur et les articles comptés au dénominateur (Moed et Van Leeuwen, 1995). En effet, alors que l’on compte les citations reçues par l’ensemble des types de documents publiés par la revue (articles, notes, mais aussi éditoriaux, lettres, nouvelles, etc.), on ne compte que les articles, notes et articles de synthèse (review articles) au dénominateur. Ainsi, une revue qui publie beaucoup d’éditoriaux et de lettres qui sont citées — ce qui est souvent le cas des revues à haut facteur d’impact — augmente son facteur d’impact par rapport à une revue qui ne publie que des articles. C’est notamment le cas des revues Nature et Science qui, lorsque l’on corrige cette asymétrie, voient respectivement leur facteur d’impact passer, pour 2009 par exemple, de 34,480 à 22,770 et de 29,747 à 20,902. Autrement dit, chaque citation reçue par un document que Thomson Reuters ne considère pas au dénominateur est un bonus pour la revue!

Enfin, toutes les disciplines ne sont pas égales quant au facteur d’impact, puisque la probabilité pour un article d’être cité n’est pas la même dans chaque discipline. En effet, cette probabilité varie en fonction du volume d’articles publiés, de leur nombre moyen de références par article, et de la vitesse à laquelle la nouvelle littérature est citée. En conséquence, la moyenne des facteurs d’impact des revues du domaine médical est beaucoup plus élevée que celle des revues de chimie ou des sciences sociales. On peut également observer une différence marquée au sein d’un domaine donné. Par exemple, les travaux de recherche sur le cancer reçoivent en moyenne davantage de citations que ceux sur les maladies tropicales. Ainsi, comparer des facteurs d’impact de revues sans prendre en compte leur discipline et leur spécialité en dira davantage sur les différentes pratiques de recherche de ces domaines que sur l’impact des travaux qu’elles publient.

De moins en moins légitime

Ainsi, malgré son imposante visibilité dans la communauté et ses nombreux usages à des fins d’évaluation de la recherche, le facteur d’impact comporte plusieurs limites. Bien que certaines d’entre elles puissent être corrigées — telle l’asymétrie entre le numérateur et le dénominateur ou la comparaison entre les disciplines — d’autres peuvent être considérés comme des défauts dans sa conception, voire dans son usage. Ainsi, dans un contexte où la relation entre l’impact de la revue et celui des articles s’affaiblit, il devient de moins en moins légitime de transférer le capital scientifique des revues, dont le facteur d’impact est un indicateur, aux articles qu’elles publient, voire aux chercheurs eux-mêmes.

Références :

• Archambault, É., & Larivière V. (2009) History of journal impact factor: Contingencies and consequences, Scientometrics, 79 (3): 639-653.
• Lozano, G.A., Larivière, V., Gingras, Y. (2012) The weakening relationship between the Impact Factor and papers’ citations in the digital age. Journal of the American Society for Information Science and Technology, 63 (11): 2140-2145.
• Moed, H.F., & Van Leeuwen, T.N. (1995). Improving the accuracy of Institute for Scienti?c Information’s journal impact factors. Journal of American Society of Information Science, 46: 461–467.
• Rushforth, A., de Rijcke, S. (2015). Accounting for impact? The journal impact factor and the making of biomedical research in the Netherlands. Minerva, 53: 117–139.
• Seglen, P.O. (1992). The skewness of science, Journal of the American Society for Information Science, 42: 628–629.