Science et médias sociaux : décoder le vrai du buzz

La systématisation de l’utilisation de mesures issues des médias sociaux a mené à la création d’une nouvelle branche de l’infométrie nommée par certains "altmetrics", puisqu’elle fournirait une alternative aux mesures traditionnelles basées sur les citations.

Les médias sociaux et la mesure des tendances

Depuis quelques années, les médias numériques dits « sociaux » ont pris une importance croissante dans la mesure des tendances et opinions, tant sociales que politiques. En effet, les sondages traditionnels sont maintenant réalisés, voire remplacés, par des estimations de tendances sur Twitter ou Facebook révélant, par exemple, la visibilité en ligne d’un politicien (il est suivi par 10 000 abonnés!), ou encore, l’opinion de la « société » par rapport à une thématique ou une personnalité donnée (80 % des tweets concernant Denis Coderre sont…). Et bien que seulement 12,1 % des internautes québécois soient actifs sur Twitter (Cefrio, 2013), de telles analyses gagnent en popularité et en crédibilité.

Altmetrics, les mesures alternatives

L’impact des publications scientifiques est maintenant, lui aussi, mesuré via bon nombre de ces plateformes. Ainsi, pour chaque article scientifique publié par un grand éditeur (Elsevier, Springer, etc.) dans une revue utilisant le DOI (Digital Object Identifier) ou indexée dans PubMed, il est possible d’obtenir un décompte des tweets et des publications Facebook associées, de même que le dénombrement des utilisateurs sur Mendeley, un outil de gestion et de partage des bibliographies scientifiques utilisé par des étudiants et chercheurs universitaires. Certaines revues scientifiques, telle PLOS One, font d’ailleurs une vigoureuse promotion de ces mesures et les fournissent même sur la version HTML de chacun de leurs articles.

Pour chaque article scientifique publié par un grand éditeur, il est possible d’obtenir un décompte des tweets, des publications Facebook et des utilisateurs sur Mendeley.

La systématisation de l’utilisation de ces mesures a mené à la création d’une nouvelle branche de l’infométrie nommée par certains altmetrics, puisqu’elle fournirait une alternative aux mesures traditionnelles basées sur les citations. L’engouement actuel pour les médias sociaux aidant, ces nouvelles mesures sont de plus en plus considérées par certains acteurs de la communauté scientifique comme des indicateurs de l’impact social de la recherche. Mais de quel impact « social » parle-t-on au juste et quel rapport ces indicateurs entretiennent-ils avec l’impact « scientifique » des publications, mesuré depuis déjà de nombreuses années par le décompte des citations?

Fondés sur un échantillon de 1,4 million d’articles du domaine médical parus entre 2010 et 2012, les résultats de deux récentes études (Haustein et autres, 2013a, b) offrent un éclairage révélateur sur les articles scientifiques visibles sur Twitter et sur Mendeley.

Une bien faible relation…

Une première donnée fort éloquente concerne la couverture des articles dans chacune des plateformes. Alors que les deux tiers des 1,4 million d’articles étudiés ont au moins un lecteur sur Mendeley, moins de 10 % d’entre eux ont reçu une mention sur Twitter. C’est donc dire que la très vaste majorité des travaux du domaine médical sont complètement absents de la plateforme de microblogage. Toutefois, cette couverture augmente au cours de la période étudiée et atteint plus de 20 % pour les articles publiés en 2013.

Au-delà de la couverture des articles, la corrélation de Spearman – donc basée sur les rangs –  entre, d’une part, les citations reçues par les articles et, d’autre part, le nombre de lecteurs sur Mendeley et de mentions sur Twitter permet de constater que, dans l’ensemble, les médias sociaux numériques et les citations mesurent deux types d’impact bien distincts. Pour les articles publiés en 2011, la corrélation de Spearman entre le nombre de tweets (pour les articles ayant au moins reçu un tweet) et le nombre de citations demeure très faible (?= 0.157). Elle est revanche plus élevée (bien que relativement modérée à ?=0.456) entre le nombre de lecteurs Mendeley et de citations. Il existe donc une différence fondamentale entre l’acte de citer et l’acte de tweeter, mais une certaine similitude entre l’acte de citer et celui d’ajouter un article à sa bibliographie virtuelle.

Le tableau 1 présente les 10 articles de 2011 ayant obtenu le plus grand nombre de tweets, ainsi que leurs citations. Bien que certains de ces articles aient obtenu un nombre de citations relativement élevé (articles 2, 5 et 9), la plupart d’entre eux en ont bien peu reçu jusqu’à présent, ce qui dénote un faible impact scientifique.

Tentons maintenant de mieux comprendre les raisons derrière le nombre important de tweets reçus par certains de ces articles. Les deux articles les plus twittés sont liés à la catastrophe de Fukushima et l’ont principalement été par des utilisateurs japonais. Dans le cas des articles 3, 4 et 6, il s’agit plutôt de curiosités relativement humoristiques : l’article 3 discute des effets délétères de Google sur la mémoire; l’article 4 rapporte les résultats d’une réaction chimique qualifiée de « zombie » par les médias, puisqu’elle « ressuscite »  après avoir été à l’arrêt pendant des heures; et l’article 6 discute des effets du stress sur les fractures du pénis. Alors que l’article 5 présente les résultats d’une étude épidémiologique sur l’exercice et l’espérance de vie – et constitue effectivement un bon exemple d’article combinant à la fois des résultats scientifiques importants et un impact social certain –, les articles 7 et 10 portent sur des sujets d’intérêt pour l’ensemble de la communauté scientifique, mais ne sauraient être considérés comme des avancées scientifiques majeures.

Twitterez-vous cet article?

En somme, ces résultats montrent qu’il existe une faible relation entre les mentions sur Twitter et les citations, mais qu’une relation plus importante existe entre le nombre de lecteurs sur Mendeley et les citations. Cela n’est pas surprenant : alors que Twitter est utilisé par « tout le monde », Mendeley demeure un outil de gestion et de partage des bibliographies utilisé par des universitaires, principalement étudiants au doctorat et au postdoctorat. Aussi, la liste des articles les plus twittés témoigne d’une très grande hétérogénéité des raisons expliquant ce nombre de tweets élevé. Alors que certains sont effectivement twittés pour des raisons s’apparentant à un certain impact social, d’autres le sont davantage pour des raisons humoristiques.

Ainsi, avant d’appliquer de telles mesures à l’évaluation de l’impact social de la recherche, il est nécessaire de mieux comprendre la signification de l’acte de twitter, ses biais disciplinaires, les différentes audiences qu’il atteint et le niveau d’engagement des utilisateurs. Le simple fait de pouvoir maintenant produire une telle mesure ne la rend pas légitime pour autant…

Références :

• Cefrio (2013). Les adultes québécois toujours très actifs sur les médias sociaux.
• Haustein, S., Peters, I., Thelwall, M., Sugimoto, C.R., Larivière, V. (2014a). « Tweeting biomedicine: an analysis of tweets and citations in the biomedical literature », à paraître dans le Journal of the American Society for Information Science and Technology.
• Haustein, S., Larivière, V., Thelwall, M., Amyot, D, Peters, I. (2014b). « Tweets vs. Mendeley readers: How do these two social media metrics differ? », à paraître dans IT – Information Technology.