Des classements pour le bien commun

L’évaluation de la recherche a souvent mauvaise réputation. Les chercheurs déplorent depuis longtemps que les indicateurs bibliométriques ont non seulement cessé de fournir des informations utiles, mais ils faussent également les mécanismes mêmes qu’ils entendent mesurer¹. La croissance des bases de données sur les citations et l'apparition simultanée de nouveaux indicateurs ont créé un environnement dans lequel les scientifiques sont de plus en plus motivés par les scores de production et d'impact plutôt que par la curiosité ou le bien commun. Comme le montrent Osterloh et Frey, les chercheurs ont substitué un « goût pour la science » à un « goût pour les classements »².

Ainsi, la communauté scientifique n'est pas différente des autres champs du monde social. Un adage apparu dans le sillage du thatchérisme relevait que « lorsqu'un indicateur devient une cible, il cesse d'être un bon indicateur »³. Ce refrain a été adopté par les critiques de la montée en puissance de l'utilisation d'indicateurs dans l'évaluation de la recherche. Cependant, une nouvelle série d'indicateurs inverse cette tendance en construisant intentionnellement des cibles pouvant bénéficier à la fois de la science et de la société.

Des effets positifs des classements

Le classement des universités est un sous-produit de l’université néolibérale, grâce auquel certaines institutions capitalisent sur leurs réalisations passées afin d’obtenir des ressources supplémentaires. Dans un contexte mondial, les classements permettent aux universités des pays riches d’attirer des étudiants étrangers et de bénéficier des avantages financiers qu’ils génèrent. Ces classements servent à concentrer les ressources et à perpétuer l'effet St-Matthieu⁴.

Le classement de Leiden⁵ est un classement universitaire bien connu. Contrairement aux classements composites, tels ceux du Times Higher Education et du QS Ranking, le classement de Leiden fournit, de manière indépendante, des indicateurs relatifs à plusieurs dimensions de l’activité scientifique (production, collaboration, impact, etc.) de chacune des institutions. L'édition 2019 du classement de Leiden ajoute deux nouveaux indicateurs : la parité hommes-femmes et le libre accès. Ces deux indicateurs peuvent être considérés comme des indicateurs pour le bien commun. Ils ne visent pas à montrer comment les institutions se comportent du point de vue de la performance en recherche, mais plutôt à mesurer leur performance en prenant compte de deux composantes de la justice sociale, soit la parité hommes-femmes dans la production de connaissances et le libre accès aux résultats de la recherche.

Cette chronique présente une analyse empirique de la parité hommes-femmes présente dans le classement de Leiden, ainsi qu'une discussion sur l'incidence des choix méthodologiques et des hypothèses sur le classement des universités. Nous concluons par une discussion plus large sur la construction d’indicateurs relatifs au bien commun.

Cette chronique présente une analyse empirique de la parité hommes-femmes présente dans le classement de Leiden, ainsi qu'une discussion sur l'incidence des choix méthodologiques et des hypothèses sur le classement des universités. Nous concluons par une discussion plus large sur la construction d’indicateurs relatifs au bien commun.

Comment mesurer le fossé de genre?

Avant d’entrer dans le vif de notre analyse, quelques détails méthodologiques sont nécessaires. Comme c’est le cas dans la plupart des études bibliométriques sur le genre, le classement de Leiden déduit le genre des auteurs à partir de leurs prénoms. La précision et la couverture de l'algorithme d’attribution du genre utilisé varient considérablement d'un pays à l'autre. Plus de la moitié des auteurs en provenance d’institutions chinoises, taiwanaises et singapouriennes n’ont pu être associés à un genre. En revanche, un genre a été attribué à plus de 75% des auteurs d’institutions situées aux États-Unis, au Royaume-Uni, en Allemagne et au Japon.

Les résultats sont fournis en termes de pourcentage d'auteurs féminins pour le sous-ensemble d’articles pour lesquels le genre des auteurs a pu être attribué. Dans le cas de l'Université de Montréal, par exemple, 43 144 auteurs ont été analysés pour la période 2014-2017. Parmi ceux-ci, 6 110 n'ont pas été affectés à un genre, 24 095 ont été classés comme hommes et 12 939 comme des femmes. Par conséquent, la proportion de femmes chercheuses serait de 34,9% (sur 37 034). Tous les résultats présentés ci-dessous sont basés sur les données de 2014-2017.

Peu d’universités en zone de parité

Au niveau mondial, seules 15 universités sur les 963 classées ont une proportion de femmes supérieure à celle des hommes : six polonaises, trois brésiliennes, deux serbes, deux thaïlandaises, une argentine et une portugaise. 115 institutions sont dans la zone de parité, soit une proportion de femmes entre 40% et 60%. Toutes les universités du Portugal, de Thaïlande, d'Argentine, de Serbie, de Roumanie, de Croatie et d'Uruguay se situent dans cette zone, ainsi que plus de la moitié des universités du Brésil, de la Pologne, de la Finlande et de la Tunisie. Parmi les pays comptant un grand nombre d’institutions classées, les principaux acteurs de la parité se trouvent en Italie et en Espagne, avec respectivement 38% et 17% des universités de la zone de parité. Par contre, seulement 7% des établissements américains et 4% des établissements britanniques, français et canadiens peuvent se prévaloir de cette distinction. La Chine est le plus grand producteur d'articles scientifiques⁶, mais seulement 1% de ses institutions se situent dans cette zone. Aucune université allemande ou japonaise n’a atteint ce seuil. Dans l’ensemble, les institutions des pays d’Europe de l’Est et d’Amérique du Sud sont celles qui se rapprochent le plus de la parité, ce qui renforce les études antérieures sur le fossé de genre observé dans les différents pays⁷.

Les universités où la recherche biomédicale et les sciences sociales sont relativement plus présentes ont une parité hommes-femmes plus grande, tandis que les universités plus actives en ingénierie et sciences naturelles ont tendance à avoir une parité inférieure.

Il existe également de fortes composantes disciplinaires.Les universités où la recherche biomédicale et les sciences sociales sont relativement plus présentes ont une parité hommes-femmes plus grande, tandis que les universités plus actives en ingénierie et sciences naturelles ont tendance à avoir une parité inférieure. Par exemple, le California Institute of Technology, le Rensselaer Polytechnic Institute, l’Université de technologie de Delft et autres écoles polytechniques comptent parmi les institutions où la proportion d’auteures est la plus faible.

Quelle est la valeur attendue?

Dans un monde idéal, on mesurerait la représentativité des femmes dans chacune des institutions par rapport à la proportion de femmes dans la population, soit environ 50%. Cependant, il est bien documenté que les femmes sont sous-représentées dans la main-d'œuvre scientifique. À l'heure actuelle, les femmes représentent qu'environ 28,8% des chercheurs⁸. Cette proportion varie toutefois considérablement selon les disciplines : les femmes représentent environ 10 à 20% des auteurs en mathématiques, en physique et en génie; alors qu’elles sont surreprésentées dans les sciences infirmières et les sciences de l’éducation, comptant pour environ 80% des auteurs.

Le classement de Leiden ne tient pas compte des profils disciplinaires des institutions. En prenant cette décision et en fournissant un indicateur strictement proportionnel, le classement de Leiden suppose une base implicite, dans laquelle les institutions ont un rang plus élevé lorsqu'elles se rapprochent de la parité réelle (c'est-à-dire 50:50). Cela peut sembler judicieux sur le plan idéologique, mais peut donner lieu à des critiques, car l'indicateur avantage les universités actives dans certains domaines et en désavantage d’autres. Les sceptiques pourraient même prétendre que l'indicateur n’est que le reflet de la spécialisation disciplinaire des universités plutôt que des disparités de genre.

Pour tester l'effet de la composition disciplinaire sur le classement des institutions, nous avons examiné la proportion d'auteurs féminins dans les champs de classement de Leiden pour l'ensemble des 963 institutions couvertes (Tableau 1). Bien que les femmes représentent 30,5% des auteurs à l’échelle mondiale, ce pourcentage est beaucoup plus élevé en sciences sociales et humaines (42,3%) qu'en sciences physiques et génie (19,0%) et en mathématiques et informatique (14,6%). En conséquence, on s’attendra à une proportion plus faible d’auteures dans les institutions relativement plus actives en sciences physiques et génie et en mathématiques et en informatique.

Pour contrôler l’effet de la composition disciplinaire sur les classements institutionnels selon le genre, nous avons construit un indicateur de la proportion d’auteures normalisée selon la discipline. Celui-ci compare, pour chaque institution et discipline, la proportion d’auteurs féminins à celle attendue dans cette discipline. Ces cinq scores (un par discipline) sont ensuite agrégés au niveau de l’institution, pondérés par le nombre d’articles publiés par l’université dans chacune des disciplines. Lorsque l’indicateur est supérieur à 1, cela signifie que l’établissement a une proportion de femmes plus élevée qu’attendu compte tenu de sa composition disciplinaire; un score inférieur à un signifie l’inverse.

Reclasser les universités

Nous avons d’abord examiné la corrélation entre le pourcentage d’auteures normalisé par discipline (axe y) et le pourcentage d’auteures non normalisé, à la fois en valeur absolue (Figure 1a) et en matière de rang (Figure 1b). Sans surprises, les deux scores sont corrélés : la plupart des institutions qui affichent de bons résultats en termes absolus affichent également des performances bien au-dessus de la moyenne lorsque les scores sont normalisés.

Cependant, le rang de certaines institutions change d’une façon importante (Tableau 2) : par exemple, sept institutions chinoises et une taïwanaise très actives dans les sciences physiques et génie s'améliorent de plus de 500 rangs lorsque les scores sont normalisés. Après normalisation, l’Université Maria Curie-Sklodowska (Pologne) présente la proportion la plus élevée de femmes auteurs compte tenu de son profil disciplinaire, avec plus de deux fois la valeur attendue (2.11). C’est une récompense appropriée pour une université nommée en l'honneur de la première femme lauréate du prix Nobel.
D’autres institutions enregistrent une sous-performance spectaculaire : la London School of Economics and Political Science perd 327 points au classement. En effet, 34% des auteurs en provenance de l’institution sont des femmes et, bien que ce score soit au-dessus de la moyenne mondiale, il est bien en dessous de la valeur attendue dans les domaines des sciences sociales et humaines. Cela est vraisemblablement dû au fort accent mis par l'institution sur la discipline de l'économie, où le fossé de genre est beaucoup plus important que dans la plupart des sciences sociales⁹.

L'effet inégal de la normalisation

Certains pays ont une forte proportion de femmes dans leur communauté scientifique, et dans ces cas, la normalisation n’a à peu près pas d’effet. Par exemple, la majorité des universités en Pologne et au Brésil se situent dans la zone de parité, et 100% d'entre elles affichent des performances supérieures à celles attendues compte tenu de leur profil

disciplinaire. D'autres pays obtiennent des résultats beaucoup plus positifs lorsque les données sont normalisées selon la discipline. En effet, alors que seulement 4% des établissements français se situaient dans la zone de parité, 92% des établissements français obtiennent une proportion d'auteures normalisé supérieure à la moyenne. Ceci est principalement dû au fait que les universités françaises avaient presque toutes une proportion d’auteures supérieure à la moyenne, sans toutefois atteindre la zone de parité.

Dans plusieurs pays, toutefois, la normalisation n'améliore pas beaucoup la situation : seules 8% des universités allemandes et 3% de celles de Corée du Sud ont obtenu des scores au moins égaux aux valeurs attendues. Pour le Japon, les 42 institutions sont sous la moyenne attendue. Ces résultats suggèrent que les différences entre les genres observées en termes absolus ne sont pas simplement des artefacts de composition disciplinaire des institutions, mais bien des barrières systémiques à la participation des femmes.

Le paradoxe de la parité

Revenons maintenant sur les postulats derrière chacun des deux indicateurs (absolu et normalisé). En utilisant un indicateur absolu, le classement de Leiden postule que la représentation des femmes dans les universités devrait être cohérente avec leur importance dans la population globale. La normalisation se base sur un postulat différent : le point de référence doit être défini en fonction des performances attendues au sein de chacune des disciplines. Bien que la normalisation puisse fournir des informations contextuelles utiles, nous croyons qu'il est dangereux de l’utiliser comme cible, car elle justifie implicitement le statu quo.

Il existe malheureusement de nombreuses preuves de la dévalorisation subie par certaines professions lors de leur féminisation⁹. La même chose s’observe en science, où l’on observe une concentration des ressources financières et du capital symbolique dans les domaines et institutions où l’on observe une forte proportion d'hommes. Nous appelons cela le « paradoxe de la parité », où les mouvements vers la parité peuvent également servir à dévaluer le travail des populations auparavant marginalisées. Pour rééquilibrer, on doit donc associer une valeur intrinsèque à la parité. Prenons, par exemple, le programme Athena SWAN, visant à encourager et reconnaître les pratiques d’équité des genres dans les établissements d’enseignement supérieur au Royaume-Uni. Bien que créée en 2005, l’initiative a pris réellement son envol en 2011 lorsque la médecin en chef du Royaume-Uni a imposé aux départements sollicitant du financement l’obtention d’une récompense Athena SWAN de niveau argent. Cette obligation liait l’obtention d'investissements en termes de recherche à la réalisation d’objectifs d’équité, octroyant ainsi une importance symbolique et économique à ces derniers.

Un rôle symbolique des universités phares

Dans le classement de Leiden, plusieurs institutions prestigieuses figurent parmi les moins performantes en termes d’équité entre les genres. Ces institutions doivent prendre au sérieux leur rôle singulier dans cet écosystème. En tant qu’institutions ayant un fort capital symbolique, elles peuvent servir de modèles à d’autres institutions plus vulnérables. Par exemple, le College of Engineering de l’Université du Michigan a pris des mesures concrètes pour modifier son équipe de direction : la moitié des postes sont désormais occupés par des femmes, dans un contexte où moins de 20% des professeurs le sont¹⁰. Ces changements ne sont toutefois pas suffisants. Les institutions doivent également changer leur culture et leur climat afin de conserver et de continuer à développer une main-d'œuvre diversifiée.

Une plus grande diversité de la main-d'œuvre est associée à des travaux scientifiques de plus grande qualité, et à l'amélioration de la santé et du bien-être de la société¹¹. Les cas d'Athena SWAN et de l’Université du Michigan montrent que des changements sont possibles. Bien que les indicateurs normalisés, tels que ceux analysés dans cette chronique fournissent des données contextuelles utiles, nous croyons que le développement d’une communauté scientifique diversifiée nécessite des cibles en termes absolus et non pas relatifs. Dans un contexte où l'équité en science est bonne pour les institutions, pour la science et pour la société, nous espérons que le classement de Leiden motivera les dirigeants d’universités à adopter des stratégies visant à modifier à la fois la composition et la culture de leurs institutions, et non pas strictement à tenter d’améliorer leur « impact »...

• 1http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.170.6988&rep=rep1&type=pdf
• 2https://journals.sagepub.com/doi/abs/10.1177/0193841X14524957
• 3https://www.cambridge.org/core/journals/european-review/article/improving-ratings-audit-in-the-british-university-system/FC2EE640C0C44E3DB87C29FB666E9AAB
• 4https://science.sciencemag.org/content/159/3810/56
• 5https://www.leidenranking.com/
• 6https://www.nature.com/articles/d41586-018-00927-4
• 7https://www.nature.com/news/bibliometrics-global-gender-disparities-in-science-1.14321
• 8http://uis.unesco.org/sites/default/files/documents/fs51-women-in-science-2018-en.pdf
• 9a9bhttps://www.chronicle.com/article/Can-Economics-Fix-Its/245460
• 10https://www.chronicle.com/article/An-Engineering-School-With/246214?fbclid=IwAR2zNuvI84z6URukNTy07hq_0JNUy0gEgGyC3kua2eo-pGb33kB8_a_bA7w
• 11https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(18)32995-7/fulltext