650 - Préparer l’ère post p < 0,05 en sciences humaines, sociales et en santé

Il existe une idée selon laquelle une forte corrélation signifie automatiquement une association de grande importance. Cette idée est accentuée par le fait qu’une forte corrélation est souvent accompagnée d’une valeur p « fortement significative ». Lorsque l’on visualise une corrélation, la ligne est souvent le médium utilisé. Il n’est pas rare que les corrélations plus fortes soient associées à des lignes plus « abruptes » ce qui donne l’impression que des changements dans une variable impliquent des changements importants dans l’autre variable. Autrement dit, la relation étroite entre les deux variables signifierait une covariation de grande amplitude et donc des résultats à forte importance sociale. Or, il est possible d’obtenir des corrélations très fortes (et des valeurs p très faibles) même lorsqu’une variable est associée à un changement très mineur, mais très prévisible, chez une autre variable. La corrélation témoigne ainsi du niveau de certitude ou d’incertitude liée à ce changement. En n’observant que la corrélation (ou, pire, que la valeur p), il est possible de se méprendre quant à l’impact réel qu’a une variable sur une autre. À travers plusieurs illustrations, cette présentation cherche à bonifier la capacité de chacun à s’illustrer une corrélation qui tient compte des limites de cette statistique et de la valeur p. 

Déterminer si un résultat statistique est bel et bien une découverte est un des problèmes les plus importants en sciences humaines et sociales. Il est rassurant de pouvoir s’appuyer sur une méthode paradigmatique : franchir le seuil de signification statistique, c’est-à-dire lorsque la valeur p est plus petite qu’un seuil prédéterminé (α=.05). Ce processus simplifie la prise de décision scientifique. Son utilisation rigide et arbitraire entraîne toutefois confusion et controverse. Le problème provient de son utilisation dichotomique, p<.05 contre p>.05, significatif contre non significatif, publié contre oublié, gradué contre non gradué, subventionné contre non subventionné. L’interprétation dichotomique est si forte que, malgré les différentes options disponibles, celles-ci reviennent involontairement à la binarité : l’étude a-t-elle suffisamment de puissance pour détecter un résultat significatif? l’hypothèse nulle est-elle contenue dans l’intervalle de confiance? les indices d’ajustement sont-ils adéquats? La présentation est une réflexion sur cette dichotomie. Pour ce faire, elle aborde quelques cas absurdes de la valeur p. Elle pointe également sur les failles de la dichotomisation et sur les contingences qui la maintiennent. Une tentative pour échapper aux problèmes est de cesser d’enseigner la « significativité » d’un résultat statistique. Il faut prioriser les représentations graphiques et traiter les statistiques comme des informations en appui à l’interprétation.

L’enseignement du test d’hypothèse nulle avec la valeur p est un classique de tout cours d’introduction à la statistique en sciences humaines, sociales et de la santé. Toutefois, de nombreux auteurs ont relaté les difficultés de compréhension qui surviennent chez les étudiant.e.s face à la notion d’hypothèse conditionnelle et du résultat à un test qui doit être situé dans une distribution théorique pour déterminer comment se positionner vis-à-vis de l’hypothèse nulle.

Nous proposons d’introduire initialement les étudiants aux tests de permutation et de bootstrap pour soutenir le développement d’une compréhension plus empirique du processus, respectivement, du test d’hypothèse nulle et de l’intervalle de confiance. La notion de distribution théorique pourra ensuite être introduite dans un second temps pour illustrer le processus lorsque les conditions d’utilisation des tests paramétriques sont remplies. Avec une meilleure compréhension de ce que signifie la valeur p, nous avançons que son utilisation reste pertinente, tout en nécessitant l’ajout systématique d’autres informations pour interpréter adéquatement et avec nuance les résultats de toute recherche quantitative.

Bien que la valeur p soit une statistique intéressante, sa signification est dépendante d'une hypothèse nulle. Les intervalles de confiance, au contraire, sont des outils qui permettent de tester un grand nombre d'hypothèses nulles. De plus, les intervalles de confiance sont faciles à illustrer en accompagnement des statistiques descriptives testées.  Dans cette présentation, nous argumentons qu'un graphique accompagné de barres d'erreurs permet de saisir les données nettement mieux que ne peuvent le faire des statistiques inférentielles. Nous allons discuter de la distinction entre intervalles de confiances "stand alone" (classiques), ajustées pour les différences, et ajustée pour la corrélation. Nous donnerons des exemples illustrant des moyennes, des proportions, des écarts standardisés, des fréquences, etc. Tous ces exemples sont réalisés avec superb, un outil pour R qui ne nécessite aucune programmation. Un exemple sera réalisé en direct avec l'interface visuelle  https://dcousin3.shinyapps.io/superbshiny/.

De nombreux auteurs ont proposé de rapporter le facteur de Bayes comme alternative, ou complément, à la valeur p (Wasserstein et Lazar, 2016). Ce coefficient permet de comparer deux (ou plusieurs) hypothèses pour voir laquelle est la mieux expliquée par l’échantillon de variables collecté.

Nous allons, dans le cadre de cette communication, présenter le facteur de Bayes tel qu’il est utilisé pour évaluer des tests d’hypothèses informatifs dans le cadre d’une ANOVA (Hoijtink, 2011; Hoijtink, Klugkist & Boelen, 2008). Nous expliquerons les détails du calcul des deux principaux ingrédients de ce coefficient : la complexité (complexity) et l’adéquation (fit). De plus, nous montrerons comment le facteur de Bayes s’interprète comparativement à la valeur p.