Avec les meilleures pratiques, une reproductibilité élevée peut être obtenue dans la recherche en sciences sociales du comportement, rapportent les chercheurs.

Depuis près de deux décennies, des témoignages communautaires ont émergé concernant la fiabilité de la littérature publiée dans les sciences sociales du comportement, en particulier la psychologie. Plusieurs études à grande échelle ont tenté de reproduire des résultats précédemment publiés, sans succès ou à un volume beaucoup plus réduit, mettant en doute la fiabilité des résultats – et des études futures en sciences sociales du comportement.

Cependant, un groupe d’experts de premier plan dans le domaine a cherché à montrer que lorsque les meilleures pratiques sont utilisées, elles sont hautement reproductibles. En six ans, les chercheurs ont découvert et reproduit 16 nouveaux résultats en utilisant les meilleures pratiques apparemment de référence, notamment le préenregistrement, les échantillons de grande taille et la précision de la réplication. Leurs conclusions apparaissent dans La nature du comportement humain.

« C’est la preuve existentielle que nous pouvons commencer à découvrir de nouvelles découvertes et à les reproduire à un niveau très élevé », déclare le professeur Jonathan Schooler, directeur du laboratoire META et du Center for Mindfulness and Human Potential de l’Université de Californie. Auteur principal de l’article. « La principale conclusion est que lorsque vous suivez les meilleures pratiques actuelles en matière de conduite et de reproduction d’études comportementales sociales en ligne, vous pouvez atteindre des taux de réplication généralement élevés et stables. »

Les résultats de réplication de leur étude représentaient en moyenne 97 % de la taille des résultats originaux. En comparaison, les projets de réplication précédents ont observé des résultats de réplication d’environ 50 %.

« Il y a eu beaucoup d’inquiétudes au cours des dernières années concernant la reproductibilité de nombreuses sciences, mais la psychologie a été l’un des premiers domaines à commencer à étudier systématiquement cette question », explique l’auteur principal John Protzko, chercheur associé au laboratoire de Schooler. Il était chercheur postdoctoral pendant l’étude. Il est maintenant professeur adjoint de sciences psychologiques à la Connecticut State University.

« La question était de savoir si les échecs de réplication précédents et les faibles tailles d’effet étaient intrinsèquement liés aux divers domaines scientifiques que j’ai observés. Par exemple, certains ont émis l’hypothèse qu’un aspect inhérent de l’entreprise scientifique est que les résultats nouvellement découverts peuvent devenir moins reproductibles ou plus petits avec le temps. …l’heure.

Le groupe a décidé de mener de nouvelles études en utilisant les meilleures pratiques émergentes de la science ouverte, puis de les reproduire avec une conception innovante dans laquelle les chercheurs s’engagent à répéter les études de confirmation initiales, quel que soit le résultat. Pendant six ans, les équipes de recherche de chaque laboratoire ont développé des études qui ont ensuite été répliquées dans tous les autres laboratoires.

Au total, la coalition a découvert 16 nouveaux phénomènes et les a reproduits chacun 4 fois avec 120 000 participants. « Si vous utilisez les meilleures pratiques en matière d’échantillons importants, de pré-enregistrement et de matériel ouvert pour découvrir de nouvelles sciences, et que vous reproduisez avec la meilleure fidélité possible le processus original, vous obtiendrez une science très hautement reproductible. » dit Protsko à propos des résultats.

Une innovation majeure introduite par l’étude était que tous les laboratoires participants ont accepté de répéter les études de confirmation initiales quels que soient leurs résultats. Cela a éliminé le biais habituel de la communauté scientifique consistant à publier et à reproduire uniquement les résultats positifs, ce qui aurait pu contribuer à gonfler les évaluations initiales de l’ampleur des effets dans le passé. De plus, cette approche a permis aux chercheurs d’observer de nombreux cas dans lesquels les modèles d’étude ne parvenaient pas à produire des résultats significatifs dans l’affirmation initiale, et à obtenir plus tard des effets fiables lorsqu’ils étaient reproduits dans d’autres laboratoires.

Dans l’ensemble, le projet a révélé des taux de récidive très élevés pour leurs résultats comportementaux sociaux, et aucune preuve statistiquement significative d’une réduction de la récidive. Les chercheurs soulignent qu’étant donné la taille des échantillons et la taille des effets, le taux de récidive observé de 86 %, basé sur la signification statistique, ne pourrait pas être plus élevé.

Pour tester la nouveauté de leurs découvertes, ils ont mené des tests indépendants sur les prédictions des sujets concernant l’orientation des nouvelles découvertes et la probabilité qu’elles soient reproduites. Plusieurs enquêtes de suivi dans lesquelles des participants naïfs ont évalué les descriptions des nouvelles études et celles associées à des projets de réplication antérieurs n’ont révélé aucune différence dans la prévisibilité de chacune. Ainsi, le succès de ces études n’est pas dû au fait qu’elles ont découvert des résultats clairs dont on s’attendrait nécessairement à ce qu’ils soient reproduits. En fait, bon nombre des découvertes récemment découvertes ont déjà été publiées de manière indépendante dans des revues de grande qualité.

« Il ne serait pas particulièrement intéressant de découvrir qu’il est facile de reproduire des résultats parfaitement clairs », explique Schooler. « Mais nos études présentaient un facteur de surprise similaire à celui des études qui avaient été difficiles à reproduire dans le passé. Des juges non formés qui ont reçu des résumés des deux conditions dans chacune de nos études et un ensemble similaire d’études à deux conditions issues d’un effort de réplication précédent ont découvert il est tout aussi difficile de prédire l’orientation de nos résultats par rapport aux résultats précédents.

Étant donné que chaque laboratoire de recherche a développé ses propres études, ces études provenaient de divers domaines sociaux, comportementaux et psychologiques tels que le marketing, la psychologie politique, les préjugés et la prise de décision. Ils impliquaient tous des sujets humains et respectaient certaines restrictions, comme ne pas recourir à la tromperie. «Nous avons en fait structuré le processus de manière à ce que chaque laboratoire fonctionne de manière indépendante», explique Protzko. «Ils abordaient des sujets réguliers qui les intéressaient et comment ils mèneraient leurs études.»

Collectivement, leurs recherches scientifiques prouvent qu’une faible reproductibilité et de faibles effets ne sont pas inévitables. Les pratiques améliorant la fidélité peuvent conduire à des taux de récidive très élevés, mais déterminer précisément quelles pratiques fonctionnent le mieux nécessitera une étude plus approfondie. L’approche « évier de cuisine » de cette étude – qui utilise plusieurs pratiques pour améliorer simultanément la précision – n’a pas isolé l’effet d’une seule pratique.

D’autres chercheurs participant à l’étude proviennent de l’Université McGill. Conseil Matt Burnett ; L’universite de Wisconsin-Madison; Université de Stanford; Université de Virginie. Université de Göteborg. Université de Georgetown ; Université de Washington à Saint-Louis ; Université de Caroline du Sud ; et Phenoscience Laboratories à Berlin, en Allemagne.

source: Université de Californie, Santa Barbara