On vous le dit depuis toujours : il y a d'une part les sciences sociales qui sont des sciences molles, et d'autre part, les sciences naturelles qui sont des sciences dures. Et si cette distinction n'avait pas grand sens ? Je ne suis pas le premier à l'écrire, mais aujourd'hui, je vous présente les résultats de travaux récents et de certaines de mes analyses qui montrent encore le manque d'intérêt de cette distinction.
Il y a quelques mois, les résultats d'un article ont secoué le monde scientifique. En effet, ils montrent que les résultats dans une science naturelle (la biologie préclinique du cancer) sont au moins aussi reproductibles qu’en psychologie, une science sociale. Dans ce petit billet, je réalise un exercice comparable avec des données en science économique. Dans mon échantillon, la reproductibilité en science économique est comparable à celles observées dans les deux autres disciplines. Ce résultat n’est qu’un seul des clous dans le cercueil d‘une thèse qui en est déjà criblé : celle que les sciences naturelles et sciences sociales diffèrent systématiquement.
L’article dont je parlais dans le paragraphe précédent est donc une étude de réplication. C'est une étude dans laquelle on tente de reproduire et de tester la robustesse des résultats d'une ou plusieurs autres études déjà parues. Ici, les auteurs ont collecté de nouvelles données pour mener des analyses comparables aux originales. Il y a sans doute peu de questions aussi importantes en sciences que celle de la reproductibilité, tout particulièrement à l'heure de la crise de la réplicabilité dont je parlais dans cet article sur la 'corruption' des médecins : on ne parvient pas systématiquement à reproduire les résultats de certaines études, en sciences biomédicales et sociales.
Dans cet article a été testée la réplicabilité d'un champ de recherche dont l'importance paraît immédiatement : la biologie du cancer. Au terme d'un large projet, 50 expériences issues de 23 articles ont été répliquées, pour un total de 158 effets au total. Comment mesure-t-on la reproductibilité d'un ensemble d'études ?
Lorsqu'on a répliqué plusieurs expériences comme ici, on peut d'abord représenter les effets originaux (ceux dans la première expérience) en fonction des effets répliqués. On trace ensuite une ligne à 45 degrés qui représente les cas idéaux où l'effet original est le même que l'effet répliqué. On peut alors vérifier si les points sont plutôt proches de cette ligne idéale, ou non. Voici donc le graphique issu de cette étude de réplication dans le cas des études en biologie préclinique du cancer :
On notera que la plupart des points sont dans la diagonale bas-droite, signe que les résultats répliqués sont plus faibles.
Pour mettre un chiffre sur ce degré de similarité, une méthode est de mesurer le coefficient de Pearson entre l'effet original et l'effet issu de la réplication. C'est un chiffre situé entre 0 et 1 qui est plus haut si l'effet original est plus proche de l'effet répliqué. En biologie préclinique du cancer, ce chiffre est de 47%. (Ce n’est pas l’indicateur que j’aurais choisi, mais c’est celui utilisé dans la littérature).
Un exercice similaire avait déjà été mené en psychologie. Voici alors le même graphique mais avec des données d'expériences en psychologie :
Plus intéressant encore, le coefficient de corrélation effet original - effet répliqué en psychologie est de 56% contre 47% en biologie du cancer. Ceci suggère que les résultats en psychologie, une science humaine et sociale sont au moins autant reproductibles qu'en biologie du cancer, une science naturelle.
Il faut d'ailleurs noter qu'en biologie du cancer, certains auteurs ont ignoré les sollicitations des auteurs de la réplication. Il alors été impossible de reproduire les expériences des auteurs qui n'ont pas collaboré. Si les auteurs des expériences fragiles ou falsifiées ont plus de chance de ne pas répondre aux sollicitations des réplicateurs, alors la réplicabilité de la biologie du cancer est ici surestimée ! Symétriquement, les auteurs de l'étude de réplication en psychologie n'ont pas fait mention de problèmes similaires.
Pour élargir la réflexion, je vous propose de refaire le même exercice avec une autre science sociale : l'économie. Ensemble, ces résultats disent quelque chose de profond de la distinction entre sciences naturelles et sciences sociales.
Le laboratoire en sciences sociales et en biologie
En économie, on peut aussi faire des expériences en laboratoire. Cette formule vous étonne peut-être. Les décisions humaines et leurs contextes ne sont pas solubles en éprouvette. Que peuvent donc être des expériences en laboratoire en sciences sociales ? Elles consistent à placer des sujets comme vous et moi dans des situations très abstraites, qu’on nomme parfois des jeux. Par exemple, si vous participiez à un jeu du dictateur, on vous donnerait une somme d’argent que vous auriez la possibilité de partager avec un autre individu, puis on mesurerait la part de la somme reçue que vous choisiriez de lui donner. La série "Crétin de Cerveau" de David Louapre - que je vous recommande- liste beaucoup d'expériences de ce type.
Même si ces expériences impliquent de mettre des sujets dans des situations différentes de la vie courante, elles peuvent aider à mieux cerner les comportements humains. En retour, ceci éclaire des phénomènes hors laboratoires, en permettant de savoir par exemple non pas si une politique publique a marché ou non, ce qu'on peut mesurer avec d'autres méthodes mais *pourquoi* elle a marché. Ces expériences en laboratoire ont par exemple mis en lumière ces biais cognitifs dont on parle tant aujourd'hui. On peut les exploiter hors laboratoire avec des politiques dites de nudge : des touches de piano peintes sur un escalier pour inciter à monter des marches, un passage piéton en relief pour faire baisser la vitesse des automobilistes, ...
Comparer les expériences de laboratoire en économie et en biologique pré-clinique me semble pertinent. Comme les expériences de laboratoire en économie, celles en biologie sont des étapes préliminaires, et il faut passer aux essais cliniques pour savoir si le traitement anti-cancer fonctionne effectivement, in vivo. Toutefois, le laboratoire permet d'observer finement certains phénomènes biologiques et par là de comprendre certains mécanismes d'action.
Quid du taux de réplication en économie comportementale ? Pour répondre à cette question, j'avais combiné les données d'une étude qui compilait les résultats de 18 réplications en économie avec celles de 8 autres réplications. Ces 8 autres études sont extraites d'un autre projet de recherche qui a permis la réplication de 21 des expériences qui peuvent impliquer des chercheurs dans d'autres sciences sociales que l'économie, mais je n'ai gardé que les 8 expériences qui impliquaient au moins un chercheur en économie. J'obtiens alors un petit total de 26 études. J'ai alors construit un graphique dans l’esprit des deux autres :
Dans cet échantillon, je trouve une corrélation effet original-effet répliqué de 54%. C'est le même ordre de grandeur qu'en biologie du cancer (47%) et en psychologie (56%). Comme dans les deux autres disciplines, les effets répliqués tendent à être plus faibles que les originaux.
Un indice de plus du manque d'intérêt de la distinction sciences naturelles et sciences sociales
Tout ceci me conforte dans l'idée selon laquelle il n'y a pas de différence systématique entre sciences sociales et naturelles. Je ne dis pas que toutes les disciplines scientifiques sont les mêmes. Il y a une immense diversité de méthodes au sein de ce qu'on appelle les sciences. Simplement, je ne pense pas que les diviser les sciences en SHS et sciences naturelles aide à comprendre cette diversité. Les taux de réplication comparables ne sont pas le seul argument en faveur de cette thèse.
Un de mes précédents billets tentait de démontrer qu'il était faux d'affirmer que seules les sciences sociales étaient politiques, ou que seuls les sciences naturelles pouvaient parvenir à des consensus.
Plus généralement, on l'a beaucoup écrit et dit avant moi : la distinction entre société et nature est floue. L'épidémie du COVID est-elle un phénomène naturel, ou un phénomène social qui se nourrit de nos contacts et nos interactions sociales ? Et le réchauffement climatique, qui est le fruit de processus physiques mais déclenchés par nos actions, est-il naturel ou social ? Comment pourrait-il y avoir de vraies différences entre sciences sociales et sciences naturelles s'il n'y a pas de vraies différences entre social et naturel ?
Seraient-ce les méthodes qui distinguent les sciences sociales des sciences naturelles ? Que nenni. Je parlais par exemple dans cet article d'expériences contrôlées randomisées. Les historiens n'en font à ma connaissance pas. Mais les astronomes non plus. On pourrait multiplier les exemples. Tracer la ligne des méthodes ne sépare pas les sciences naturelles des sciences sociales. Ceci crée au contraire de nouveaux groupes plus pertinents.
Un autre critère souvent avancé pour séparer les sciences sociales des sciences naturelles est que les premières étudieraient des objets historiques. Cette thèse a notamment été portée par le sociologue Jean-Claude Passeron. Les énoncés en sciences sociales ne seraient toujours valides qu'en un temps et un lieu donné, par opposition aux énoncés des sciences naturelles qui seraient universels. Le sociologue Olivier Godechot a ébauché une réponse à cette thèse que je trouve très convaincante dans un thread. Je le traduis et mets en forme ici : "Un énoncé est toujours spatio-temporellement dépendant. Comme on m'a demandé d'enseigner une introduction à l'épistémologie (avec absolument aucune compétence), voici mon point de vue avec une question provocatrice... L'étude de l'extinction des dinosaures et celle de la chute de l'empire romain doivent-elles nécessiter des épistémologies différentes ? Si ma compréhension de la cosmogonie est correcte, presque toutes (et peut-être toutes) les "lois" scientifiques ne produisent que des déterminations d'objets "historiques" : elles sont conditionnelles au déroulement de notre univers depuis le big bang et pourraient ne pas se vérifier dans des univers alternatifs. Il n'y a donc aucune différence ontologique entre la production de déterminations dans les deux domaines. (Peut-être que les degrés de généralité peuvent différer, mais cela n'a pas beaucoup d'importance). Il est probable que le concept de loi soit trompeur car il pousse trop loin l'idée d'un déterminisme éternel et sans limites spatiales. Si nous acceptons l'idée que la science empirique produit des explications des choses dans un certain ensemble de conditions de portée, il n'y a pas de grandes différences en fin de compte entre les sciences naturelles et sociales." J’ajoute que les sciences naturelles incluent aussi la biologie où les mutations rebattent souvent les cartes : l’exemple de l’efficacité changeante du vaccin face aux différentes mutations du COVID l’illustre sinistrement.
Tout ceci ne signifie pas qu'il faut tout mettre sur le même plan, que tous les savoirs produits par les sciences sont aussi vrais, aussi fiables. Ce serait absurde. Il y a naturellement certaines théories plus établies que d'autres. Mais je crois qu'il serait aussi absurde d'en faire un autre critère de distinction systématique entre sciences naturelles et sciences sociales : au sein de chaque discipline, on trouve des théories mieux soutenues par les données que d'autres. On pourrait par exemple facilement me convaincre que la théorie de la relativité générale constitue un sommet scientifique rarement égalé. Pour cela, on pourrait donner des exemples de prédictions très spécifiques qui se sont réalisées comme l’existence d'ondes gravitationnelles. On pourrait décliner ce type de démonstrations avec bien d’autres théories, comme celle de l’évolution. Mais on ne peut pas généraliser ces réussites à toutes les théories des sciences naturelles. Soyons provocants. Entre la théorie des cordes, qui ne fait pas (encore ?) de prédictions expérimentales qui lui permettent de faire consensus, et le consensus des chercheurs en sciences sociales sur l'existence de discrimination à l'embauche, lui fondé sur des centaines d'expériences concordantes, que faut-il considérer comme la connaissance la plus fiable ? La réponse ne me paraît pas triviale. Qu'importe : c'est à ceux qui voudraient démontrer que les théories en sciences naturelles sont par essence plus fiables que les théories en sciences sociales qu'échoit la charge de la preuve.
En ce qui me concerne, je préfère plutôt occuper mon temps à essayer d’évaluer la fiabilité des théories que je croise, soit en lisant la littérature scientifique quand j’en ai les moyens, soit en tentant de savoir où se trouve le consensus des spécialistes. Je pense qu‘on fait alors beaucoup plus progresser sa compréhension du monde qu’en tentant des généralités sur des ensembles de disciplines trop hétérogènes.
Comments