Chapitre 10· 9 min de lecture
Ce que ce livre ne peut pas prouver
Où sont les faiblesses, et comment les lire
Il existe une tradition, dans la littérature de management, qui consiste à placer les réserves à la fin, en petits caractères, après avoir affirmé pendant deux cents pages.
Ce chapitre fait l'inverse : il examine systématiquement ce qui, dans tout ce qui précède, ne tient pas aussi solidement que le texte le laisse croire.
Il n'est pas là par humilité de façade. Il est là parce qu'un lecteur qui connaît ces domaines repérera de toute façon les endroits faibles — et qu'il vaut mieux les avoir nommés soi-même.
Premier problème : la distance
C'est la faiblesse structurelle de l'exercice, et elle traverse chaque chapitre.
Un résultat de laboratoire est obtenu en isolant une variable. C'est précisément ce qui permet d'établir une causalité : on fait varier une chose, on observe l'effet, on conclut. La force de la méthode vient de son artificialité.
Un atelier est l'inverse. Tout y varie en même temps : la cadence, l'ancienneté des personnes, l'état des machines, l'historique des relations, la pression commerciale du trimestre. Aucune variable n'y est isolée.
Quand je dis « les ganglions de la base encodent des séquences, donc votre standard ne tiendra pas sans déclencheur », j'ai franchi quatre paliers. Le résultat du premier est solide. La recommandation du quatrième ne l'est pas au même titre — elle est une extrapolation raisonnée, pas une conséquence démontrée.
J'ai essayé de signaler ces franchissements à mesure. Mais le format même d'un livre pousse à l'affirmation : une phrase nuancée à chaque paragraphe rendrait le texte illisible. Il faut donc que vous compensiez en lisant, et ce chapitre vous donne de quoi le faire.
Deuxième problème : la réplication
Il faut parler d'une difficulté qui touche une partie des travaux cités, et qui a secoué la psychologie depuis une dizaine d'années.
En 2015, un consortium d'environ 270 chercheurs a tenté de reproduire 100 études publiées dans trois grandes revues de psychologie. Les résultats, publiés dans Science, ont été sévères.
97 % des études originales rapportaient un effet statistiquement significatif. Seules 36 % des réplications en ont trouvé un. Et quand l'effet se retrouvait, son ampleur était en moyenne moitié moindre que dans l'étude d'origine.
Ce résultat a durablement changé la façon dont on lit la littérature en psychologie.
Il faut cependant en donner la contre-lecture, sans quoi je choisirais le chiffre le plus frappant — exactement ce que ce livre reproche aux autres.
Plusieurs statisticiens ont fait valoir que le critère binaire « significatif ou non » est un mauvais juge de réplication. En examinant si les effets répliqués tombaient dans l'intervalle de prédiction des effets originaux, ils obtiennent 77 % — une lecture nettement moins catastrophique. D'autres projets de réplication, sur des études publiées dans Nature et Science, ont trouvé environ deux tiers de réplications réussies.
La lecture honnête se situe entre les deux : le champ produit des résultats réels mais systématiquement surestimés en ampleur, et une partie d'entre eux ne tient pas.
Ce que cela implique pour ce livre : les chapitres qui s'appuient sur la psychologie sociale — notamment le chapitre 8 sur les normes — doivent être lus avec plus de prudence que ceux qui s'appuient sur les sciences cognitives expérimentales, où la situation est meilleure. Et dans tous les cas, les ampleurs annoncées dans la littérature sont probablement trop élevées.
Troisième problème : ce que je n'ai pas pu lire
Une limite pratique, mais qui compte.
Je n'ai pas accès aux textes intégraux des publications sous abonnement. Je travaille sur des résumés, des synthèses, des articles de revue et des reprises secondaires fiables.
Cela suffit à restituer correctement un résultat principal. Cela ne suffit pas toujours à repérer une restriction de méthode : un échantillon particulier, une condition expérimentale qui limite la portée, une analyse secondaire qui nuance la conclusion principale.
Il est donc possible que je présente comme général un résultat qui ne l'est pas tout à fait. Je n'ai pas de moyen de savoir où.
C'est une raison supplémentaire de faire relire ce texte par quelqu'un du domaine avant de lui accorder plus de crédit qu'il n'en mérite.
Ce que chaque affirmation vaut
Plutôt que de laisser cela vague, voici une évaluation explicite des principales affirmations du livre.
Trois niveaux, que je définis précisément.
Établi signifie : résultat reproduit, consensus large dans son domaine, et je le transpose sans en changer la nature. La limite de la mémoire de travail entre dans cette catégorie.
Plausible signifie : le résultat d'origine est solide, mais je l'applique à un contexte différent de celui où il a été obtenu — délais plus longs, enjeux sociaux, environnement non contrôlé. Le renforcement différé entre ici : les travaux portent sur des délais de quelques secondes, et je parle de semaines.
Proposé signifie : c'est ma construction. Les quatre conditions du chapitre 3 ne sont pas un résultat de recherche : c'est un cadre que j'ai composé en rassemblant des éléments issus de travaux différents. Il est peut-être utile. Il n'a pas été testé.
Cette dernière catégorie mérite d'être soulignée, parce que c'est celle qui se fait le plus facilement passer pour de la science. Un cadre en quatre points, présenté avec des références en bas de page, ressemble à un résultat. Ce n'en est pas un.
Ce qui manque à ce livre
Quatre absences que je dois signaler.
Aucune donnée d'entreprise. Ce livre ne contient aucune mesure recueillie dans une organisation réelle. Les exemples sont des illustrations construites pour rendre un mécanisme tangible, pas des cas documentés. Ils sont vraisemblables ; ils ne prouvent rien.
Aucun contre-exemple sérieux. J'ai cherché ce qui contredirait la thèse générale, et je n'ai pas trouvé de littérature établissant qu'une démarche d'amélioration réussisse durablement sans que ces conditions soient réunies. Mais l'absence de contre-exemple dans ma recherche n'est pas une absence de contre-exemple.
Aucune dimension économique ou sociale. Une transformation Lean se déroule dans un contexte de rapports de force, de négociation collective, parfois de suppression de postes. Ces dimensions pèsent lourdement sur ce que les gens font, et ce livre n'en parle pas. Ce n'est pas un oubli : c'est un choix de périmètre, qui a pour effet de rendre les mécanismes décrits plus déterminants qu'ils ne le sont réellement.
Aucune diversité culturelle. Les travaux cités ont été menés très majoritairement en Amérique du Nord et en Europe occidentale, sur des populations universitaires. Les normes sociales du chapitre 8, en particulier, varient considérablement selon les contextes culturels.
Comment lire ce livre, alors
Non pas comme une démonstration, mais comme un déplacement de regard.
Sa valeur ne tient pas à la solidité de chaque affirmation prise isolément. Elle tient à ce qu'il propose une autre façon de lire un échec familier : au lieu de « ils n'ont pas voulu », regarder la durée d'accompagnement, le déclencheur, la charge, le retour.
Ce déplacement est utile même là où les mécanismes invoqués seraient imparfaitement établis, parce qu'il conduit à examiner des choses modifiables au lieu de choses qui ne le sont pas.
Et il est falsifiable, ce qui est sa meilleure garantie : si vous installez un déclencheur au poste, que vous accompagnez dix semaines au lieu de trois, que vous réduisez le standard à trois points et fabriquez un retour immédiat — et que rien ne change — alors ce livre a tort pour votre situation.
C'est plus honnête qu'une promesse qu'on ne peut pas mettre en défaut.
Ce qu'il faut retenir
La distance est la faiblesse principale. Quatre paliers séparent un résultat de laboratoire d'une recommandation d'atelier, et chacun retire des conditions.
Une partie de la littérature ne réplique pas. 36 % des études répliquées dans le projet de 2015, avec des ampleurs deux fois moindres — 77 % selon une lecture statistique plus généreuse. Les ampleurs publiées sont probablement surestimées.
Certaines affirmations sont miennes, pas celles de la recherche. Les quatre conditions du chapitre 3 sont un cadre que je propose, présenté comme tel.
Quatre choses manquent. Données d'entreprise, contre-exemples, dimension économique et sociale, diversité culturelle.
Le livre vaut comme déplacement de regard, pas comme démonstration. Et il est falsifiable — ce qui est sa meilleure garantie.
Le dernier chapitre revient au terrain et rassemble ce que tout cela change concrètement.
Sources de ce chapitre
Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
Leek, J. T., Patil, P., & Peng, R. D. (2015). A glass half full interpretation of the replicability of psychological science — contre-lecture statistique du projet de réplication.
Camerer, C. F. et al. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour.
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine — origine du débat sur la fiabilité des publications.