En 1980, Jacques Chirac alors candidat à l’élection présidentielle pour le Rassemblement pour la République déclarait dans un entretien donné au mensuel Le Nouvel Observateur :

Dans la bouche d’un homme politique de ce niveau habitué à toutes les roueries et toutes les manipulations, la réflexion doit être prise au sérieux.

La statistique est une branche des mathématiques. Elle concerne l’étude des systèmes où interviennent des données en grand nombre. Elle vise à la collecte, l’analyse mathématique et l’interprétation de grandes quantités de variables. De fait, c’est une science typiquement moderne liée à la massification des sociétés et à l’anonymisation des individus. La statistique n’aurait pu naître dans des petites sociétés de type médiévales. Bien au contraire, elle prend son essor durant la montée en puissances des États-nations. Les grandes armées modernes et les administrations gouvernementales en sont particulièrement friandes.

Les études statistiques inondent littéralement les médias, que ce soit sur support papier, audiovisuel ou sur les sites d’informations présents sur Internet. Dans les domaines de la recherche clinique, l’usage des méthodes statistiques est omniprésent et sert à valider des protocoles médicaux (essai clinique en double aveugle). Le domaine connexe des études en diététique y a recours tout autant. Les compagnies d’assurances s’en servent comme outils pour leurs calculs de primes d’assurance. Les démographes ont pour principal outil quantitatif la statistique (calcul de mortalité et d’espérance de vie). Les économistes les emploient pour mesurer le niveau de développement des sociétés (PIB/habitant, répartition des classes sociales). La profusion d’études d’opinions dans le champ politique s’appuie enfin et encore sur l’utilisation de méthodes statistiques.

Les études statistiques sont souvent au cœur des conversations du quotidien et sont prises comme arguments d’autorité dans de nombreuses joutes verbales. Que l’on songe par exemple à ces insipides batailles de chiffres entre experts invités sur des plateaux de télévision. Les statistiques semblent par ailleurs relativement simples à comprendre pour le simple citoyen. En réalité, les méthodes statistiques nécessitent extrême rigueur et subtilité dans l’analyse, que seuls des professionnels avertis peuvent réellement maîtriser. Une fois tordus, les chiffres peuvent dire en effet n’importe quoi.

Pour bien saisir le pouvoir de manipulation par les chiffres, le plus simple est de raisonner sur une singularité statistique connue sous le nom de paradoxe de Simpson. Le britannique Edward Simpson ne découvrit ce paradoxe, pourtant relativement simple à présenter, qu’en 1951, preuve s’il en est de la grande modernité du concept de statistique.

Considérons deux boites A et B et deux types de boules de différentes couleurs : rouges et blanches. Supposons maintenant que la boite A contienne 1 boule rouge et 2 boules blanches et que la boite B en contienne quant à elle 5 rouges et 5 blanches (cf. fig. 1).

Il est clair que la probabilité de tirer une boule rouge dans la boite A est de 33% (1 boule rouge sur 3 boules au total). De même, la probabilité de tirer une boule rouge dans la boite B est de 50% (5 boules rouge sur 10 boules au total). Clairement, la proportion de boules rouge est supérieure dans la boite B (50%) à celle de la boite A (33%). Répétons l’expérience avec deux nouvelles autres boites notées A’ et B’, contenant 8 rouges et 3 blanches pour A’ et 6 rouges et 2 blanches pour B’ (cf. fig. 2).

Pour cette deuxième expérience, la proportion de boules rouges dans B’ est de 6/(6+2)=6/8=75% et celle de boules rouges dans A’ est de 8/(8+3)=8/11=73%. Dans les deux expériences, les boites B contiennent plus de boules rouges en proportion que les boites A.

Le paradoxe de Simpson intervient lorsque l’on regroupe les deux boites B et B’ dans une seule même boite B’’ et les deux boites A et A’ dans une seule boite A’’ (cf. tableau 1 et fig. 3).

Puisque dans les deux cas, les boites B contiennent plus en proportion de boules rouges que les boites A, on s’attend intuitivement à ce qu’après regroupement, ce soit la boite B’’ qui en contienne le plus (par rapport à A’’). Eh bien non !

En effet, après regroupement la boite A’’ contient 9 rouges sur 14 boules, soit 64% de boules rouges. La boite B’’ contient quant à elle 11 rouges sur 18 boules, soit 61% de boules rouges. Autrement dit, lors de l’opération de regroupement les proportions se sont inversées. Même si, prises séparément, les boites A et A’ contiennent proportionnellement moins de boules rouges que de boules blanches que les boites B et B’, le simple fait de les regrouper inverse les proportions. On imagine facilement les conséquences que cela peut avoir dans le domaine politique lorsque des coalitions se forment lors d’élections. En fait, on confond comparaison de deux proportions avec comparaison de deux probabilités. 

Les études cliniques regorgent de situations de ce genre. Citons par exemple le cas d’une étude (inventée mais significative, tirée d’un article de Pour la science) où un médicament censé soigner une maladie grave est testé en double aveugle. On considère 160 patients. Parmi eux, 80 sont traités par le médicament et les 80 autres reçoivent un simple placebo. Le taux de guérison varie suivant que le patient a reçu le médicament ou le placebo. Il est de 50% pour les patients ayant reçu le médicament et de 40% pour ceux ayant reçu le placebo (tableau 2).

Ce résultat suggère que le médicament est efficace. Si l’on considère le sexe des patients par contre, les conclusions s’inversent totalement ! Pris séparément, le taux de guérison pour les hommes est de 60% pour ceux ayant reçu le médicament et de 70% pour ceux ayant reçu le placebo (tableau 3).

Donc pour les hommes, le médicament n’est pas efficace. Pour les femmes, la conclusion est la même (cf. tableau 4).

Les femmes qui ont reçu le médicament ont un taux de guérison de 20% et celles qui ont reçu le placebo un taux de guérison supérieur, de 30%. Le résultat de l’étude est donc le suivant : pour les hommes, le placebo est meilleur que le médicament ; pour les femmes, idem. Pourtant quand m’on regroupe les données des hommes avec les données des femmes, le médicament produit de meilleurs résultats que le placebo !

On se trouve dans un cas du paradoxe de Simpson : la fusion de données qui concluaient individuellement dans un sens – l’inutilité du médicament testé – donne des résultats concluant dans le sens inverse – l’utilité du médicament. Il existe aussi de nombreux exemples où un médicament est très efficace pour des sous-populations (par exemple hommes et femmes) mais pas sur la population totale.  Il ne s’agit pas là d’une manipulation statistique. Le lecteur pourra facilement vérifier l’exactitude des chiffres.

En fait, le paradoxe de Simpson repose sur deux éléments. D’une part, il peut exister une variable qui n’est pas initialement prise en compte dans l’analyse. Dans le cas présent, il s’agit su sexe du patient. Cette variable écartée de l’étude est un facteur de confusion. D’autre part, il est nécessaire que l’échantillon étudié soit réparti uniformément (c’est la randomisation de l’échantillon). Dans tous ces cas, il est tout à fait possible (mais pas obligatoire) que le résultat sur l’échantillon regroupé (c’est-à-dire sans prise en compte du facteur de confusion) soit opposé à ce que l’on observe sur chaque sous-échantillon.

Continuons l’analyse du paradoxe de Simpson par un autre exemple, dans la sphère économique cette fois. Une entreprise emploie 1.000 techniciens à 1.000 €/mois et 100 cadres à 2.000 €/mois. Le salaire moyen est donc de 1.090 €/mois. Après un plan de licenciement et une réduction de tous les salaires de 10%, elle n’emploie plus que 100 techniciens à 900€ et conserve son équipe de 100 cadres, diminués à 1.800 €. La moyenne des salaires, cette fois, est donc de 1.350 €/mois. Et voici comment en diminuant de 10% les salaires de chacun, on arrive à une augmentation du salaire moyen calculé pour l’ensemble des employés. Le paradoxe ne concerne que les employés qui ont conservé leur emploi bien sûr !

Les statistiques publiées par les agences gouvernementales s’appuient souvent sur ce stratagème, qui consiste à partitionner ou fusionner des données pour que la tendance aille dans le bon sens. Ici on retient les données des cadres mais on écarte celles des salariés remerciés !

Enfin dans le domaine politique, une formation peut très bien dominer territorialement le scrutin (en étant majoritaire dans la plupart des petites communes) et pour autant être perdante à l’échelle nationale. Il suffit pour cela d’une légère avance aux formations concurrentes dans les grandes métropoles pour faire basculer le scrutin. C’est un phénomène bien connu des dessinateurs des cartes électorales !