Lors du récent Printemps des Etudes , SLPV analytics est intervenu sur le thème : Peut-on encore prévoir ? Oui, on peut encore prévoir, mais à condition de respecter certaines règles de base : données de qualité et représentatives, méthodes analytiques adaptées à la problématique et aux données, attaque du problème de prévision sous des angles différents, …
Un des thèmes de notre intervention était aussi le besoin d’un diagnostic clair sur les erreurs de prévision. La succession Brexit/Trump/Primaires françaises a pu faire croire qu’il y avait un problème structurel avec les méthodes de prévision à base d’enquêtes. Or, les difficultés rencontrées, et la nature des éventuelles erreurs de prévision, sont à chaque fois différentes et nécessitent un diagnostic nuancé. Cette finesse d’analyse est une condition nécessaire de la compréhension des problèmes, et donc in fine de l’opérationnalité des solutions.
Je reviendrai sur tout cela dans un prochain blog.
Une question très pertinente nous a été posée à la fin de l’intervention. Les 45’ de notre exposé avaient bien permis de comprendre l’impératif du diagnostic différencié. Mais comment faire passer auprès du grand public – qui a bien d’autres préoccupations – les nuances entre des situations qui semblent se ressembler, quand on a peu de temps à consacrer à leur analyse ?
Vaste question, à laquelle je n’ai pas la prétention de répondre dans ce blog. Chez SLPV analytics , nous croyons à la possibilité d’expliquer de manière simple ce qui peut sembler complexe. Mais pour cela, il faut que ceux qui font profession de vulgarisation n’entretiennent pas eux-mêmes la confusion.
Ce tweet de Nate Silver est un bon exemple de cette confusion. Il vise à montrer qu’il n’y a pas de problème de sous-estimation des partis populistes en Europe, phénomène qu’il désigne sous le nom de « Shy Voters », comme le font les médias anglophones.
Rappelons d’abord que cette dénomination de « Shy Voters » est vraiment un mauvais concept. La principale difficulté des enquêtes par sondage est la non réponse. Cette non réponse peut avoir de multiples origines. Il est possible effectivement que certains électeurs n’osent pas dire pour qui ils votent, et qu’ils mentent, ou qu’ils ne répondent pas : comme je l’ai déjà noté précédemment, pour que cela introduise un biais dans les résultats, il faudrait que les répondants aient honte de leur vote actuel, mais pas de leur vote passé. Pourquoi pas, mais un peu compliqué.
Une explication beaucoup plus simple à la non réponse est le biais de sélection : la propension à répondre aux enquêtes dépend des caractéristiques de l’interviewé, et en particulier de la variable que l’on cherche à mesurer. Explication à la fois plus simple et plus généralisable : elle couvre toutes les raisons possibles de non réponse, sans chercher à les habiller d’un vernis pseudo sociologique. Et par ailleurs, les solutions à ce problème sont documentées dans la littérature scientifique….
Revenons au tweet. Il n’y aurait pas de problème de « Shy Voter Le Pen ». C’est évidemment faux. Les intentions de vote de Marine Le Pen sont sous-estimées dans les données brutes collectées (car ses électeurs ont moins tendance à répondre aux enquêtes). D’où la nécessité d’un redressement. Si les chiffres des sondages correspondent aux chiffres réels, c’est parce que les instituts font tout un travail de redressement, et le font bien.
En quoi cela est-il important ? Accessoirement, car il est ennuyeux que des experts propagent de fausses informations. Mais surtout, par la confusion que cela engendre. S’il n’y a pas de problème de non réponse, comment les sondages peuvent-ils se tromper (car ils se tromperont à nouveau) ? Pourquoi y aurait-il besoin d’un redressement ? Tout le monde ne pourrait-il pas produire son propre sondage, sans nécessité d’expertise et d’expérience prouvées ?
Les inexactitudes des experts sont une des sources des théories complotistes, comme le montrait brillamment Nate Silver lui-même à propos des climatologues du GIEC. Il est dommage qu’il ne s’applique pas à lui-même ce qu’il recommande aux autres.
Antoine Moreau
27/04/2017