En remplaçant une valeur ponctuelle par un ensemble de valeurs probables, un intervalle de confiance permet d’évaluer concrètement la précision d’une estimation statistique. Un outil opérationnel dont il est important de bien comprendre le fonctionnement.

 L’insoutenable légèreté du chiffre unique

Quelques informations qui font les gros titres le jour (début avril 2014) où ces lignes sont écrites:

–       41% des français font confiance à Manuel Valls,

–       Au Liban, les réfugiés syriens représentent 25% de la population

–       La confiance des ménages a connu un petit sursaut en mars, avec une augmentation de 3 points de l’indicateur la synthétisant par rapport à février,

Autant de chiffres précis, qui donnent une rassurante impression d’exactitude, alors qu’ils sont tous en fait issus d’un processus d’estimation, par nature entaché d’imprécision.

L’idée de remplacer chacun de ces chiffres par une fourchette de chiffres vraisemblables est naturelle: en permettant au grand public d’apprécier la marge d’erreur probable, l’information convoyée serait alors enrichie, nuancée, et au final, plus utile.

Par exemple, la première phrase de l’Information Rapide de l’INSEE à fin mars est : « en mars, la confiance des ménages augmente ». Or, il est bien possible que l’augmentation de 3 points ne soit pas significative et résulte uniquement de l’aléa de sondage. Dire que la confiance des ménages augmente ou reste stable est fondamentalement différent : on voit bien sur cet exemple l’importance cruciale et opérationnelle du concept d’intervalle de confiance.

En termes statistiques, il s’agit de passer d’une estimation ponctuelle (un chiffre) à une estimation ensembliste (une fourchette, ou intervalle de confiance).

Les trois ingrédients du calcul d’un intervalle de confiance

Dans tout cet article, on va supposer qu’on dispose d’au moins une centaine d’observations. Un statisticien dirait qu’on est dans les conditions asymptotiques. En-dessous de ce seuil, la statistique n’a de toute manière pas grand-chose à raconter. On va aussi supposer que la population de référence est de très grande taille par rapport à l’échantillon sur lequel on calcule le chiffre d’intérêt.

Trois ingrédients sont nécessaires pour calculer un intervalle de confiance:

–       Le chiffre autour duquel on veut calculer l’intervalle,

–       La variance de ce chiffre: comme il résulte d’un processus d’estimation, on peut lui associer une variance, qui mesure la précision de ce processus. Très précisément, nous aurons besoin de la racine carrée de la variance pour construire l’intervalle de confiance, c’est-à-dire de l’écart-type,

–       Un niveau de confiance, qui va mesurer la probabilité que la vraie valeur que l’on cherche à estimer soit dans l’intervalle de confiance: donc, la probabilité d’avoir raison/de se tromper.

Une fois que l’on a ces trois ingrédients, le calcul est très simple.

Le calcul de l’intervalle de confiance est toujours le même, quelle que soit la situation:

estimation ponctuelle +/- 1,96 écart-type

Le coefficient de 1,96 correspond à un intervalle de confiance à 95%. D’autres niveaux de confiance amèneraient à utiliser d’autres valeurs (voir plus loin).

Supposons par exemple que la variance de l’augmentation de 3 points de l’indicateur synthétique de la confiance des ménages soit de 4 (nous expliquons en annexe à cet article pourquoi cette valeur est possible). L’écart-type est donc de 2.

Avec un intervalle de confiance à 95%, l’intervalle de confiance autour du 3 mesuré est alors:

(3-2*1,96=-0,92)     [-0,92 ; 6,92]                 (3+3*1,96=6,92)

 

Le niveau de confiance de l’intervalle s’interprète de la manière suivante : si on interrogeait tous les Français, on pourrait mesurer la vraie valeur de la variation de la confiance des ménages. Mais on n’interroge pas tous les Français, seulement 2000 d’entre eux. Calculé à partir des données d’un sondage, un intervalle de confiance à 95% contient cette vraie valeur avec une probabilité de 95%.

Dans le cas qui nous occupe, 0 est dans l’intervalle de confiance, et donc, si jamais l’hypothèse faite sur la variance est exacte, dire que la confiance des ménages a augmenté ne semble pas basé sur les données disponibles. Un statisticien dirait qu’on ne peut pas rejeter l’hypothèse que la confiance des ménages est restée stable, avec un risque 5% de se tromper.

 

 Intervalles de confiance autour d’un pourcentage

Quand on s’intéresse à un pourcentage, le calcul de l’intervalle de confiance se simplifie. En effet, la variance d’un pourcentage estimé se calcule directement à partir de ce pourcentage. Si p est le pourcentage estimé, et que l’on a N répondants, la variance est égale à p*(1-p)/N. Le tableau ci-dessous donne quelques exemples de calcul de l’écart-type, et donc de l’intervalle de confiance à 95%, autour d’un pourcentage, pour un échantillon de 1000 répondants :

Pourcentage	Ecart-type	Intervalle de confiance à 95%
10%	0,009	[9,1% ;11,9%]
30%	0,014	[ 27,2%;32,8%]
45%	0,016	[41,9%;48,1%]
50%	0,016	[46,9%;53,1%]
55%	0,016	[51,9% ;58,1%]
70%	0,014	[67,2% ;72,8%]
90%	0,009	[89,1% ;[91,9%]

 

C’est de cette manière que sont calculées les marges d’erreur des sondages (voir l’article sur la précision des sondages électoraux). Comme on peut le voir, le tableau est symétrique autour de 50%: l’intervalle de confiance autour d’un pourcentage estimé de 30% sera de longueur identique à celui autour de 70%.

 Comment diminuer la longueur d’un intervalle de confiance?

Avoir les intervalles de confiance les plus petits possible sera l’objectif de tout dispositif de collecte et d’analyse des données. De quelles marges de manœuvre dispose-t-on à ce sujet?

Il y a deux dimensions sur lesquelles on peut agir: l’écart type de l’estimation et le niveau de confiance de l’intervalle :

–       La manière la plus simple de diminuer l’écart type de l’estimation est d’augmenter le nombre d’observations, c’est-à-dire la taille de l’échantillon si on est dans un contexte de sondage. Cela se voit immédiatement sur la formule donnée ci-dessus pour un pourcentage, mais c’est la même chose pour tout autre type de données. Rien de tel que d’avoir plus d’observations pour avoir plus de précision.

o   Un plan de sondage bien pensé peut éventuellement réduire l’écart-type de l’estimation: on peut arriver à réduire significativement sa variance en stratifiant l’échantillon. Un caveat cependant: pour un pourcentage, l’effet de la stratification sera rarement significatif. Cela ne jouera réellement que sur la mesure de quantités (nombre de produits achetés, revenu,…)

 

–       Diminuer le niveau de confiance permettra aussi de réduire l’intervalle de confiance. Rappelons que le niveau de confiance mesure la probabilité que la vraie valeur soit dans l’intervalle. Plus l’intervalle est grand, plus cette probabilité est grande (on couvre plus de valeurs). En réduisant le niveau de confiance, on diminuera la taille de l’intervalle, mais on prendra aussi le risque que la vraie valeur ne soit pas dans l’intervalle: un plus grand risque à courir pour dire des choses plus intéressantes.

 

Le tableau ci-dessous donne les bornes de l’intervalle de confiance à 90%, 95% et 99%, autour de l’augmentation mesurée de la confiance des ménages dont on a parlé auparavant (on fait toujours l’hypothèse d’une variance égale à 4)

Niveau	Coefficient	Borne inférieure	Borne supérieure
90%	1,64	-0,28	6,28
95%	1,96	-0,92	6,92
99%	2,58	-2,16	8,16

 

Quand le niveau croît, l’intervalle s’élargit : on se donne plus de chances de couvrir la vraie valeur. Mais l’information donnée est de plus en plus floue, et moins utile. Notons qu’avec l’hypothèse que nous faisons sur la variance, même à 90%, il n’est pas possible de dire que la confiance des ménages a significativement augmenté en mars 2014.

Un intervalle de confiance est-il forcément symétrique?

Pour un même niveau de confiance, on peut construire une infinité d’intervalles de confiance autour de la valeur mesurée. Tous les intervalles de confiance proposés ci-dessous ont une probabilité 95% de contenir la vraie valeur (on reprend notre exemple sur la supposée amélioration de la confiance des ménages français en mars 2014) :

[-0,92 ; 6,92]   [-0,28 ; +∞[   ]-∞ ; 6,28]   [-1,66 ; 6,52]   [-0,52 ; 7,66]

 

Un seul de ces intervalles est symétrique. Et il a une très bonne propriété: c’est celui qui est de longueur minimale.

C’est pour cette raison que l’on choisit toujours un intervalle symétrique: c’est le plus petit de tous les intervalles possibles. On peut aussi donner à ce choix une raison statistique, qui est expliquée dans l’article sur les tests statistiques.

Tests statistiques et intervalles de confiance

Les interrogations sur la précision d’un résultat statistique se posent souvent en termes de test statistique: l’augmentation de la confiance des ménages mesurée en mars 2014 est-elle réelle, ou simplement due à l’aléa de sondage? Les sondages à la veille de la dernière élection présidentielle donnaient-il un écart statistiquement significatif entre les deux candidats? Le souvenir publicitaire sur ma dernière campagne est-il significativement plus élevé que sur les campagnes analogues, i.e. ma campagne est-elle efficace?

 

Un test statistique s’interprète de manière naturelle en termes d’intervalle de confiance: les deux concepts sont équivalents. La compréhension de ce qu’est un intervalle de confiance étant plutôt simple et naturelle, la dualité intervalles de confiance/tests statistiques permet de mieux comprendre ces derniers, alors que le concept peut sembler de prime abord assez complexe.

 

C’est à vous

Le PSG a gagné son match aller de quart de final de la ligue des champions 2014 3-1 contre Chelsea. Les commentateurs nous apprennent que la probabilité d’aller en demi-finale pour le PSG est de 75%. Quel est l’intervalle de confiance autour de ce chiffre?

 

Article reliés

 

Tests statistiques

Précision des sondages électoraux

 

Références

S. Kullback (1959): Information Theory and Statistics – Wiley

T.S. Ferguson (1967) : Mathematical Statistics – Academic Press

J.P. Lecoutre (2012) : Statistique et probabilités – Dunod

A. Monfort (1982) : Cours de statistique mathématique –- Economica

S.D. Silvey (1975) : Statistical inference – Chapman and Hall

Annexe : Calcul de la variance de l’augmentation de la confiance des ménages en mars 2014

L’information dont on dispose dans l’Information Rapide de l’INSEE est résumée dans le tableau ci-dessous :

 

		2014
	Moy.	Déc.		Fév.	Mars
Indicateur synthétique	100	85	86	85	88
Situation financière personnelle – évolution passée	–19	–34	–35	–32	–30
Situation financière personnelle – perspectives d’évolution	–4	–20	–17	–19	–17
Capacité d’épargne actuelle	8	11	14	10	16
Capacité d’épargne future	–10	–5	–1	–7	2
Opportunité d’épargner	18	18	23	21	20
Opportunité de faire des achats importants	–14	–29	–28	–28	–26
Niveau de vie en France – évolution passée	–43	–73	–71	–72	–69
Niveau de vie en France – perspectives d’évolution	–23	–49	–46	–51	–47
Chômage – perspectives d’évolution	32	49	53	55	53
Prix – évolution passée	–13	–7	–13	–20	–25
Prix – perspectives d’évolution	–34	–17	–16	–24	–30

 

On dispose ainsi des soldes d’opinion (réponses positives moins réponse négatives), ainsi que de la taille de l’échantillon (environ 2000). L’indicateur synthétique est calculé comme une moyenne pondérée des 11 séries, sans que les poids soient fournis.

Spontanément, le grand public n’a donc pas tous les éléments nécessaires pour calculer la précision des chiffres publiés. On peut cependant faire des hypothèses et arriver au tableau suivant :

 

	Mars-Février	Variance	Ecart-Type	Différent de 0
Situation financière personnelle – évolution passée	2	5,0	2,2	Non
Situation financière personnelle – perspectives d’évolution	2	4,5	2,1	Non
Capacité d’épargne actuelle	6	4,5	2,1	Oui
Capacité d’épargne future	9	6,0	2,4	Oui
Opportunité d’épargner	-1	5,0	2,2	Non
Opportunité de faire des achats importants	2	5,0	2,2	Non
Niveau de vie en France – évolution passée	3	3,5	1,9	Non
Niveau de vie en France – perspectives d’évolution	4	5,0	2,2	Non
Chômage – perspectives d’évolution	-2	5,0	2,2	Non
Prix – évolution passée	-5	5,0	2,2	Oui
Prix – perspectives d’évolution	-6	5,0	2,2	Oui

 

Ce tableau donne :

–        La variation entre février et mars de chaque série,

–        La variance de cette variation. C’est là qu’interviennent nos hypothèses : nous avons calculé cette variance comme une moyenne sur diverses configurations possibles des réponses positives et négatives,

–        L’écart-type de cette variation,

–        Et le fait que 0 soit dans l’intervalle de confiance, c’est-à-dire que la variation observée soit significative.

On voit que, pour 7 séries sur 11, la variation n’est pas significative. Elle l’est pour 4 séries : deux à la baisse et deux à la hausse. La moyenne de variance de toutes les séries est de 5.

Il serait tout à fait possible que la combinaison des 11 séries donne une variation significativement positive à la hausse, quand seulement deux d’entre eux montrent une variation positive. Ce serait certainement le cas si elles étaient non corrélées. Dans ce cas, la taille de l’échantillon est en quelque sorte démultipliée. Mais là, ces séries sont au contraire très corrélées. Le gain de variance quand on les agrège est vraisemblablement faible. C’est pour cela qu’une variance de 4 pour la série agrégée nous semble vraisemblable. Pour le calculer, il faudrait disposer des séries de réponses positives et négatives sur longue période.