S'initier aux analyses statistiques et aux sondages

Nous commençons les statistiques à deux variables. Notre but est d'étudier simultanément deux caractères d'une même population, en vue d'établir ou d'infirmer un éventuel lien entre eux.

Il est donc naturel de pouvoir dresser, lire et interpréter des tableaux d'effectifs à double entrée, pour croiser les deux caractères étudiés.

Une fois dressé le tableau à double entrée croisant les deux caractères étudiés, nous pouvons être amenés temporairement à concentrer notre étude sur un seul des caractères. Pour cela, on ajoute en marge du tableau des lignes et colonnes de totaux. Ce sont les distributions marginales.

Les distributions conditionnelles permettent d'étudier la distribution de l'un des deux caractères à l’intérieur d'une valeur du second caractère. Par exemple, quelle est la distribution des montants des tickets de caisse parmi les clients qui restent moins d'une heure en magasin. Il convient de bien maîtriser la notation et de savoir réinterpréter les proportions obtenues, sans les confondre avec des fréquences jointes.

Nous étudions simultanément deux caractères d'une même population. Y a-t-il ou non un lien entre eux ? S'il n'y a aucun lien, alors on dit que les caractères sont indépendants. Dans ce cas, la valeur de l'un des caractères n'a aucune influence sur la distribution du second caractère, ce qui implique que les tableaux croisés d'effectifs sont proportionnels. C'est l'indépendance au sens strict.

Une situation d'indépendance au sens strict n'a que très peu de chances de se produire. Cependant, son étude est utile car elle sert de point de repère lors de l'étude croisée de deux caractères.

Nous commençons ici le processus d'ajustement linéaire, qui vise à mesurer la force d'un lien linéaire éventuel entre deux caractères quantitatifs. Pour essayer de constater ce lien de visu, à partir de données numériques, on peut tracer un diagramme en nuage de points qui nous permettra de conjecturer l'existence ou non d'une tendance. L'observation de ce diagramme pourra donner lieu à trois éventualités :

• on conjecture une tendance croissante (plus la valeur d'un caractère augmente, plus la valeur de l'autre semble également augmenter)
• on conjecture une tendance décroissante (plus la valeur d'un caractère augmente, plus la valeur de l'autre semble diminuer)
• on conjecture l'absence de lien linéaire entre les deux caractères

Le paramètre clé pour la mesure de la force d'un lien linéaire entre deux caractères est le coefficient de corrélation linéaire, plus simplement appelé corrélation. Pour le calculer, il convient de calculer d'abord la covariance.

La corrélation est toujours comprise entre -1 et 1.

Une corrélation positive témoigne d'un possible lien linéaire croissant entre deux caractères.

Une corrélation négative témoigne d'un possible lien linéaire décroissant entre deux caractères.

Une corrélation nulle témoigne de l'absence de lien linéaire entre deux caractères, mais ne donne pas d'information sur l'existence éventuelle d'un lien d'une autre sorte.

Une corrélation proche de -1 ou 1 (supérieure à 0,95 ou inférieure à -0,95) témoigne d'un lien linéaire fort. Par contre, si la corrélation est comprise entre -0,9 et 0,9, alors le lien linéaire est en général trop faible pour être pris en considération.

Après avoir établi un lien linéaire entre deux caractères quantitatifs d'une même population, il convient d'expliciter ce lien pour pouvoir s'en servir. Si la corrélation est suffisamment forte, alors les points du diagramme en nuage de points sont proches d'être alignés sur une droite. 

Cette droite s'appelle la droite de régression et elle est cruciale pour réussir à réaliser des prévisions et des conjectures fiables.

Après avoir trouvé l'équation de la droite de régression, il est aisé de s'en servir pour réaliser des prévisions et des conjectures en substituant dedans. Ces conjectures seront d'autant plus fiables que la corrélation sera forte et que la tendance aura peu de chances d'évoluer.

Les séries chronologiques sont une application classique de l'ajustement linéaire ou l'un des caractères étudiés (toujours noté en abscisse) est le temps. Elles permettent donc d'analyser des évolutions dans le temps et de faire des prévisions. Nous étudierons ici un premier exemple d'application.

Lorsque nous voulons analyser une série chronologique dans laquelle les périodes ne sont pas représentées par des nombres (par exemple : janvier, février, mars, ... ou encore samedi, dimanche, lundi, ...) il convient de numéroter les périodes logiquement, de manière à pouvoir les saisir à la calculatrice ou au tableur pour obtenir une valeur de corrélation et une équation de droite de régression, puis à pouvoir effectuer des prévisions.

Le processus d'ajustement linéaire fournit des outils forts pour analyser une dépendance linéaire entre deux caractères quantitatifs. 

Mais lorsqu'au moins un des deux caractères étudiés est qualitatif et ne peut être numérisé, il est impossible à mettre en oeuvre. Comment procède-t-on alors?

Le test d'indépendance du Khi² est une suite d'opérations logiques ou calculatoires qui permettent de déterminer s'il existe ou non un lien entre deux caractères quel que soit leur type. Evidemment, on ne s'attend pas à ce qu'il y ait indépendance au sens strict, ce qui serait miraculeux, mais on vérifie si l'on est suffisamment proche d'une situation d'indépendance pour pouvoir considérer que les deux caractères sont indépendants.

La première étape du test d'indépendance du Khi² est de déterminer la distribution que l'on aurait obtenue s'il y avait eu indépendance au sens strict. Les effectifs de cette distribution sont appelés effectifs théoriques, par opposition aux effectifs observés dans la distribution que l'on a obtenue.

Ensuite, lors de la deuxième étape du test, on vérifie si les conditions d'application sont réunies et l'on procède aux corrections nécessaires (lorsque c'est possible) si elles ne le sont pas.

Lors de la troisième étape du test d'indépendance du Khi², nous avons à notre disposition les effectifs observé d'une part et les effectifs théoriques d'autre part. Le but du test est de vérifier s'ils sont trop éloignés l'un de l'autre pour que l'on puisse considérer qu'il y a indépendance ou non. C'est pourquoi l'on calcule un indicateur mesurant l'écart entre l'observé et le théorique, que l'on appellera le Khi² observé. 

La quatrième et dernière étape du test consiste à décider si le Khi² observé est trop élevé pour qu'il y ait indépendance, ou bien s'il est suffisamment petit pour que l'on puisse considérer qu'il y a indépendance.

Pour cela, on se base sur une table des valeurs limites théoriques du Khi², prenant en compte le niveau de sévérité que l'on souhaite appliquer pour le test, ainsi que la taille du tableau croisé de données que l'on étudie.

Voici quelques exercices de révision sur les statistiques à deux variables, tournant pour l'essentiel (mais pas uniquement) autour de l'ajustement linéaire et du test d'indépendance du Khi².

Mes conseils habituels

• Commencez par faire les exercices seuls en vérifiant vos réponses à l'aide des solutions non détaillées au bas de la page 2. du fichier joint.
• Si vous êtes bloqué, vous pouvez consulter les solutions détaillées à partir de la page 3.
• N'hésitez pas à me solliciter en cas de problème.

Bon courage ! 

Nous commençons ici la méthodologie du sondage et de l'enquête d'opinion par l'échantillonnage.

L'échantillonnage est le travail préparatoire préalable à l'enquête elle-même. Il consiste à décider de la taille et de la composition du panel que l'on désire étudier, de manière que les résultats obtenus sur ce panel puissent être considérés raisonnablement proches des résultats que l'on aurait obtenus si l'on avait interrogé la population totale.

Nous étudions ici deux premières méthodes d'échantillonnage : 

• l'échantillonnage simple qui consiste à disposer de la liste de tous les éléments de la population que l'on étudie, et à en extraire par tirage au sort un panel sur lequel notre enquête portera.
• l'échantillonnage systématique consiste à numéroter les membres de la population pour en extraire les membres du panel à intervalles réguliers.

Une stratification consiste à considérer une critère significatif pour l'enquête que l'on mène et à respecter dans le panel les proportions de ce critère observées dans la population.

Par exemple : 

• respecter la parité hommes / femmes dans l'échantillon
• respecter les proportions de gens vivant dans les centres-ville, les zones périurbaines, les campagnes
• respecter les proportions correspondant aux niveaux de rémunération, à la pyramide des âges,...

L'échantillonnage à degrés convient lorsque la population étudiée est nombreuse, mais répartie en catégories et sous-catégories facilement identifiables. On peut alors sélectionner les membres du panel relativement uniformément parmi toutes les différentes sous-catégories de la population.

Cette session et les suivantes présentent des méthodes d'échantillonnage empiriques, c'est-à-dire non basées sur des expériences aléatoires (tirage au sort parmi une liste).

La première d'entre elles est l'échantillonnage de convenance : elle consiste constituer son panel à partir des membres de la population immédiatement disponibles. Par exemple: un sondage effectué dans la rue ou sur une page web d'actualités.

Voici deux méthodes d'échantillonnage qui permettent de constituer un panel d'étude lorsque les membres de la population sont difficiles à identifier où à trouver:

• l'échantillonnage à priori, dans lequel le sondeur cherche les membres du panel là où il pense pouvoir les trouver,
• l'échantillonnage boule de neige, où les membres du panel cooptent leurs collègues.

La méthode des quotas est la méthode d'échantillonnage la plus généralement employée par les instituts de sondage. Il s'agit de respecter les proportions de plusieurs critères à la fois dans la population que l'on étudie, afin de mieux choisir le panel que l'on va interroger.

Nous entamons ici un processus visant à déterminer la taille idéale de l'échantillon à interroger lorsque l'on désire sonder une population très importante. 

En étudiant les lois de probabilités que suivent les fréquences des réponses données, on peut s'apercevoir du fait qu'à partir d'un certain seuil, il ne sert pas à grand chose d'augmenter la taille de l'échantillon car le gain en précision devient négligeable.

Si besoin, vous pourrez trouver les généralités sur les lois de probabilités utilisées en consultant mon autre cours : S'initier aux probabilités et aux variables aléatoires.

Marquer trois buts lors d'un match de football, c'est très bien. Tenir une moyenne de trois buts par match sur toute une saison, c'est plus difficile. 

Nous apprenons ici, à l'aide des outils vus à la session précédente, comment calculer la probabilité de tenir et de renouveler une performance (buts par match, chiffre d'affaires, bénéfices,...) à plus ou moins long terme.

A l'aide de tout le raisonnement exposé lors des sessions précédentes, nous arrivons enfin au point où nous pouvons décider quel est le bon nombre de personnes à interroger pour avoir une bonne certitude d'obtenir des résultats de sondage fiables avec une marge d'erreur raisonnable. Nous introduisons ici la notion de marge d'erreur maximale d'un sondage, celle dont on est certain de ne pas la dépasser, quel que soit le résultat de l'enquête.

Le principe de l'estimation de paramètre est le suivant. On a effectué une enquête d'opinion auprès d'un panel et l'on a de bonnes raisons de penser que les résultats obtenus dans ce panel sont proches des proportions observées dans toute la population.

Or, nous ne pouvons pas connaître exactement la proportion observée dans toute la population, car nous n'avons pas les moyens de sonder une population dans son intégralité.

Nous cherchons donc à estimer un intervalle, autour du résultat observé dans le panel, dans lequel la proportion observée dans l'ensemble de la population a de fortes chances de se trouver.

Pour procéder à des estimations d'intervalles significatives, il est naturel d'avoir besoin d'indicateurs de dispersion. L'écart-type est celui dont nous allons nous servir ici.

Nous donnons ici le moyen d'estimer raisonnablement l'écart-type observé dans une population entière à partir de l'écart-type observé dans un échantillon.

Nous avons interrogé un panel de consommateurs sur des données numériques. Nous avons calculé la moyenne des réponses et nous supposons que la moyenne au niveau de la population entière (pas seulement du panel) n'est pas très éloignée de celle que nous venons de trouver.

Comment déterminer la marge d'erreur ? De combien est-il raisonnable de s'écarter de la moyenne trouvée dans le panel ? Nous allons définir un intervalle de confiance centré autour du résultat du panel, dans lequel nous serons relativement sûrs que la moyenne de toute la population se trouvera.

Après avoir donné le principe de cet intervalle de confiance évoqué à la session précédente, nous détaillons ici les formules qui permettent de le déterminer et nous le calculons plusieurs fois, pour constater l'influence du seuil de confiance fixé sur la largeur de l'intervalle.

Dans cette session et les suivantes, nous essayons de déterminer des proportions données à une collection de valeurs au niveau d'une population entière, à partir du résultat d'un sondage (du type sondage électoral). Pour cela, il faut analyser le comportement de la variable aléatoire qui compte la proportion d'une valeur donnée dans un panel, en fonction du choix du panel. Cette session expose le raisonnement qui met en évidence cette loi.

Voici la méthode utilisée pour donner des estimations de résultats d'élections, par exemple, ou des résultats de sondages d'intention de vote, tout en maîtrisant la marge d'erreur. (Lorsque celle-ci n'est pas donnée, on la retrouve facilement à l'aide des mentions marginales du sondage.)

Il s'avère que chaque valeur donnée (chaque candidat) aura son intervalle de confiance avec sa propre marge d'erreur, différente de celle des autres. Cette marge d'erreur est forcément inférieure à la marge d'erreur maximale, utilisée dans le chapitre Échantillonnage. 

Deux listes candidates à une élection sont placées au coude à coude par les instituts de sondage ? La différence entre les deux listes est-elle significative ou bien est -elle "dans la marge d'erreur". 

En procédant à deux estimations de proportion (une pour chaque liste), on détermine l'intervalle de confiance propre à chaque liste et l'on arrive à voir si l'avance de la première sur la seconde est décisif ou non.

Pour terminer, voici un formulaire récapitulatif des procédures à appliquer pour pratiquer une estimation de proportion par intervalle de confiance en maîtrisant la marge d'erreur.

Ainsi, vous aurez toutes les cartes en main pour mettre sur pied et analyser des sondages d'opinion. Merci à vous d'avoir suivi ce cours, en espérant que vous prendrez autant de plaisir à suivre mes autres cours de Mathématiques financières et économiques et de Probabilités.