seuil de risque

Gipé

bonjour,

peut-être quelque spécialiste de la pédagogie ou des statistiques pourra-t-il m'aider sur une question qui me gêne depuis pas mal de temps :

dans le chapitre statistiques du programme de lycée, à propos des tests conduisant ou non au rejet d'une hypothèse, on raisonne en termes de "seuil de risque" ; or la plupart des manuels présentent la chose en termes de "probabilité de se tromper ou non" si l'on conserve une hypothèse...

de façon plus précise, il me semble que les choses fonctionnent de la manière suivante :

- je fais l'hypothèse que (par exemple) telle proportion dans une urne est égale à p,
- sous cette hypothèse, je calcule la probabilité théorique pour qu'un échantillon convenable tiré dans cette urne présente une proportion p' située "loin" de la valeur p : pour cela je décide (par exemple) que p' est "loin de p" s'il est situé à l'extérieur d'un intervalle centré en p, pour lequel le calcul théorique (sous l'hypothèse p) laisserait penser qu'il a 95% de chances de tomber,
- une fois le test réalisé, et en supposant (par exemple) que la proportion p' effectivement "loin de p", je dis : "sous l'hypothèse p il viendrait de se produire un événement qui n'avait que trop peu de chances de se produire..., donc je préfère rejeter l'hypothèse p".

ma question est la suivante : sur quelles bases certains s'autorisent-ils à ajouter "en faisant cela, je n'ai pas plus de 5% de chances de me tromper" ?

cordialement
Gilberte

sven nys

Si l'hypothèse est vraie, on a 5% de chances de se tromper et de la refuser.

En revanche, on n'a pas 5% de chances de se tromper, puisqu'on peut aussi accepter une hypothèse fausse.

C'est clair ? (en me relisant je trouve que je ne suis pas clair...)

afk

Dans les tests, on cherche à décider entre deux hypothèses
- hypothèse nulle $H_0$ (ici $p = p_0$)
- hypothèse alternative $H_1$ (ici $p\neq p_0$).

On a alors 2 façons de se tromper
- l'erreur de première espèce consiste à rejeter $H_0$ alors qu'elle est vraie: $P_{H_0}(\textrm{rejet}~H_0)$.
- l'erreur de seconde espèce consiste à ne pas rejeter $H_0$ alors qu'elle est fausse: $P_{H_1}(\textrm{ne pas rejeter}~H_0)$.

Faire un tableau à double entrée Réalité/Décision.


En général, l'hypothèse nulle $H_0$ correspond à "la normale" ou à un "statu quo" de sorte que l'erreur de première espèce est "la plus grave". Par exemple, pour un test de dépistage comme on en voit pour illustrer la formule de Bayes en Terminale, on va tester $H_0$ "le patient n'est pas malade" contre $H_1$ "le patient est malade". L'erreur de première espèce correspond à un faux positif. Pour un jugement dans un tribunal, cela correspond à envoyer un innocent en prison. L'erreur de seconde espèce est considérée moins grave: si on ne détecte pas une maladie ou qu'on relache un criminel, on se dit qu'on pourra toujours l'attraper la prochaine fois.

Donc, lorsqu'on construit un test, on va dans un premier temps se fixer un seuil qu'on juge acceptable (disons $5\%$) pour l'erreur de première espèce et, dans un second temps, essayer de minimiser l'erreur de seconde espèce.

Le test est dit de niveau $\alpha$ si $\mathbb{P}_{H_0~\textrm{vraie}}(\textrm{rejeter}~H_0) \leq \alpha$ ou encore
$\mathbb{P}_{H_0~\textrm{vraie}}(\textrm{ne pas rejeter}~H_0) \geq 1-\alpha$.


Maintenant, pour construire effectivement le test, on fixe la taille $n$ des échantillons, on considère l'univers $\Omega$ des échantillons de taille $n$ (avec remise) muni de la probabilité uniforme et on considère la variable aléatoire (statistique de test) $f_n$ qui à un échantillon associe la fréquence observée sur celui-ci. La loi de cette variable aléatoire dépend évidemment de la proportion réelle $p$ dans l'urne. Plus précisément, si la proportion est $p$, alors $n f_n $ suit une loi binomiale $Bin(n,p)$.

La définition du programme dit qu'un intervalle $IF_{p_0,1-\alpha} = [p_0-r,p_0+r]$ est un intervalle de fluctuation au seuil $1-\alpha$ pour les échantillons de tailles $n$ si $\mathbb{P}_{p_0}(f_n \in IF_{p_0,1-\alpha}) \geq 1-\alpha$. Cela équivaut à dire que $\mathbb{P}_{p_0}(f_n \notin IF_{p_0,1-\alpha}) \leq \alpha$. Cela équivaut à dire que le test consistant à rejeter les échantillons de fréquences qui ne sont pas dans $IF_{p_0,1-\alpha}$ est de niveau $\alpha$: on rejette à tord une proportion $\leq \alpha$ des échantillons.

afk

Après, reste à déterminer l'intervalle de fluctuation $IF_{p_0,1-\alpha}$. En réalité, le programme ne traite que d'intervalles de fluctuations asymptotiques obtenus par approximation normale.

Si $Z \underset{\mathbb{P}_{p_0}}{\sim} \mathcal{N}(0,1)$ et $q_\gamma$ désigne le quantile d'ordre $\gamma$ de la loi normale, alors on a
$$
1-\alpha = \mathbb{P}_{p_0}(q_{\alpha/2} \leq Z \leq q_{1-\alpha/2}) = \mathbb{P}_{p_0}(-q_{1-\alpha/2} \leq Z \leq q_{1-\alpha/2})
$$
Par le TCL/Moivre-Laplace, on a donc
$$
\lim_{n\to +\infty} \mathbb{P}_{p_0} \left( -q_{1-\alpha/2} \leq\frac{f_n-p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}} \leq q_{1-\alpha/2} \right) = 1-\alpha
$$
Soit
$$
\lim_{n\to +\infty} \mathbb{P}_{p_0} \left( f_n \in \underbrace{\left[ p_0 - q_{1-\alpha/2} \sqrt{\frac{p_0(1-p_0)}{n}} ; p_0 + q_{1-\alpha/2} \sqrt{\frac{p_0(1-p_0)}{n}} \right]}_{\textrm{intervalle de fluctuation asymptotique $IFA_{p_0,1-\alpha}$}}}\right) = 1-\alpha
$$

PS: pour l'erreur de seconde espèce c'est
$$
\beta^* := \sup_{p\neq p_0} \mathbb{P}_{p}( f_n \in IF_{p_0,1-\alpha}).
$$
et on peut s'amuser à la calculer dans le cas normal.

Gipé

bonsoir et merci, afk, pour le temps que tu as pris à répondre !

mais si tu développes de manière détaillée ce que j'avais résumé en trois tirets, tu ne réponds pas vraiment à ma question, ou alors je n'ai pas bien compris en quoi consistait la réponse : je n'ai pas l'impression que tes calculs permettent de parler de la probabilité attachée à un choix erroné ou juste... il me semble qu'il faudrait pour cela envisager l'ensemble des valeurs possibles du paramètre testé et disposer, dessus, d'une probabilité a priori...

cordialement
Gilberte

gerard0

Bonsoir Gipé.

le risque considéré est la probabilité de dire que $H_0$ est fausse lorsqu'elle est vraie. C'est donc bien une probabilité. Et il ne faut pas lui faire dire plus.

Par exemple, on teste au risque $5\%$ l'hypothèse $H_0$ : "La longueur moyenne de fil sur les bobines produites est de 100,25 m". Si le test réussit, on n'en déduit rien (*). Si le test échoue, on a deux possibilités : L'hypothèse est fausse ou bien elle est vraie mais on n'a pas eu de chances puisque ce résultat avait à priori moins d'une chance sur 20 d'arriver. Après, on rentre dans l'interprétation du test, qu'on fait en choisissant généralement de rejeter l'hypothèse et de prendre comme hypothèse utile l'hypothèse alternative $H_1$.
Mais il est utile de se souvenir du risque, surtout si on répète souvent le test.

Cordialement.

(*) on avait une hypothèse, le fait qu'elle ne soit pas infirmée ne la rend pas plus vraie. Par exemple l'hypothèse "le soleil se lève tous les matins à l'est" n'est pas confirmée par un lever de soleil, d'autant qu'elle est fausse plusieurs mois par an au pôle nord.

Gipé

bonsoir Gérard,

tu écris : "le risque considéré est la probabilité de dire que Ho est fausse lorsqu'elle est vraie. "...

ma question est précisément : "qu'est-ce qui justifie cette affirmation ?"

je suppose que, par ailleurs, tu ne trouve pas superflu de parler de "probabilité" sur un "univers"... etc. alors pourquoi cela te paraît-il aussi simple ici ?

cordialement
Gilberte

gerard0

"qu'est-ce qui justifie cette affirmation ?"

Il y a deux façons de comprendre cette question :
* "qu'est-ce qui justifie cette affirmation "le risque considéré est la probabilité de dire que Ho est fausse lorsqu'elle est vraie. "" : la tradition des statisticiens.
* "qu'est-ce qui justifie cette affirmation : "la probabilité de dire que Ho est fausse lorsqu'elle est vraie est 5% dans tel test précis" : la théorie statistique. L'étude de la statistique de test sous l'hypothèse H₀.

Si tu veux de meilleurs réponses, explique-toi complétement.

Cordialement.

Gipé

@Gérard : il me semble que ma question est développée dans ma réponse précédente à afk :

dire que "la probabilité de se tromper est 5%" suppose que l'on précise de quoi on parle : quel est l'univers des possibles ? quelle est la probabilité définie dessus qui permet de quantifier "le risque de se tromper"

pour moi l'expression "décider au seuil de risque 5%" est détournée abusivement lorsqu'on la traduit par "décider avec moins de 5% de chances de se tromper" et introduit une confusion sur laquelle, précisément, je m'interroge à travers ce fil de discussion.

cordialement
Gilberte

HP0

Il y a un echange a ce sujet dans ce fil de discussion http://images.math.cnrs.fr/spip.php?page=forum&id_article=1321. Il semble qu'il y ait un vrai probleme...

gerard0

Ah, Gipé,

si tu rejettes les formulations malsaines je suis d'accord. Pour ma part, j'ai toujours dit "risque t%", rien de plus, de même que je parlais de "confiance 1-t". Et bien entendu, avec mes étudiants, je rappelais constamment de quel risque il était question. De ce fait, il n'y a pas de problème (L'univers est l'ensemble des statistiques "sous H₀, et les probabilités sont connues dans les tests utiles.

Pour plus de compréhension, je te conseille le cours d'Olivier Cappé.

Cordialement.

NB : Ce n'est pas le seul problème de confusion due à des raccourcis d'expression. Et l'usage des tests statistiques dans certaines discipline est généralement du grand Guignol.

afk

@gipé

Je vais essayer d'être un peu plus clair.

Déjà si tu considères ton hypothèse $p= p_0$ où $p_0$ est fixée, un niveau $\alpha = 5\%$ fixé et un échantillon donné, alors il n'y a plus rien d'aléatoire: soit la fréquence observée pour l'échantillon est dans l'intervalle de fluctuation $IF_{p_0,1-\alpha}$, soit elle n'y est pas.

De façon générale, la valeur réelle de la proportion $p$ n'est pas aléatoire.
De plus, dans la construction du test, celle-ci ne joue aucun rôle puisque lorsqu'on calcule l'intervalle de fluctuation c'est sous l'hypothèse simple $H_0$ que la proportion est $p_0$. Ce qui est aléatoire dans les calculs de construction du test, c'est le choix de l'échantillon. C'est pour cela que j'ai précisé qu'on considère l'ensemble des échantillons de tailles $n$ muni de la loi uniforme. Le test est alors fait pour que, si l'hypothèse $p=p_0$ est vraie, alors lorsqu'on tire un échantillon au hasard, on a une probabilité inférieure à $5\%$.de rejeter l'hypothèse (à tord).

Tu as raison de dire qu'il y a au fond une famille de lois de probabilités cachée. Formellement, un modèle statistique est la donnée $(\mathcal{X},\mathcal{T},(\mathbb{P}_\theta)_{\theta \in \Theta} )$
- d'un espace mesurable $(\mathcal{X},\mathcal{T})$ l'espace des observations
- d'un ensemble de paramètres $\Theta$
- d'une famille de loi de probas $(\mathbb{P}_\theta)_{\theta \in \Theta}$ sur l'espace des observations.
Si $T : \mathcal{X} \to \mathcal{Y}$ est une fonction mesurable (on dit aussi une statistique), alors on a un modèle statisitque image en prenant les mesures images des $\mathbb{P}_\theta$ par $T$.

Ici on peut considérer le modèle statistique
- espace des observations: $\Omega^n$ l'ensemble des échantillons de taille $n$ de la population $\Omega$
- ensemble de paramètres: $]0;1[$
- famille de lois $(\mathbb{P}_p)_{p\in ]0;1[}$, pour tout $p\in ]0;1[$, $\mathbb{P}_p$ est la loi uniforme sur $\Omega^n$.
Si on ne retient que l'appartenance ou non des individus de l'échantillon à la sous-population qui nous intéresse, on tombe sur le modèle de Bernouilli $( \mathcal{X}, \mathcal{P}(\mathcal{X}), (\mathbb{P}_p)_{p\in ]0;1[})$
- espace des observations: $\mathcal{X} = \{0;1\}^n$
- ensemble de paramètres: $]0;1[$
- famille de lois $(\mathbb{P}_p)_{p\in ]0;1[}$ les lois $B(p)^{\otimes n}$.
Si on ne retient que le nombre d'individu présentant le caractère étudié on tombe alors sur le modèle statistique binomial:
- espace des observations: $\mathcal{Y} = \{0;1;\ldots;n\}$
- espace de paramètres: $]0;1[$
- famille de lois $(\mathbb{P}_p)_{p\in ]0;1[}$ les lois $Bin(n,p)$.

Mais encore une fois, on n'en a pas directement besoin pour construire le test puisque tout se fait sous l'hypothèse $p=p_0$.

En revanche, les résultats du tests vont bien dépendre de la valeur réelle de la proportion. De même, pour définir l'erreur de seconde espèce $\beta := \sup_{p\neq p_0} \mathbb{P}_p( f_n \in IF_{p_0,1-\alpha})$ on a besoin de toute la famille de probabilités.

Même chose, si on se pose la question d'estimer la valeur réelle de $p$ par intervalle de confiance. En effet, il s'agit alors de déterminer un intervalle aléatoire $IC_\alpha = [\hat{a},\hat{b}]$ (où $\hat{a}$ et $\hat{b}$ des variables aléatoires définies sur l'espace des observations) tel que
$$
\underline{\textrm{pour tout $p\in ]0;1[$}} \qquad \mathbb{P}_p( p \in IC_\alpha ) \geq 1-\alpha
$$

En espérant être un peu plus clair.

afk

Il y a un echange a ce sujet dans ce fil de discussion [images.math.cnrs.fr]. Il semble qu'il y ait un vrai probleme...

Sur le plan mathématique, il n'y a pas de problème. Il suffit d'ouvrir un bouquin de stats inférentielles.

Sur le plan des programmes du lycée, il y en a un gros: former les profs ou au moins les aider à se former eux mêmes. Mais les formations proposées ne sont pas toujours faites par des gens compétents et les documents officiels ne quantifient même pas correctement les énoncés.

Sur le plan pédagogique, on se demande un peu à quoi ça sert alors que même en TS, on ne peut démontrer proprement que de petites bribes à la marge. En plus, d'après ce que j'ai vu, il n'y a que 3 ou 4 exos types à peu près les mêmes de la Seconde à la Terminale. Le document ressource explique fièrement qu'on passe d'un intervalle de fluctuation $\left[ p_0 - \frac{1}{\sqrt{n}} ; p_0 + \frac{1}{\sqrt{n}}]$ en Seconde à $\left[ p_0 - 1,96 \sqrt{\frac{p_0(1-p_0)}{n}} ; p_0 + 1,96 \sqrt{\frac{p_0(1-p_0)}{n}} \right]$ en terminale. Quel est l'intérêt? Je ne l'ai pas encore compris.

Gipé

(re)bonsoir afk et Gérard,

j'ai un peu l'impression que Gérard découvre le sens de ma question après avoir réagi comme s'il n'y avait pas de problème... et que afk a une réponse techniquement imparable, mais qui vise avec précision à côté du problème... je pose donc ma question un peu différemment relativement à une situation standard :

" soit une urne contenant une proportion x de boules noires et dans laquelle nous tirons un échantillon présentant une proportion p' de boules noires ; soit p une proportion postulée comme étant la proportion véritable dans l'urne (en d'autres termes, nous faisons l'hypothèse que x = p)."

- calculons, sous l'hypothèse x = p, l'intervalle (centré autour de p) dans lequel la proportion observée sur un échantillon tiré correctement a 95% de se trouver [c'est le calcul de afk...]
- si le p' de notre échantillon n'est pas dans cet intervalle et si on décide de travailler avec la notion de "seuil de risque 5%", on rejettera l'hypothèse que x = p .

La question que je soulève est : peut-on se permettre de considérer qu'en faisant cela on a moins de 5% de chances de se tromper ?
et j'attire donc l'attention sur le fait qu'une telle phrase a normalement un sens qui suppose une quantification du risque, c'est-à-dire une probabilité définie correctement... ce qui ne me semble pas être le cas dans les réponses de Gérard, et que je ne suis pas capable de voir clairement dans celles de afk.

cela étant, on peut sans doute compléter l'analyse de la façon suivante :

- considérons l'éventail des valeurs p que l'on peut prendre pour faire l'hypothèse x = p ; faisons les calculs d'intervalles 95% pour chacune ; déterminons celles qui (au vu de notre échantillon p') ne seront pas rejetées par la méthode précédente ; bref : obtenons ainsi l'intervalle des valeurs de p qui ne sont pas en contradiction avec l'observation p'... (au seuil de risque 5%)

- on aura sans doute envie de dire que x a de "fortes chances" d'être effectivement dans cet intervalle !... mais comment justifier une phrase du genre " il y a 95% de chance que x soit dans cet intervalle " sans avoir mis sur [0, 1] une probabilité adaptée au problème ?

- à ma connaissance une façon plus "correcte" d'y parvenir serait de décider d'une probabilité a priori sur [0, 1] et de voir comment la loi de Bayes modifie celle-ci compte tenu de l'observation effectuée avec notre échantillon p', mais il est clair que : d'une part il y a peu de loi a priori qui soit particulièrement légitime, et d'autre part que le calcul final ne dira pas forcément que la probabilité obtenue pour la décision prise est bel et bien de 5% !

j'espère que ma question est posée plus clairement...

cordialement
Gilberte

gerard0

Gipé a écrit:

peut-on se permettre de considérer qu'en faisant cela on a moins de 5% de chances de se tromper ?

Je t'ai déjà répondu : Non.

Quant à la probabilité utilisée c'est une probabilité parfaitement définie en théorie, calculable concrètement dans tous les mondes où H₀ est vraie.

Je te rappelle qu'on passe son temps à calculer des probabilités sur des événements théoriques : Quand on raisonne sur des dés, c'est dans un monde (théorique) où les dés sont parfaits. Quand on tire des boules d'une urne, c'est une urne théorique où les boules sont indiscernables. Etc.
Ici, on a la même situation : On travaille dans un modèle théorique où H₀ est vraie. le fait que dans la réalité H₀ est probablement fausse ne change rien au raisonnement mathématique.

Donc on ne peut pas dire "on a moins de 5% de chances de se tromper", mais on peut dire "on a moins de 5% de chances de se tromper si H₀ est par hasard vraie".
Enfin, il est idiot de se poser la question de "chances de se tromper", car se tromper n'est pas ici une question de probabilités. Soit H₀ est fausse et on ne se trompe pas, soit H₀ est vraie et on se trompe. Il n'y a pas d'expérience probabiliste ici.

par contre, dans une situation où H₀ est vraie, en refaisant aléatoirement le test, la probabilité de déclarer H₀ fausse est de 5%, donc on concluera à tort en moyenne une fois sur 20.

Est-ce plus clair ?

Cordialement.

NB : Le calcul que tu fais correspond plus à l'analyse de puissance du test qu'à son interprétation, qui ne pose pas de problème si on ne dit pas des phrases fausses.

afk

@gipé: Je te déconseille fortement de noter $p'$ la fréquence observée dans l'échantillon. Il convient de penser à la fréquence observée comme à une statistique c'est à dire une variable aléatoire $\overline{X}_n$ ou $f_n$ ou $\frac{S_n}{n}: \Omega^n \to [0;1]$ définie sur l'univers des échantillons de taille $n$. La valeur observée que tu notes $p'$ n'est que la valeur $f_n(\omega_1,\ldots,\omega_n)$ prise par cette variable aléatoire pour un échantillon donné. La construction/calibration du test se fait au préablable du choix d'un échantillon en considérant la probabilité uniforme sur tous les échantillons de taille $n$ et la loi image de $f_n$ qui s'en déduit. Lorsque tu auras compris cela, les choses seront surement plus claires.

Après tu sembles confondre
- intervalle de fluctuation: on teste une hypothèse où on suppose la proportion connue.
- intervalle de confiance: on cherche à estimer la proportion réelle inconnue. Pour cela, on cherche un intervalle aleatoire défini sur l'ensemble des échantillons tel que quelle que soit la valeur de $p$, la probabilité que cet intervalle aleatoire contienne $p$ est $\geq 1-\alpha$. On peut voir le calcul des intervalles de fluctuations $IF_{p,1-\alpha}$ pour tout $p$ comme une étape pour la construction de l'intervalle de confiance $IC_{1-\alpha}$. Tu peux regarder ce diaporama à partir de la page 43 en particulier.
- statistique Bayesienne où l'espace des paramètres est muni d'une loi de probabilité: ça n'a rien à voir avec le programme de lycée.

Gipé

bonjour afk,

je n'ai pas l'impression de confondre quoi que ce soit et il ne me semble pas indispensable de faire appel à des tas d'univers ou à des variables aléatoires plus compliquées les unes que les autres...

je repose ma question :

- j'envisage trois urnes contenant respectivement des proportions p1, p2 et p3 de boules marquées "sarkozy" et je tire (avec remise) un échantillon de 1000 boules dans l'une de ces urnes choisie au hasard,

- je constate que mon échantillon contient une proportion p' de boules "sarkozy" et je me pose la question : "dans quelle urne ai-je tiré ?" ou, si tu préfères : "quelle est la proportion x de boules 'sarkozy' dans l'urne où j'ai choisi de tirer ?"

- jusqu'à preuve du contraire on a coutume de considérer cela comme un problème de probabilités "a posteriori" et il semble légitime à chacun de répondre à la question par une probabilité du genre : "sachant que je viens de tirer un échantillon et que celui-ci présente une proportion p', j'ai telle et telle probabilité d'être passé par telle et telle urne".

- en matière de tests tels que ceux qui nous occupent dans ce fil, il me semble que la réponse "je n'ai pas plus de 5% de chances de me tromper en pariant que l'urne mystérieuse n'est pas celle de proportion p1" (par exemple...) évoque ce genre d'analyse "bayésienne" (au programme de lycée ou pas... je ne vois pas l'intérêt de cette remarque !).

- au contraire, la démarche par "seuil de risque" consiste à présenter le même pari sous une forme non quantifiée (au sens des probabilités bayésiennes précédentes) et sur une base qui me paraît tout aussi légitime, mais la décision du type "décider au seuil de risque 5%" ne me semble pas permettre de justifier une quantification probabiliste du pari effectué en prenant la décision.

- c'est essentiellement là le but de ma question, et j'ai ajouté au passage la remarque suivante : le calcul "bayésien" suppose d'introduire des probabilités a priori d'avoir choisi "au hasard" l'urne dans laquelle on va tirer, et cela est suffisamment arbitraire pour que la méthode "bayésienne" ne soit pas plus légitime que l'autre...

cordialement
Gilberte

afk

@gipé

Je trouve tes questions un peu contradictoires. Tu demandes qu'on te précise l'univers

dire que "la probabilité de se tromper est $5\%$" suppose que l'on précise de quoi on parle : quel est l'univers des possibles ? quelle est la probabilité définie dessus qui permet de quantifier "le risque de se tromper"

et quand j'explicite les modèles possibles, tu trouves que je complique.

au contraire, la démarche par "seuil de risque" consiste à présenter le même pari sous une forme non quantifiée (au sens des probabilités bayésiennes précédentes) et sur une base qui me paraît tout aussi légitime, mais la décision du type "décider au seuil de risque $5\%$" ne me semble pas permettre de justifier une quantification probabiliste du pari effectué en prenant la décision.

Dans le test de conformité d'une proportion, le fait de "décider au seuil de risque $5\%$" correspond bel et bien à une probabilité. C'est la probabilité, sous l'hypothèse $p=p_0$, lorsqu'on tire un échantillon de taille $n$ au hasard de façon équiprobable parmi tous les échantillons de taille $n$ que la proportion observée n'appartienne pas à l'intervalle de fluctuation.

Tu considères une urne ou tu sais que la proportion de boules rouges est exactement $p_0$. Tu prélèves un échantillon de taille $n$, tu comptes le nombre de boules rouges dans ton échantillon. Tu recommences cela 1000 fois, alors environ 50 fois sur ces 1000, la proportion dans l'échantillon ne va pas appartenir à l'intervalle de fluctuation au seuil de $95\%$. Dans environ $5\%$ des cas, le test va te conduire à rejeter l'hypothèse $p=p_0$ bien que celle-ci soit vraie. Et comme on te l'a déjà dit, ces "$5\%$" ne correspondent qu'au risque d'erreur de première espèce.


Evidemment lorsque tu appliques le test, ce n'est pas à une urne où tu connais déjà la proportion. Mais ça n'est pas grave. On ne "parie" pas que la proportion est $p_0$; on ne cherche pas à estimer la proportion; on cherche juste à tester si l'hypothèse est en contredite par l'observation. Les hypothèses nulle et alternative ne sont pas sur le même plan. C'est pour cela qu'on dit que le test est significatif uniquement lorsqu'il conduit à un rejet de l'hypothèse. Si la proportion tombe dans l'intervalle de fluctuation, ça ne prouve pas que l'hypothèse $p=p_0$ est vraie.

gerard0

Gilberte,

"je n'ai pas plus de 5% de chances de me tromper en pariant que l'urne mystérieuse n'est pas celle de proportion p1" est encore la même interprétation fautive du résultat du test. L'événement qui donne au plus 5% de chances de se tromper est "j'ai tiré dans l'urne de proportion p1". Tu noteras qu'il ne s'agit pas de conviction ou de pari. Le test laisse à l'utilisateur le choix de sa façon de conclure.

Introduire ici les stats bayésiennes n'apporte rien, d'autant qu'il ne s'agit pas de choisir entre les trois urnes, mais de savoir si l'urne dans laquelle on a tiré est une urne de proportion p1 : Le test ne parle pas des deux autres urnes dans lesquelles on n'a pas tiré de boules. Il n'a d'ailleurs pas été fait pour ce que tu proposes ici (qu'on peut traiter effectivement par des tirages et des probas conditionnelles).
Une des interprétations dite "bayésienne" est une surinterprétation des résultats qui permet, en partant d'idées à priori de les confirmer ou non. Ce n'est plus la pratique actuelle des spécialistes de la statistique bayésienne, qui utilisent fondamentalement les mêmes outils que les autres probabilistes.

Maintenant, on peut toujours tricher avec ce que proposèrent Fischer et Neymann en intégrant dans le résultat du test des choses qui n'y sont pas. Je le vois souvent chez des utilisateurs de tests qui n'y connaissent rien ("c'est significatif", traduit implicitement par "j'ai une preuve").

Cordialement.

Gipé

@afk :

tu écris : "Dans le test de conformité d'une proportion, le fait de "décider au seuil de risque " correspond bel et bien à une probabilité. C'est la probabilité, sous l'hypothèse p = po, lorsqu'on tire un échantillon de taille n au hasard de façon équiprobable parmi tous les échantillons de taille n que la proportion observée n'appartienne pas à l'intervalle de fluctuation."

je suis évidemment d'accord ! mais comment ne pas voir que cette probabilité-là N'EST PAS la "probabilité de se tromper si on choisit ou non l'hypothèse" ?

je ne comprends pas que l'amalgame ne t'interpelle pas le moins du monde... en tout cas un élève normalement constitué "a des chances" de poser un jour la question...

afk

mais comment ne pas voir que cette probabilité-là N'EST PAS la "probabilité de se tromper si on choisit ou non l'hypothèse" ?

C'est pour cela que j'ai commencé dans mon premier post par rappeler la notion d'erreur de première espèce et de seconde espèce.

Gipé

@afk : pourais-tu synthétiser, s'il te plaît, le fond de ta réponse sans entrer dans les calculs ?

gerard0

Là, Gilberte,

je ne te comprends plus. Le fait qu'une erreur soit possible et même qu'on la trouve dans certains manuels malsains ne change rien à la réalité mathématique.

Finalement, quel est ton problème ?

Cordialement.

Gipé

bonsoir Gérard,

je n'ai pas de problème, j'ai simplement posé une question en commençant ce fil :

" ma question est la suivante : sur quelles bases certains s'autorisent-ils à ajouter : "en faisant cela, je n'ai pas plus de 5% de chances de me tromper" ?"

pour moi le bilan actuel est le suivant :

- afk ma expliqué des calculs théoriques que je connaissais, mais qui ne répondent pas vraiment à la question, et il reconnaît d'ailleurs que ces calculs de donnent en rien "la probabilité de se tromper" (que ce soit en disant oui ou en disant non, peu importe...) mais fournissent simplement le moyen de faire intervenir dans le problème une valeur de probabilité,

- quant à toi tu ne m'a rien expliqué du tout par rapport à la question elle-même : tu as commencé par effectivement t'autoriser à dire : "il s'agit bien de la probabilité de se tromper" pour invoquer ensuite l'autorité des créateurs du test (!), puis tu m'as dit qu'il fallait faire attention à ce qu'on disait à des élèves (il me semble que c'est justement le fond de ma question...) et tu me parles maintenant de la "réalité mathématique"....

là je dois dire que je commence à ressentir, peut-être, un léger problème quelque part...

cordialement
Gilberte

afk

Remplace la phrase "en faisant cela, je n'ai pas plus de 5\% de chances de me tromper" par "en faisant cela, je n'ai pas plus de 5\% de chances de me tromper en rejetant à tort l'hypothèse $p=p_0$" et il n'y a rien à redire.

gerard0

Bon, j'ai compris :

Tu veux justifier la phrase "en faisant cela, je n'ai pas plus de 5% de chances de me tromper". Comme c'est une mauvaise interprétation de ce que fait le test, je ne peux que te dire cela. Afk a essayé de te l'expliquer, tu ne veux pas apprendre vraiment la théorie des tests, mais tu ne veux pas accepter non plus qu'elle ne permette pas cette conclusion. Tu n'as même pas lu jusqu'au bout ma première explication (sinon tu ne dirais pas "tu as commencé par effectivement t'autoriser à dire : "il s'agit bien de la probabilité de se tromper"" en coupant une phrase qui disait exactement ce qui était en cause). Finalement, tu ne veux pas comprendre. Donc la question est close. Reste dans ta confusion.

Gipé

bonsoir afk,

peut-être arrivons-nous à clarifier la question ; je veux bien remplacer la phrase par ce que tu proposes :

"en faisant cela, je n'ai pas plus de 5% de chances de me tromper en rejetant à tort l'hypothèse " et il n'y a rien à redire.

donc ma question est : qu'est-ce qui t'autorise à dire cette phrase ? quel est l'univers ? quelle est la loi de probabilité sur celui-ci ?

cordialement
Gilberte

afk

J'ai répondu 3 fois à la question: relis attentivement.

Parce que je suis plus patient que Gérard, et que je me suis peut-être mal exprimé:

Tu considères une urne contenant un ensemble $E$ de boules dont une proportion $p_0$ sont rouges. On considère alors comme univers l'ensemble $\Omega = E^n$ des échantillons de taille $n$ muni de la probabilité uniforme. La fréquence observée sur les échantillons est une variable aléatoire sur $\Omega$. L'affirmation est que la probabilité de l'évènement $\{\omega \in \Omega \mid f_n(\omega) \notin [p_0-\frac{1}{\sqrt{n}};p_0+\frac{1}{\sqrt{n}}]\}$ est inférieure à $0,05$. Autrement dit l'erreur de première espèce du test (la probabilité de rejeter à tort l'hypothèse $p=p_0$) est inférieure à $0,05$.

Gipé

(re)bonsoir afk,

je te remercie d'être patient ! disons aussi patient que je suis têtue...

je ne comprends pas ce que signifie cette phrase : "Autrement dit l'erreur de première espèce du test (la probabilité de rejeter à tort l'hypothèse p = po) est inférieure à 5%."

si tu ne me dis pas ce que signifie le mot probabilité dans l'expression "la probabilité de rejeter à tort..."

- accorde-moi que l'univers dont tu parles n'est pas celui sur lequel cette "probabilité" a cours,
- accorde-moi que tu n'as pas précisé d'univers ni de définition pour cette "probabilité"...
- accorde-moi que ma question n'est rien d'autre depuis le début que : la phrase "la probabilité de rejeter à tort..." est-elle autre chose qu'une formule du langage courant qui n'est pas formalisée ici dans le formalisme probabiliste ?

et je répète donc ce que, moi aussi, j'essaie de dire depuis le début : pour rendre formellement (et mathématiquement...) correcte une telle phrase, il faut un univers, une loi, etc.
et je ne connais personnellement que les entrées de type bayésien qui permettent cela...

bref. une question équivalente à ma question initiale est : quelqu'un peut-il m'expliquer une autre façon de voir le problème ?

cordialement
Gilberte

afk

Désolé mais je ne t'accorde rien du tout. Tu n'as toujours pas compris mon premier post rappelant la définition des erreurs de première et seconde espèce.

La proportion de boules rouges dans l'urne est fixée, déterminé, déterministe. Elle n'est en rien aléatoire. Il y a donc deux cas à distinguer:

Cas 1: La proportion réelle est égale $p_0$ (l'hypothèse $H_0$ est vraie). Dans ce cas, j'ai clairement explicité le modèle (ensemble des échantillons de taille $n$ muni de la loi uniforme). L'affirmation "je n'ai pas plus de $5\%$ de chances de me tromper en rejetant à tort l'hypothèse" dit que, dans ce cas ($H_0$ vraie) et pour ce modèle, la probabilité qu'on rejette l'hypothèse est inférieure à $0,05$.

Cas 2: La proportion réelle n'est pas égale à $p_0$ (l'hypothèse $H_0$ est fausse). Dans ce cas, l'affirmation "je n'ai pas plus de $5\%$ de chances de me tromper en rejetant à tort l'hypothèse" ne dit absolument rien. L'hypothèse étant fausse, on ne peut pas la rejeter à tort ! Puisqu'on est dans le cas où elle est fausse, se tromper consiste ici à ne pas rejeter l'hypothèse, c'est l'erreur de seconde espèce. Je n'ai rien explicité de son calcul.


[::o C'est tordant de toujours vouloir rejeter à tord [tort] AD]

afk

Bien vu AD -D
[À ton service AD]

Gipé

Bonsoir afk,

Contrairement à toi, je ne pense pas que les choses soient si simples. (tu as d'ailleurs donné, au début de tes interventions, un schéma de tests avec H_o et H₁ qui s'applique bien au cas du malade ou au cas du criminel... mais où il est clair que le problème du test par échantillonnage aurait beaucoup de mal à s'illustrer !)

Dans le problème qui nous occupe il s'agit de tester une hypothèse sur une proportion, c'est-à-dire sur une valeur continue prise entre 0 et 1, si bien que le problème change de nature :

En fait ton argumentation repose sur le calcul suivant : si la proportion étudiée est égale à p₀, alors après tirage de l'échantillon et d'après la règle de construction du test, il y a moins de 5 % de chances que je prononce la phrase "je rejette l'hypothèse selon laquelle la proportion est p₀".

Je t'accorde évidemment que cette phrase est fausse, et donc que, si elle est prononcée, elle sera prononcée à tort !

Cependant, le fait d'avoir a priori moins de 5 % de chances d'être amené(e) à prononcer cette phrase ne signifie pas (a posteriori) qu'une fois que j'ai été amené(e) à la prononcer j'aie moins de 5 % de chances de me tromper...

Pour le dire autrement : ce n'est pas parce que la proportion initiale est "déterministe" qu'elle est connue et que tu dois t'économiser de faire l'hypothèse que tu peux avoir affaire à d'autres valeurs (ne serait-ce qu'à toutes les valeurs suffisamment proches pour être "assimilables" à p_o au regard de la continuité des valeurs possibles).

Donc tu ne peux pas te contenter de faire comme si ton cas 1 était isolable des autres ! L'égalité précise à p_o n'a pas de sens ; et tu seras de ce fait obligé d'envisager un champ continu de possibilités... ce qui nécessitera le choix d'une mesure sur celui-ci... c'est-à-dire d'une "probabilité a priori".

Cordialement
Gilberte

afk

Dans le problème qui nous occupe il s'agit de tester une hypothèse sur une proportion, c'est-à-dire sur une valeur continue prise entre 0 et 1, si bien que le problème change de nature :

Non il s'agit de tester $H_0$ $p=p_0$ contre $H_1$: $p\neq p_0$.

ce n'est pas parce que la proportion initiale est "déterministe" qu'elle est connue et que tu dois t'économiser de faire l'hypothèse que tu peux avoir affaire à d'autres valeurs

Je ne m'économise rien du tout. Toutes les autres valeurs sont regroupées dans l'hypothèse $H_1$.

Personnellement, je ne vois pas en quoi il faudrait supposer une loi de probabilité "a priori" que suivrait $p$. Le choix de l'échantillon est aléatoire. La proportion réelle ne l'est pas. N'est-ce pas plus scientifique de modéliser la situation sans "a priori"? On peut considérer que l'expérimentateur a certaines attentes raisonnables et qu'on veut les incorporer à notre modèle sous la forme d'une loi de probabilité sur l'espace des paramètres ce qui conduit à pondérer les deux types d'erreurs mais ça dépasse de très loin l'objet des cours de lycée.

Bref, on tourne en rond. Tu sembles tenir à tout prix à ton point de vue bayésien. Soit. Dans ce cas, commence par lire sur Wikipedia ceci et cela puis ouvre un livre de stats inférentielle, pour un exposé complet de la théorie des tests, Neyman-Pearson, approche bayésienne etc... que je suis incapable de faire.

Sur le plan pédagogique, les modèles classiques me semblent déjà extrêmement difficiles à expliquer à de bons lycéens de TS donc je ne vois pas l'intérêt de compliquer. Et l'une des choses sur lesquelles il convient de bien insister, c'est la différence entre intervalle de fluctuation (test d'hypothèse) d'une part et intervalle de confiance (estimation) d'autre part. Et ce, même si le calcul de l'IC se fait en considérant les différents IF.

[Correction des liens. AD]

Gipé

bonjour afk,

la discussion est (pour moi) intéressante car elle me permet de localiser quelques points délicats :

1. comme je l'ai dit dans mon message précédent, il y a une ambiguïté indéniable entre les phrases :

- sous l'hypothèse p = p₀, il y a moins de 5 % de chances de prononcer (à tort) le verdict "je rejette l'hypothèse p = p₀",

- en prononçant, à l'issue du test, la phrase "je rejette l'hypothèse p = p₀" j'ai moins de 5 % de chances de me tromper.

2. même si je n'en vois pas vraiment d'autre, je ne tiens pas plus que ça à défendre le point de vue bayésien (j'ai dit moi-même qu'il comportait une dose d'arbitraire dans le choix du poids à donner a priori aux paramètres), mais si tu es suffisamment patient pour continuer la discussion peux-tu préciser ce que tu penses des questions suivantes :

- comment fonctionne le calcul dans le cas où "toutes les autres valeurs sont regroupées dans l'hypothèse H₁ " ? y a-t-il besoin d'introduire une forme d'hypothèse a priori (ne serait-ce qu'en supposant ces valeurs équidistribuées) ?

- quel sens réaliste peut-on donner à l'hypothèse H₀ sachant qu'en fait il n'y a de toutes manières aucune chance que p soit effectivement égale à p₀ dans un modèle continu ?... et que de toutes manières on est (presque) sûr d'avoir raison en rejetant cette hypothèse (trop) précise ?

cordialement
Gilberte

Gipé

bonjour,

je complète un peu ce que j'ai voulu dire dans le point 1 du post précédent où j'ai écrit :

"il y a une ambiguïté indéniable entre les phrases :

- sous l'hypothèse p = p₀, il y a moins de 5 % de chances de prononcer (à tort) le verdict "je rejette l'hypothèse p = p₀",

- en prononçant, à l'issue du test, la phrase "je rejette l'hypothèse p = p₀" j'ai moins de 5 % de chances de me tromper. "

L'ambiguïté me semble pouvoir se résumer de la façon suivante : la seconde phrase tente d'exprimer une mesure de la crédibilité à accorder à un test alors que la première, tout en donnant cette impression (de manière tout à fait rhétorique) n'exprime aucune information sur une quelconque crédibilité à accorder au test vis-à-vis de la réalité.

considérons en effet le même test que celui qui est détaillé par afk et décidons de rejeter l'hypothèse p = p₀ exactement dans le cas contraire, c'est-à-dire lorsque la proportion observée n'appartient pas aux deux intervalles situés loin de la valeur p₀ ...

on pourra écrire :

- sous l'hypothèse p = p₀, il y a au moins 95 % de chances de prononcer (à tort) le verdict "je rejette l'hypothèse p = p₀",


Bien sûr, on me rétorquera que c'est idiot ! mais non : c'est mon test qui est idiot parce que tout esprit normalement constitué dira : vous avez décidé de prononcer le verdict de rejet dans des conditions où cela n'est pas légitime du point de vue de la "réalité"...

Le problème c'est que la "légitimité vis-à-vis de la réalité" est mise en question par la deuxième phrase proposée ci-dessus et pas par la manière de voir qui sous-tend la première phrase. Donc je reviens à la question posée initialement : qu'est-ce qui rend "qualitativement" le test dont parle afk "légitime vis-à-vis de la réalité" et qu'est-ce qui permettrait éventuellement de le rendre légitime "quantitativement" si on veut mesurer les chances d'avoir tort ou raison ?

cordialement
Gilberte

afk

Fin du message précédent qui ne s'est pas affichée

Bref, on tourne en rond. Tu sembles tenir à tout prix à ton point de vue bayésien. Soit. Dans ce cas, commence par lire sur Wikipedia ceci et cela puis ouvre un livre de stats inférentielle pour un exposé complet de la théorie des tests, Neyman-Pearson, approche bayésienne etc... que je suis incapable de faire.

Sur le plan pédagogique, les modèles classiques me semblent déjà extrêmement difficiles à expliquer à de bons lycéens de TS donc je ne vois pas l'intérêt de compliquer. Et l'une des choses sur lesquelles il convient de bien insister, c'est la différence entre intervalle de fluctuation (test d'hypothèse) d'une part et intervalle de confiance (estimation) d'autre part. Et ce, même si le calcul de l'IC se fait en considérant les différents IF.

Gipé

bonsoir afk,

je ne pensais pas avoir posé une question impossible ! depuis le début, gérard et toi me renvoyez à des affirmations qui vous semblent indiscutables et lorsque je les mets en cause avec des arguments qui me semblent tout à fait élémentaires vous me renvoyez à des documents extérieurs ou à des positions qui vous semblent indéfendables, au nom du programme de lycée...

est-il donc si difficile de reconnaître qu'au fond ce n'est pas forcément moi qui suis "confus" (comme dit gérard) mais que la question que je pointe n'est pas si simple et qu'elle est en réalité très profonde ?

il ne s'agit pas de prétendre mettre le sujet en débat au niveau du lycée, mais bel et bien de se poser, entre nous, des questions à propos de points de ce programme.

cordialement
Gilberte

afk

Bonsoir, je ne sais pas trop quoi te dire. La question n'est pas mathématique mais sur les hypothèses, l'interprétation et la pertinence d'un modèle mathématique.

Si tu te places dans le cadre classique:
1) On considère la proportion réelle comme non aléatoire. Seul le choix de l'échantillon est aléatoire.
2) Il y a une asymétrie entre les hypothèses $H_0$ et $H_1$ et une asymétrie entre les décisions: seul le rejet est significatif.
Alors il n'y a aucun problème d'interprétation.

Il faut prendre le temps de comprendre les notions d'erreur de seconde espèce et de puissance d'un test.

Par exemple, s'il y a 501 boules rouges sur 1000 dans l'urne et qu'on cherche à tester l'hypothèse $p_0 = 0,5$. On a $p_{reelle} = 0,501 \neq p_0$. On est donc dans le cas où l'hypothèse est fausse. Alors, la probabilité de ne pas rejeter l'hypothèse $H_0$ se calcule en utilisant que $n f_n$ suit une loi $Bin(n,p_{reele})$ et on va trouver
$$
\mathbb{P}_{p_{reelle}}(f_n \in IF_{p_0,0,95}) \approx 0,95
$$
Donc pour $95\%$ des échantillons, le test ne va pas être significatif c'est à dire qu'il ne va pas conduire à rejeter $H_0$.

Que se passe-t-il si $p_{reelle}$ est plus éloignée de $p_0$? Alors, la probabilité ci-dessus va décroitre relativement rapidement. Ceci conduit à étudier la fonction $\pi: p \mapsto \mathbb{P}_{p}(f_n \in IF_{p_0,0,95})$ qui est appelée puissance du test. Elle mesure la capacité du test à détecter le fait que $H_0$ soit fausse.

L'erreur de seconde espèce du test est $\beta^* = \sup_{p\neq p_0} \pi(p) \approx 0,95$ ce qui peut paraître énorme.

Mais, on pouvait évidemment s'y attendre: s'il y a 501 boules rouges sur 1000 dans l'urne et qu'on cherche à tester l'hypothèse $H_0$: $p_0 = 0,5$ contre $H_1$: $p\neq p_0$, alors on ne va pas vraiment pouvoir rejeter correctement $H_0$ sauf à vider l'urne et inspecter les boules une par une. La méthode statistique ne s'applique pas. Mais dans la pratique, si on applique le test c'est parce qu'on est conscient de cela et qu'on considère que le fait d'avoir $p_{reelle}=0,5$ ou $p_{relle}=0,501$, n'est pas bien grave. En revanche, si $p_{reelle} = 0,6$, alors le test va permettre de rejeter l'hypothèse pour un bien plus grand nombre d'échantillon (a toi de faire le calcul exact).

Gipé

Bonsoir afk,

Je n'ai évidemment pas dit que je n'étais pas d'accord avec tes calculs, mais simplement que je remettais en cause l'interprétation que tu en avais donnée précédemment pour répondre à ma question. Pour ce qui est de la trame du calcul à faire pour déterminer H1, c'est un peu la même chose, mais il me semble que tu dois aussi envisager de prendre en compte la taille de l'échantillon.

Cela dit mon problème n'est pas là. Il est, comme tu le dis, dans l'adéquation du "modèle mathématique" à la réalité... Il faut en effet convenir que la plupart des discours que tu as résumés jusqu'ici s'appliquent (paradoxalement) à la situation suivante :

je veux tester une hypothèse p = p₀ relativement à un certain paramètre p ; je construis le test suivant :
- je lance deux dés
- si j'obtiens un double six je décide de rejeter l'hypothèse p = p₀ ,
- si je n'obtiens pas un double six je décide de retenir l'hypothèse p = p₀.

en fait ce test a les propriétés suivantes :
- sous l'hypothèse que p est vraiment égal à p₀ j'ai moins de 5 % de chances de rejeter à tort cette hypothèse,
- sous l'hypothèse que p n'est pas égal à p₀, j'ai plus de 95 % de chances de conserver à tort l'hypothèse p₀ .

Je suis d'accord avec quiconque me dira que ce test est idiot (encore qu'il soit pratiqué dans pas mal de processus de décisions...) mais il n'en reste pas moins que pour démontrer qu'il est idiot (en théorie des probabilités) il faut trouver le moyen d'accéder quantitativement à la probabilité "d'avoir tort ou raison" par rapport à la réalité étudiée et ne pas se contenter des calculs qui donnent la probabilité que le verdict du test soit ceci ou cela... En d'autres termes est il aussi difficile de démontrer que mon test est idiot que de montrer que le tien est crédible !...

Encore faut-il se poser la question, encore faut-il avoir une réponse convaincante à cette question : pourquoi le choix pour le test de faire appel à l'événement "tomber à l'extérieur de l'intervalle choisi" est-il plus pertinent que de lancer mes deux dés ?

Je ne reviens pas sur l'analyse bayésienne mais j'avoue que, malgré un certain arbitraire dans la modélisation elle est (à ma connaissance) la seule qui puisse vraiment permettre de quantifier des éléments de réponses à cette question. Mais pour tout dire, j'ai longtemps cherché des explications plus élémentaires et reposant sur le bon sens... sans en trouver ! Et c'est pour cela que j'ai posé la question débutant ce fil.

Il y a bien moyen de trouver des "présomptions" donnant à penser que le modèle que tu as décrit n'est pas si mauvais que cela : ce sont les variations fonctionnelles que tu as en partie décrites dans le post précédent et qui semblent coller de façon logiquement adéquate avec les questions concrètes... Ce type d'argument n'est pas vide (loin de là) mais il revient à se contenter de dire : la méthode que l'on a trouvée n'est pas si mauvaise puisqu'elle s'adapte de manière suffisamment idoine aux situations...

Comme je l'ai dit en commençant, j'espère quelque lumière venant de quelque spécialiste ; mais en ce qui me concerne j'en suis arrivée au stade suivant chaque fois que je me suis trouvée dans l'obligation d'expliquer à des étudiants le pourquoi de cette façon de procéder :

" 1. Le principe de la méthode du "seuil de risque" ne donne pas une probabilité calculable du risque de se tromper par rapport à la réalité,
2. l'explication conduisant au rejet repose sur les deux principes suivants :
a) "si un événement ayant (à l'avance) une probabilité très faible de se produire se produit effectivement... alors il y a de grandes chances que mon calcul de la probabilité soit faux... Donc il n'est déraisonnable de penser que l'hypothèse (p = p₀ par exemple) qui m'a permis de le faire soit fausse."
b) "le principe précédent mal employé peut conduire à des conclusions débiles, mais tout porte à croire qu'il est valable lorsque l'événement considéré est du type "être loin de la moyenne" du phénomène étudié" "

Evidemment, parmi les conclusions débiles possibles il y a l'exemple du double six que j'ai évoqué précédemment... mais il y a aussi — et c'est plus intéressant au plan philosophique — ce que j'appellerai l'exemple de la bonne étoile :
"Comme chacun sait, si je joue à la loterie j'ai très peu de chances de gagner ; supposons alors que je joue et que je gagne... Je peux (au nom du principe 2.a) ci-dessus) me dire la chose suivante : le calcul de la probabilité que j'avais de gagner fondé sur l'hypothèse d'équiprobabilité me donnait très peu de chances, donc comme je viens de gagner je suis amenée à penser qu'il faut rejeter l'hypothèse d'équiprobabilité et considérer désormais que je suis plus "chanceuse" que les autres !..."

Chacun pourra méditer ce corollaire et son utilisation par les casinos et la française des jeux... mais la vraie question à laquelle je souhaiterais vraiment une réponse concerne naturellement la discussion du principe 2.b). Le seul embryon de justification que j'ai trouvé jusqu'à présent est du type suivant : si les événements qui marchent sont du type "être loin de la moyenne" c'est, au fond, parce que ce sont les seuls qui sont liés à la situation étudiée et que l'on peut formuler à l'avance sans introduire de choix arbitraires par rapport à cette situation...

Cordialement
Gilberte

Christian Vassard

Bonjour,

Je me permets de me mêler à cette conversation passionnante, mais je tiens à préciser que je ne suis pas un spécialiste des probabilités. Ma contribution n'apportera sans doute pas grand chose, mais peut-être éclairera-t-elle certains aspects de ce problème délicat.

Avec ton exemple du dé, je trouve que tu ne testes pas une hypothèse. Certes, tu cherches à prendre une décision en penchant fortement (par le choix que tu fais) du côté $p=p_0$... Le dé te permet de trancher, la courte paille serait possible, les romains auraient utilisé les augures... mais on est bien d'accord que cela ne relève pas des mathématiques...
Il faut revenir au sens littéral de "tester une hypothèse": c'est supposer qu'elle est vraie et examiner un résultat obtenu en rapport avec cette hypothèse faite... Le jet de dé que tu décris ne permet en aucune façon de le faire: c'est certes un instrument de décision (pourquoi pas!) mais qui ne s'appuie en aucune façon sur l'hypothèse à tester.

Un peu plus loin, tu parles de risque de se tromper par rapport à la réalité. Or on n'est pas dans la réalité: il s'agit d'accepter ou de refuser un modèle, non pas de statuer sur la vérité ou non du modèle (un modèle est d'ailleurs toujours vrai, le problème est de savoir s'il peut s'appliquer ou non à la situation étudiée).
Sans avoir fait beaucoup de probabilités, il est bien clair que si je lance 1000 fois un dé, et que j'obtiens 800 fois pile, je suis en droit de rejeter le fait qu'il soit possible de modéliser la situation par l'équiprobabilité.
Mais si l'on revient à la réalité, tout peut se produire, y compris qu'un dé normal produise ce résultat. C'est certes extrêmement improbable.
Comme il me faut un instrument de décision, je choisis alors de rejeter le modèle de l'équiprobabilité avec un risque minime de me tromper (celui qu'a un dé normal de produire plus de 800 fois pile).

Dans ton exemple de la loterie, il me semble qu'il faut clairement formuler une hypothèse: rejetter l'équiprobabilité ne me paraît pas suffisant. Si l'on compare avec mon exemple précédent du dé, en quoi le fait qu'un événement particulier se soit produit, fût-il de probabilité faible, permet de conclure qu'il remet en cause le modèle de l'équiprobabilité de tous les évenéments élémentaires? En tout cas, si on affirme ceci, on sort là encore des mathématiques...

Ma réponse à ton 2)b) est donc donnée, je ne sais pas si tu la trouveras satisfaisante. L'avantage du test, c'est qu'il donne une limite autorisant la décision. Avec les 800 piles de mon dé, tout le monde rejettera le modèle équiprobable. Mais avec 600 ou 550, quelle décision faudra-t-il prendre? Les mathématiques donnent alors une réponse, et on peut chosir au préalable le risque de se tromper (car on se trompe toujours puisqu'en théorie, TOUT peut se produire, même qu'un dé parfait renvoie 1000 fois pile sur 1000 lancers).
Les arguments des interlocuteurs précédents, afk et gérard, le démontrent fort bien et me paraissent très clairs et très précis.

J'espère ne pas avoir enfoncé trop de portes ouvertes. Si c'est le cas, je te prie de m'en excuser; sinon, je serais ravi d'avoir fait un peu avancer le débat.

Bien amicalement,

Christian

gibé1

Bonjour Christian,

Merci pour tes remarques et pour l'intérêt que tu accordes au problème. Je crois que ce serait bien que plusieurs personnes apportent ainsi leur pierre à l'édifice : en ce qui me concerne, même si j'ai passé mon temps à contredire afk, ses interventions m'ont beaucoup permis d'améliorer ma réflexion et mon explicitation des questions.

Je reviendrai sans doute sur tes réflexions car je n'ai pas trop le temps en ce moment de la journée, mais je voudrais simplement faire deux remarques globales :

1) tu estimes à bon droit que mon "test par les dés" est farfelu, je dirais qu'il relève manifestement de la "pensée magique"... mais la vraie question est à l'inverse : qu'est-ce qui prouve que ta phrase "il est bien clair que si je lance 1000 fois un dé, et que j'obtiens 800 fois pile, je suis en droit de rejeter le fait qu'il soit possible de modéliser la situation par l'équiprobabilité" ne relève pas, de son côté, d'une autre forme de pensée magique ?...

2) tu dis d'autre part : "on n'est pas dans la réalité: il s'agit d'accepter ou de refuser un modèle, non pas de statuer sur la vérité ou non du modèle (un modèle est d'ailleurs toujours vrai, le problème est de savoir s'il peut s'appliquer ou non à la situation étudiée)." Je ne suis pas trop d'accord sur deux points : d'abord tu ne dis pas vraiment quelque chose de différent de ce que j'ai dit, mais tu te débrouilles simplement pour éliminer le mot "réalité"... (ce qui ne me gêne pas du tout), mais, surtout, je ne pense pas qu'il ne s'agisse que de parler de "modèle" (surtout dans le sens actuel qui voit des modélisations un peu partout) il s'agit au contraire de parler de rien moins que d'une "méthode permettant de forger des modèles" et ce n'est pas un simple problème d'adéquation de tel ou tel modèle à telle ou telle situation : c'est un problème de validation d'une théorie !

Cordialement
Gilberte

Christian Vassard

Bonjour Gilberte,

Lorsque je rejette l'équiprobabilité pour la pièce, je ne le fais pas au nom d'une "pensée magique" mais d'un raisonnement mathématique qui me permet de chiffrer mon choix: je sais que j'ai un risque de me tromper, risque que l'on peut calculer et qui est dans ce cas microscopique. Pas de magie là-dedans, bien au contraire. C'est comme le joueur de bridge qui sait par exemple que le roi qu'il cherche à prendre en impasse a plus de chances de se trouver à sa droite qu'à sa gauche: son choix est raisonné, il peut se tromper certes, mais conformément au calcul des probabilités.

Je crois à l'inverse de ce que tu affirmes qu'il est essentiel en mathématique de distinguer le modèle de la réalité, en tout cas de distinguer le discours qui décrit le monde réel du discours mathématique, si l'on veut éviter de parler de modèle. C'est déjà le cas en géométrie. Dans la réalité du monde physique, dire que deux droites sont concourantes en un point ou que la diagonale du carré mesure le côté multiplié par $\sqrt {2}$ n'a que peu d'intérêt, en tout cas ne nécéssiterait pas tout l'arsenal théorique qu'on met en oeuvre dans ces démonstrations puisqu'une simple vérification suffirait.
En probabilité, il en va de même. Il me semble que c'est un point important dans le discours qui nous occupe. C'est aussi pour cela que je préfère dire qu'on accepte ou qu'on rejette l'hypothèse, en présence des informations dont on dispose, plutôt que d'affirmer que l'hypothèse est vraie ou fausse. Ne serait-ce pour souligner que dans la théorie des tests, les choix sont faits sous la responsabilité du mathématicien, qui prend des décisions avec ce qu'il sait en sachant qu'il a un risque de se tromper.

Bref, tu l'as compris, on est aux antipodes d'une "pensée magique", comme celle que tu décris.

Bien cordialement,

Christian

Gipé

Bonsoir Christian,

Tu écris

Lorsque je rejette l'équiprobabilité pour la pièce, je ne le fais pas au nom d'une "pensée magique" mais d'un raisonnement mathématique qui me permet de chiffrer mon choix: je sais que j'ai un risque de me tromper, risque que l'on peut calculer et qui est dans ce cas microscopique.

comme c'est au fond le sens même de la question que j'ai posée en entrée et à laquelle afk s'est efforcé de répondre jusqu'ici... peux tu expliciter ce que tu entends exactement par là ?

cordialement
Gilberte

Christian Vassard

Bonjour,
Je suppose que j'ai lancé $1000$ fois le dé et obtenu $600$ fois pile (avec $800$, les probabilités obtenues sont nulles).
Si l'on suppose la pièce parfaitement équilibrée, la probabilité d'obtenir plus de 600 fois pile est égale selon ma calculatrice à $\alpha = 1,36 \times 10^{-10}$. On pourrait faire le calcul en approximant la loi binomiale par la loi normale mais ma calculatrice donne directement le résultat.
Je peux donc admettre, avec le risque $\alpha$ de me tromper que la pièce n'est pas équilibrée et rejeter l'hypothèse d'équiprobabilité initialement faite.
Bien cordialement,
Christian

Gipé

Bonjour Christian,

A mon avis (mais c'est à chacun de juger) tu reprends essentiellement l'exposé de afk, mais avec des variantes de formulation :

Je suppose que j'ai lancé 1000 fois une pièce et obtenu 600 fois pile. Si l'on suppose la pièce parfaitement équilibrée, la probabilité d'obtenir plus de 600 fois pile est égale selon ma calculatrice à alpha = 1,36 x 10–10 . Je peux donc admettre, avec le risque alpha de me tromper que la pièce n'est pas équilibrée et rejeter l'hypothèse d'équiprobabilité initialement faite.

Je pourrais te renvoyer directement à ce que j'ai dit à afk, mais je vais essayer de reprendre mes objections par rapport à ta formulation, ne serait-ce que parce que la façon de formuler les choses a forcément une importance non négligeable.

— sur ta position vis-à-vis de la "réalité" :

Tu disais que l'adéquation à la réalité n'était pas ce qui t'intéressait... je trouve que ce que tu dis là n'est rien d'autre que le contraire...

— sur les différences de contexte entre ta formulation et celle de afk :

Contrairement à afk, tu ne parles pas d'un type de test en général, mais tu raisonnes sur une expérience (de pensée...) précise. Apparemment il n'y a pas une grande différence, mais ce qui me gêne c'est que cela t'amène à définir le test après l'expérience ! Ton risque alpha te semble plus significatif que le 5 % que afk utilisait, mais tu ne le choisis qu'au vu du résultat... Avec une méthodologie de ce type, je ne vois pas pourquoi ton raisonnement est différent de celui que j'ai pris plus haut comme "exemple de la bonne étoile"...

— sur ta "démonstration" de la légitimité de ton raisonnement :

Tu écris "je peux donc admettre ...", il me semble que c'est un peu court comme démonstration ! Tu dois en dire plus si tu veux prétendre prouver que tu n'es pas dans une simple démarche de "pensée magique"...

— sur ta quantification du risque d'erreur :

C'est le point de départ du fil et, me semble-t-il, c'est en cherchant sérieusement à répondre à cette question que l'on mesure les véritables difficultés du problème. Je te soumets trois objections constituant des pistes susceptibles d'avancer :

a. Qu'est-ce qu'une pièce équilibrée ? Toute pièce a-t-elle intrinsèquement une probabilité p₀ de donner pile ou face, et ce nombre est-il à choisir dans les nombres réels ? Dans ce cas tu n'as, d'une part, aucune chance de savoir un jour la valeur p₀ vraiment attachée à ta pièce et, d'autre part, la (presque) certitude qu'elle n'est pas égale à 0,5. Il te faut donc raffiner ton raisonnement pour tenir compte des approximations indispensables : comment fais-tu ?

b. Tu as choisi ton risque alpha sur l'idée de "tomber au-delà de 800...", pourquoi n'as-tu pas pris le risque de "tomber exactement sur 800" ? cela aurait amélioré ton score et la certitude de ne pas conclure à tort...

c. Tu dis que ton risque est égal à alpha... mais pourquoi ? Je t'accorde que tu as effectivement fait un calcul (même si c'est ici ta calculatrice...), mais tu nous dis que ce calcul a été fait sous une hypothèse que tu rejettes ! Comment te débrouilles-tu avec cette contradiction ?

Voilà. Bien entendu, ce n'est pas à ta personne que je fais ces objections car le raisonnement que tu as résumé est le raisonnement que j'ai accepté longtemps comme légitime... et les objections sont en fait celles que je me suis faites à moi-même avec le temps !

Cordialement
Gilberte

Christian Vassard

Bonjour Gilberte,
Je vais reprendre rapidement les points que tu m'opposes, mais j'ai bien peur que tu entendes mal ce que je te dit, à moins que ce soit moi d'ailleurs

Sur la réalité, j'ai dit qu'il fallait distinguer le discours qui relève du monde qui nous entoure (ici cela serait les statistiques) du discours mathématique (les probabilités). Mais je n'ai à aucun moment dit que la réalité ne m'intéressait pas...

Tu es gênée parce que j'ai défini le test après l'expérience. Admettons, n'étant pas spécialiste, je ne sais pas si mon approche ici est très règlementaire. Changeons légèrement de point de vue. Je sais que si je jette 1000 fois une pièce de monnaie équilibrée, la probabilité d'avoir entre 460 et 540 piles est égale à 0,989 (dixit ma calculatrice).
J'ai une pièce entre les mains. Je la jette 1000 fois et j'obtiens 600 piles. Acceptes-tu, ou non, pour cette pièce le modèle de l'équiprobabilité? Si tu le rejettes quelle probabilité as-tu de te tromper? Le fais-tu par pensée magique ou par raisonnement mathématique?

Je peux admettre... j'aurais dû dire je peux accepter le modèle de l'équiprobabilité, si tu préfères, car il n'y a rien à admettre mais une décision à prendre.

Une pièce équilibrée n'existe précisément que dans un modèle mathématique, sûrement pas dans la réalité: on retrouve là la distinction modèle-réalité qui est essentielle sur ce type de sujet.

Le calcul est fait sur une hypothèse que je rejette finalement. Cela ne me gêne aucunement. C'est même fréquent en mathématiques. Une démonstration par l'absurde est basée sur le même principe. Ce qui est important en mathématiques n'est pas tant la vérité que la cohérence du discours.

Voilà quelques-unes de mes réponses. Elles te satisfairont ou pas, mais il me semble que l'ensemble se tient. Si tu n'en es pas convaincue, il faut je pense te pencher d'un peu plus près sur le cours sur les tests d'hypothèse, comme par exemple : http://spiral.univ-lyon1.fr/mathsv/

Bien cordialement,

Christian

Gipé

(re)Bonjour Christian,

Tu ne l'as sans doute pas compris, mais ce n'est pas la peine de me renvoyer au(x) cours sur les tests ! Comme pour afk, il me semble que c'est plutôt là un signe du fait que tu es à court d'arguments et que ceux que tu viens d'énoncer te donnent le sentiment de n'être qu'à moitié clairs et convaincants...

Comme tu le dis — et c'est d'ailleurs la question que j'ai posée au début — le problème est résumé dans la phrase :

Si tu le rejettes [le modèle de l'équiprobabilité] quelle probabilité as-tu de te tromper ?

Mais lorsque je te dis que la probabilité que tu donnes pour répondre à cette question est le résultat d'un calcul que tu viens de faire à partir d'une hypothèse que tu considères toi-même comme inexacte, tu écris :

Cela ne me gêne aucunement. C'est même fréquent en mathématiques. Une démonstration par l'absurde est basée sur le même principe. Ce qui est important en mathématiques n'est pas tant la vérité que la cohérence du discours.

N'est-ce pas là [pour le dire gentiment] une façon de s'en tirer un peu facile ?...

Cordialement
Gilberte

afk

@Gilberte On ne te conseille pas de lire 2 paragraphes de Wikipedia (ou, si tu as le temps, un cours sur les tests) parce qu'on est à cours d'argument mais parce qu'il serait bon que tu prennes connaissance des principes de base. Si tu refuses d'apprendre ces principes, la discussion est vaine.

gipé0

bonjour afk,

tu penses vraiment qu'il faut faire appel à tant de principes de base in-résumables pour ne pas être choqué par la réponse de Christian citée dans le post précédent ?

cordialement
Gilberte

svain

Je me permets aussi d'ajouter une petite remarque pour Gilberte.
Il me semble au fil de cette discussion, que vous n'avez pas saisi la portée de la loi des grands nombres en probabilité et statistique.
Pour résumer de manière simpliste cette loi, elle affirme que lorsque l'on répète une expérience aléatoire un grand nombre de fois, alors, il n'y a plus de "hasard"...
Bien cordialement.

ned

"........il n'y a plus de hasard....."
Je reste perplexe..... et incrédule face à une telle phrase.

Bien cordialement.