Test statistique, alpha 5% et precision

benoit3166

Bonjour à tous,
Lorsqu'on fait un test statistique, on fixe une valeur alpha, généralement à 5% (en biologie).

Une collègue me dit qu'en fixant un alpha à 0.01 soit 1%, nous sommes plus précis qu'à 5%.
J'ai répondu que ce n'était pas une histoire de précision, mais qu'en modifiant la valeur alpha, nous jouons sur la sensibilité et la spécificité du test en fonction des échantillons testés.

Peut-on vraiment parler de précision quand on fixe alpha ?
Je vous remercie de votre aide.
À bientôt,

ChristopheC

Bonjour,
Dans un test statistique, si on note $(H_0)$ l'hypothèse nulle et $(H_1)$ l'hypothèse alternative, $\alpha$ est ce que l'on appelle l'erreur de première espèce: c'est la probabilité de choisir l'hypothèse $(H_1)$ à tort. Je n'ai jamais lu ou entendu le terme "précision" pour $\alpha$.
L'erreur de seconde espèce, notée $\beta$, est la probabilité de choisir $(H_0)$ à tort. Lorsqu'on diminue l'erreur de première espèce $\alpha$ (par exemple en passant de $5 \%$ à $1 \%$), alors l'erreur de seconde espèce $\beta$ va augmenter (et en dehors de cas particuliers, l'erreur $\beta$ est difficile à calculer).
Cordialement,

gerard0

Bonjour.

Je ne sais pas s'il faut parler de précision, de sensibilité ou de spécificité dans cette circonstance. En tout cas, fixer le seuil à 0,1% plutôt qu'à 5% réduira le risque de refuser à tort l'hypothèse H0 (*). Mais évidemment, augmente le risque de ne pas refuser H0 alors même qu'elle est fausse (*). Et pour des tests sur des quantités continues, où H0 peut être très peu fausse, ou très fausse, ça augmente le risque de ne pas refuser H0 quand elle est assez fausse.
Ce qui serait peut-être plus en rapport avec la précision, c'est ce qu'on appelle la puissance du test (pour un test par échantillon, on augmente la puissance quand la taille de l'échantillon grandit.

Cordialement.

(*) On se rapproche des idées de sensibilité ou de spécificité, mais un test statistique ne donne pas une réponse binaire (oui/non) : ce n'est pas H0 vraie contre H0 fausse. C'est plutôt H0 à rejeter contre "on ne sait pas".