Régression linéaire

malavita

Bonsoir à tous,

lorsque on effectue une régression linéaire simple de $Y$ en $X$, on obtient deux coefficients $a$ et $b$ de sorte que la v.a. $aX+b$ est la projection orthogonale de $Y$ sur $Vect(1,X)$ pour le produit scalaire "usuel". Le calcul de $a$ et $b$ nécessite de connaître les lois de $X$ et $Y$. Jusque ici tout va bien.

Lorsque on ne connait pas ces lois, on utilise des estimateurs. On connait des réalisations $(X_1,\dots,X_n)$ et $(Y_1,\dots,Y_n)$ de ces variables, on est alors en mesure d'estimer moyenne, écart-type, coefficient de corrélation...

Pour étudier la "validité" de l'ajustement affine, on est amené à calculer l'écart résiduel entre les résultats de $Y$ et les valeurs prises par les réalisations, cet écart est : $$\sum_{i=1}^n (Y_i-aX_i-b)^2$$

Cet écart fournit entre autre une estimation de la variance de $U=Y-aX-b$ non biaisée :

$$\frac{1}{n-2} \sum_{i=1}^n (Y_i-aX_i-b)^2$$

La question est : d'où vient ce satané $n-2$ ?

Bonne soirée
F.

PS. N'étant pas familier des statistiques, il n'est pas totalement improbable que j'utilise parfois un vocabulaire inapproprié ;-)

gerard0

Bonjour.

Ce n-2 apparaît dans la preuve, qu'il faudrait étudier (je ne l'ai pas). Intuitivement, le fait d'avoir utilisé deux paramètres (moyenne et écart type) par variable pour définir a et b fait qu'on a perdu deux degrés de liberté. Mais c'est une heuristique très peu fiable ...

Cordialement.

Dom

J’ai en tête le sujet des estimateurs avec biais ou sans biais. Mais de mémoire c’était un $n-1$. 

Une recherche donne ceci : https://www.acei-services.com/fr/ressources-metrologie/176-theorie-de-l-estimation
Mais je ne m’y suis pas plongé…
édit : ici, théorème 5, c’est bien $n-2$, j’ai confondu avec autre chose. 

https://www.math.u-bordeaux.fr/~mchabano/ProbaAgreg1314-COURS4-RegressLin.pdf

J’aimerais avoir le temps de revoir ces choses là pour obtenir une preuve. 

malavita

Merci,
je vais jeter un oeil sur le poly de M. Chabano.
Bonne journée
F.

gebrane

Si tu es à l'aise avec de l'anglais, voici une vidéo qui explique. Regarde la fin de la vidéo pour voir si c'est ce que tu cherches puis regarde depuis le début      https://www.youtube.com/watch?v=FYqPHCjLK8Q

Georges Abitbol

Ca a l'air d'être ça. Ca me rassure que les calculs soient aussi compliqués : je me suis lancé dans un truc horrible, j'ai déjà recommencé trois fois...

gebrane

Oui le calcul est pénible et écrire en Latex une preuve détaillée est aussi pénible, je passe mon tours

Georges Abitbol

En fait je crois que je me perds parce que je ne sais plus qui est aléatoire ou non... C'est l'horreur cette histoire !

Dom

Déjà quand j’avais compris le $\sigma_{n-1}$ c’était une victoire personnelle alors que les calculs prennent quelques lignes.

gebrane

On compte sur toi @Dom pour une rédaction Latex. ( Je dis cela car je te connais très bien Dom depuis l'équation fonctionnelle ardue: lorsque tu décides de trouver, tu trouves)

Dom

Haha. Mon cher gebrane, je te remercie, tu m’es fort agréable. La conjoncture actuelle monopolise pas mal de mon temps, hélas.
Comme tant d’autres choses, je note ça dans un coin de ma tête, dans le dossier « à faire ». Mais ces dossiers demandent certainement au moins une seconde vie 🤣

malavita

En tout cas vos réponses me rassurent, ça avait l'air pénible...et ça semble bien l'être ;-)  I will look the video now....good evenning !
F.

gebrane

Oui la conjoncture actuelle m'effraie aussi dans le sens suivant  je crains me réveiller le matin avec une bombe nucléaire sur la tète

Georges Abitbol

Je fais des cauchemars avec tout cet aléatoire. Je continue d'essayer ! Mais les références que je suis ne sont pas du tout claires sur qui est aléatoire et qui est fixé, c'est très embêtant. J'ai déjà des pages et des pages de calculs juste pour un des six termes du gros calcul que j'avais commencé, et je ne suis pas du tout sûr de moi, j'espère qu'il y a un point de vue un peu plus conceptuel sur tout ceci...

Dom

D’une part je ne sais pas si je suis capable d’en venir à bout* (je n’ai rien commencé du tout…), d’autre part les interventions (notamment celle de Georges 😀) ne m’encouragent absolument pas à m’y risquer 🤣

***rien que de démarrer, déjà…

gebrane

John Wayne n'a pas besoin de personne, il a décidé de trouver , il va trouver. Mais Dom n'a pas encore décidé de trouver 

malavita

Bonjour à tous, et à Georges en particulier.

De ce que j'ai compris, l'idée conceptuelle sous jacente, est que l'espérance conditionnelle de $Y$ sachant $X$ (dans le cas où l'on effectue une régression linéaire de $Y$ en $X$) est égale à $aX+b$. Du coup pour calculer des espérances d'estimateurs, on utilise fréquemment la relation $$E\big(E(Y\mid X)\big)=E(Y).$$ Ce qui ne me semble pas toujours fait de façon explicite dans les diverses ressources que l'on trouve, ce qui explique que l'on s'y perde un peu entre ce qui est fixé et ce qui ne l'est pas... Le polycopié donné par Dom, que je remercie, m'a bien aidé sur ce sujet...

Pour ma part, je viens d'achever ce satané calcul... j'obtiens malheureusement un facteur $n-1$ au lieu de $n-2$ Je vais donc y retourner !

Et mes excuses à Georges pour l'avoir embringué dans ces fichues histoires d'estimateurs ;-)
F.

gebrane

Bon je vais me pencher sérieusement sur le calcul et rédiger une preuve  si l'auteur de la question s'intéresse pour une preuve( pour comprendre la vidéo il faut lire les vidéos précédentes )

malavita

Bonsoir Gebrane, l'auteur de la question continue à gratter du papier.....;-) Sur ce même sujet, il y a quelques trucs qui me turlupinent: si je note $\widehat{a}$ un estimateur du coefficient directeur la droite de corrélation, on montre dans le poly de M. Machano que $E(\widehat{a})=a$. Dans ce même poly, il énonce le fait que la variance de ce même estimateur est $\quad \dfrac{\sigma^2}{s_x},\ $avec $s_x=\sum_{i=1}^n (x_i-\overline{x})^2$.

Si je comprends bien l'estimateur $\widehat{a}$ est une variable aléatoire fonction des $X_1,\dots,X_n,Y_1,\dots,Y_n$, où les $X_i$ représentent $n$ répétitions indépendantes de $X$, et les $Y_i$ $n$ répétitions indépendantes de $Y$. On peut donc calculer espérance et variance de cet estimateur...

Ce qui me gène c'est ce $s_x$... j'imagine qu'en fait il ne s'agit pas de la variance de $\widehat{a}$ mais de la variance conditionnelle $var(\widehat{a}/X=x)$, où $X=x$ désigne abusivement l'évènement $X_1=x_1,\dots,X_n=x_n$. C'est ça ?

Il me semble d'ailleurs qu'il y a tout un tas d'abus de notation qui rendent cette fameuse démonstration un poil difficile pour un non initié.
Une bonne soirée à tous
F.

gebrane

Bonsoir @Dom @Georges Abitbol @malavita
Pour comprendre la vidéo, il faut voir les précédentes pour comprendre le model surtout ce qui est déterministe et ce qui aléatoire. Je tente d'expliquer . On note que $\beta_0 $ et $\beta_1$ sont des paramètres et que leurs estimateurs  $\hat \beta_0 $ et $\hat \beta_1$ qui  sont des v.a  sans  biais.. Il faut savoir les propriétés de ces estimateurs . On note que les $\epsilon_i$ sont dans ce model des id.d. qui suivant la loi normale centré $E(\epsilon_i)=0$ il faut noter le caractère déterministe de $x_i$, donc on comprend bien que $E(\beta_0 +\beta_1 x_i+\epsilon_i)= \beta_0 +\beta_1 x_i$. On note le caractère aléatoire des $Y_i$ et que la moyenne $\bar Y$ est aussi une v.a, donc à ne pas croire que $E(\bar Y)$ est  $\bar Y$  ( c'est la moyenne des moyenne).

Normalement dans mes archives, j'ai un cours niveau master qui explique bien ce model avec ce qu'il faut savoir et qui explique le conditionnement soulevé par Malavita , je vais le chercher dans la journée)

gebrane

J'ai trouv, . tout est expliqué et même en bonus une preuve de ce que tu cherches 

malavita

Merci pour ce poly Gebrane, je vais y jeter un œil.

En tout cas, tout cela commence à s'éclaircir et il m'a semblé hier soir être venu à bout de cette histoire, il me reste à vérifier tout ça. L'idée est que l'on raisonne "sachant que $X=x$" car les valeurs de $X$ sont en pratique toujours connues, vu qu'elles proviennent d'un échantillonnage.
A+
F.

gebrane

J'espère que j'étais utile