Dual d’un problème d’optimisation quadratique
Salut à @tous ;
je considère $Y \in \mathbf{R}^{m \times 1},\ X \in \mathbf{R}^{m \times p} $ et ma variable est $\beta \in \mathbf{R}^p $. Ma fonctionnelle est $|| Y - X \beta ||^2$ que je développe en $\beta^T \cdot X^T X \cdot \beta - 2 \beta^T \cdot X^T Y + ||Y||^2$.
$ \min_{\beta} \beta^T \cdot X^T X \cdot \beta - 2 \beta^T \cdot X^T Y + ||Y||^2 $
$ \mathrm{s.t} \ || \beta ||^2 \leq t $,
$ \mathrm{s.t} \ || \beta ||^2 \leq t $,
avec $t > 0$ une constante.
Donc c’est un problème
Donc c’est un problème
$ \min_{\beta} \max_{\alpha} \beta^T \cdot X^T X \cdot \beta - 2 \beta^T \cdot X^T Y + ||Y||^2 + \alpha ( t - \beta^T I_p \beta ) . $
La forme duale devient :
$ \min_{\alpha} \max_{\beta} \beta^T \cdot X^T X \cdot \beta - 2 \beta^T \cdot X^T Y + ||Y||^2 + \alpha ( t - \beta^T I_p \beta ) $
On va donc chercher le minimum de $ \beta^T \cdot X^T X \cdot \beta - 2 \beta^T \cdot X^T Y - \alpha \beta^T I_p \beta = \beta^T ( X^T X - \alpha I_p ) \beta - 2 \beta^T X^T Y $. Il est atteint en $ ( X^TX - \alpha I_p)^{-1} X^T Y $.
En remplaçant j’arrive à :
$\min_{\alpha} (X^TY)^T ( X^T X - \alpha I_p) X^TY -\alpha t $
Comment progresser, maintenant ? Faut-il dériver par rapport au réel $\alpha$ pour essayer de trouver une solution ?
---> ~ Heartbeat Heartbeat ~ www.youtube.com/watch?v=yogaAzfzpkk <---
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Soit $ || X \beta - \frac12 Y ||^2 - \frac14 ||Y||^2 = \alpha t $.