Lectures en convexité

Tout dépend si tu cherches vraiment un cours de convexité ou quelque chose qui traite d'optimisation en général.

En fait ce dont tu as besoin c'est (éventuellement) tous les théorèmes d'existence de solutions à des problèmes d'optimisation et surtout un bon morceau sur les techniques de gradient non ?
J'avais mon cours du msv qui était moyennement bien mais qui peut t'intéresser (en gros théorèmes classiques d'optimisation sous contrainte ou non, Fritz-John, algorithmes de gradients).
Mais dans ce cas il te faut absolument un cours complémentaire pour le gradient stochastique.

Bonjour,

Ne fais pas attention, Ramufasa, Zestiria a l'habitude de beaucoup parler à propos de sujets qu'il ne connaît pas.

Cordialement,

Rescassol

Merci Rescassol.

Zestiria, pas de souci, je n'ai pas mal pris ton message. Néanmoins, quand tu dis "beaucoup de thèses visent à...", c'est plutôt très faux de ce que j'en sais. En fait, c'est vrai si tu regardes des sujets de thèse en informatique ou dans un domaine d'application précis comme l'imagerie médicale ou le traitement du langage naturel.

Dans les labos de maths, les gens cherchent moins à inventer de nouvelles variantes d'algorithmes connus qu'à les comprendre plus profondément. "Les réseaux de neurones atteignent les meilleures performances..." oui mais ce n'est pas satisfaisant d'un point de vue mathématique car il n'y a pas encore une compréhension fine de pourquoi.

À l'inverse, dire que les réseaux de neurones sont des "boites noires" est plutôt faux car quelques résultats ont déjà été obtenus.

Concernant les tendances actuelles, j'aime bien reprendre une classification faite par Gitta Kutyniok :
- une question majeure concerne l'expressivité des réseaux de neurones : étant donnée une architecture fixée, quelle classe de fonctions peut-on approcher ? Un théorème de Cybenko montre que l'espace des réseaux de neurones sigmoidaux à 1 couche cachée est dense dans l'espace des fonctions continues (sur un compact) mais pas mal de chercheurs essaient actuellement d'obtenir des raffinements de ce résultat ou des résultats plus quantitatifs. Cela relève typiquement de l'analyse harmonique.
- une autre concerne l'optimisation d'un réseau de neurones : c'est un problème non-convexe et de très grande dimension mais on s'en sort bien ce qui est plutôt contraire à ce que dit l'optimisation convexe. En particulier, du fait de la non-convexite on a de multiples optima et certains chercheurs essaient de comprendre quels sont les optima optimaux ^^ des approches consistent à voir la descente de gradient stochastique comme la discretisation d'une équation différentielle stochastique et à utiliser directement la version continue. Une autre question sur l'optimisation et l'existence de multiples optima est de caractériser le "biais implicite" de la descente de gradient stochastique ie le fait que cet algorithme "choisisse" des minima locaux menant à des solutions de plus petite norme dans un certain espace de Hilbert à noyau reproduisant.
- une question concerne la généralisation. La théorie classique de Vapnik-Chervonenkis fait apparaître un "compromis biais-variance" comme en stats et on peut montrer que des modèles qui sur-apprennent généralisent mal. Cette théorie ne s'applique pas aux réseaux de neurones et dailleurs on voit empiriquement que des réseaux de neurones peuvent parfaitement reproduire leurs données d'entrainement tout en généralisant bien. C'est le phénomène de l'overfitting benin très étudié en ce moment par Belkin et Bartlett entre autres.
- une autre question concerne l'interprétabilite et la représentation induite par un réseau de neurones mais ma flemme me fait arrêter.

En bref, il y a d'innombrables questions théoriques encore non résolues et les thèses en maths s'intéressent principalement à ces questions là plutôt qu'à l'amélioration d'un paramètre dans un modèle pour obtenir de meilleurs résultats.

PS : je peux donner des pointeurs vers la littérature pour les lecteurs intéressés !