Sur le désintérêt moderne concernant la logique bayésienne

Bibix
Modifié (21 Mar) dans Fondements et Logique
Bonjour à tou(te)s,
Le bayésianisme consiste à dire que tout raisonnement scientifique peut être représenté avec une probabilité et que l'inférence bayésienne se cache derrière tous nos choix. Il existe plusieures raisons d'être bayésien selon les principes auxquels on adhère. Traditionnellement, la plupart des bayésiens disent qu'ils sont bayésiens pour rester cohérent avec certaines propriétés intuitives de la prise de décision (il y a un théorème datant de 1950 qui montre que ces propriétés impliquent le bayésianisme).

Mais certains de ces  principes sont contradictoires entre eux. Un autre problème est que le fameux théorème ne donne pas le fin mot de l'histoire étant donné qu'il ne justifie pas ce que font en pratique les bayésiens (pourquoi les probas conditionnelles ainsi définies représentent bien ce que l'on veut, pourquoi la divergence de KL, etc...?)

Mais depuis les années 50, c'est silence radio. Il y a bien des résistants qui essayent par exemple de trouver la KL avec l'analyse préquentielle par exemple, mais même ça s'estompe et personne n'a de réponse. Tout ça alors même que le bayésianisme est devenu prépondérant dans les mathématiques appliqués (avec au hasard : chatGPT).

Quelle est l'explication historique selon vous ? On n'a plus envie de s'embarrasser de ces réflexions d'intellectuelles inutiles pour la course à l'IA ? Parce-que tout le monde a l'air de dire que l'explicabilité de l'IA est un enjeu important mais comment veulent-ils justifier la prédiction d'une iA sans comprendre les mécanismes d'inférence profonds sous-jacent ?

Voilà, je pense qu'il n'y aura pas de réponses mais je voulais partager ma frustration.
A+

Réponses

  • Qu'est-ce que la KL ?
  • Bibix
    Modifié (21 Mar)
    Bonjour,
    Oui, c'est ça. Ce que je dis, c'est que le théorème de Cox-Jaynes est loin d'être le fin mot de l'histoire mais aucun logicien ni aucun statisticien (à part quelques irréductibles) ne semble s'intéresser à ces questions dans la littérature récente. Je trouve cela étonnant car c'est un sujet que je trouve plutôt important pour finalement comprendre par exemple l'apprentissage automatique. Je me demande s'il y a des raisons historiques à cela.
  • Georges Abitbol
    Modifié (21 Mar)
    Ben oui mais déjà le théorème de Cox-Jaynes est faux : voir ici !
    Tout ça alors même que le bayésianisme est devenu prépondérant dans les mathématiques appliqués (avec au hasard : chatGPT).

    Non, ce n'est pas vrai. Les algorithmes bayésiens, peut-être (et là, tout le monde est d'accord pour dire que ça marche très bien). Par contre, le gloubi-boulga philosophique du bayésianisme, ça, bof bof.

  • Bibix
    Modifié (21 Mar)
    le théorème de Cox-Jaynes est faux
    Disons le théorème de Savage (1954) qui devrait être correct sauf erreur. Il y a plein de résultats de ce genre qui ont surgi dans les années 40-50.
    Et oui justement, les algorithmes bayésiens sont très utilisés mais personne ne se penche sur la justification profonde de ce qui marche dans ces algorithmes. Il faudrait au moins que si une décision qui mène à des conséquences catastrophiques est prise avec une IA, on puisse dire au juge que l'on a juste appliqué des principes naturels qui font que c'est une manière cohérente de prendre des décisions.
  • Bonjour,
    Je n'y connais pas grand chose et je n'aime pas les probas :smiley:. Mais il se trouve que récemment j'ai survolé des choses qui pourraient éventuellement vous intéresser :
    Par exemple, Une étrange définition de la probabilité, le paragraphe II de l'article de Clero.
  • Georges Abitbol
    Modifié (21 Mar)
    @Bibix : as-tu des références précises de textes qui démontrent des théorèmes, qui explicitent ce qu’est le bayésianisme et qui argumente en sa faveur ? Le livre de Jaynes (que j’ai trouvé nul) et les vidéos de youtubeurs ne comptent pas.
Connectez-vous ou Inscrivez-vous pour répondre.