Comparaison de classements
dans Statistiques
Bonjour,
J'ai un "trou" à propos d'un test statistique et j'aimerais un petit coup de main pour me remettre cela en mémoire.
Je dispose d'un groupe de 12 objets, caractérisés par plusieurs attributs et rangés dans 3 catégories A,B,C.
J'étudie ensuite plusieurs modèles qui fournissent leurs rangements respectifs des 12 objets dans les 3 catégories. Bien sûr, il y a des différences entre le classement réel et ceux proposés par chacun des modèles. Ce qui m'intéresse plutôt ici, c'est de pouvoir comparer entre eux la qualité des classements fournis par les différents modèles afin de détecter le "meilleur" d'entre eux. Il doit exister un indice pour cela mais je ne me rappelle plus : cela doit être quelque chose comme une corrélation de rang ou un simple test des signes, mais adapté au fait que le classement se fait dans 3 catégories non ordonnées.
Quelqu'un a une idée ?
Merci de votre aide.
Robert
J'ai un "trou" à propos d'un test statistique et j'aimerais un petit coup de main pour me remettre cela en mémoire.
Je dispose d'un groupe de 12 objets, caractérisés par plusieurs attributs et rangés dans 3 catégories A,B,C.
J'étudie ensuite plusieurs modèles qui fournissent leurs rangements respectifs des 12 objets dans les 3 catégories. Bien sûr, il y a des différences entre le classement réel et ceux proposés par chacun des modèles. Ce qui m'intéresse plutôt ici, c'est de pouvoir comparer entre eux la qualité des classements fournis par les différents modèles afin de détecter le "meilleur" d'entre eux. Il doit exister un indice pour cela mais je ne me rappelle plus : cela doit être quelque chose comme une corrélation de rang ou un simple test des signes, mais adapté au fait que le classement se fait dans 3 catégories non ordonnées.
Quelqu'un a une idée ?
Merci de votre aide.
Robert
Réponses
-
Bonjour.
<BR>
<BR>L'<B>information mutuelle</B> entre un classement fourni par ton modèle et le classement réel, ça te dit quelque chose ?<BR> -
Bof
Désolé cela ne me dit rien. Il y a moyen de s'en tirer simplement ou il faut que je me plonge dans la littérature ?
Rob -
Je nuance ma dernière réponse. Le problème est que je dois disposer d'un moyen pratique. Par exemple, existe-t-il un logiciel qui calcule une espèce d'indice de satisfaction sur base des données dont je dispose ? Je dois remettre mon rapport dans trois jours, je n'ai guère le temps de me plonger dans une nouvelle théorie.
Merci pour les infos éventuelles.
Rob -
Si $(x_1, ..., x_n)$ sont tes données, $C = (C_1, ..., C_n)$ sont les classes attribuées par ton modèle, $L = (L_1, ..., L_n)$ les vraies classes.
L'information mutuelle entre l’étiquetage fourni par un modèle, et l’étiquetage réel est :
$$I(C, L) = \sum_{k=1}^3 \sum_{l=1}^3 P(x \in C_k, x \in L_l) \cdot \log \frac{P(x \in C_k, x \in L_l)}{P(x \in C_k) \cdot P(x \in L_l)}$$. -
ok je vois plus clair. Mais si mes modèles ne sont pas probabilistes et résultent seulement de jugements d'experts, comment je peux estimer les P ?
-
Je me suis un peu mélangé les indices
On va dire $C = (c_1, ..., c_n)$ et $L = (l_1, ..., l_n)$,
et chaque $c_i$ est dans $\{C_1, C_2, C_3\}$ et chaque $l_i$ est dans $\{L_1, L_2, L_3\}$. -
Ben normalement tu peux les estimer à partir de tes jugements d'experts (tu comptes), mais c'est vrai que ta base de jugements est assez petite.
-
Désolé de la petite taille de mon cerveau mais peux-tu illustrer sur les cas suivants:
Classement de 12 individus numérotés I1 à I12
Classement réel:
Groupe 1: I1, I2, I3, I4, I5, I6, I10
Groupe 2: I7, I8, I9, I11
Groupe 3: I12
Classement de l'expert 1:
Groupe 1: I1, I2, I3, I4, I5, I6, I7, I8, I10, I12
Groupe 2: I9, I11
Groupe 3: /
Classement de l'expert 2:
Groupe 1: I1, I2, I3, I4, I5, I6
Groupe 2: I7, I8, I10
Groupe 3: I9, I11, I12
Comment comparer les jugements des deux experts dans ce cas ? -
Tu calcules l'information mutuelle pour chaque expert et tu obtiens deux valeurs que tu peux comparer.
Considérons l'expert 1.
$P(x \in C_2, x \in L_1)$ sera le nombre d'individus qui sont classés à la fois dans le groupe 2 du classement réel $(C_2)$, et dans le groupe 1 du classement de l'expert 1 $(L_1)$, le tout divisé par le nombre total d'individus.
On a $l9$ et $l11$ qui sont à la fois dans $C_2$ et dans $L_1$, donc $P(x \in C_2, x \in L_1) = \frac{2}{12}$.
Tu vois le principe ? -
ok c'est compris. Où puis-je trouver un peu de doc pour pouvoir justifier dans mon rapport le recours à cet indice ? En outre, connais-tu son nom en anglais ? J'aimerai savoir s'il est implémenté dans le logiciel statistique que j'utilise.
Merci pour tes tuyaux en tout cas.
Rob -
Il y a une référence sur l'article de wikipédia :
<BR><a href=" http://en.wikipedia.org/wiki/Mutual_information"> http://en.wikipedia.org/wiki/Mutual_information</a>
<BR>
<BR>Je ne sais pas ce qu'elle vaut, mais bon, si elle donne la bonne définition ça suffit<BR><BR><BR>
Connectez-vous ou Inscrivez-vous pour répondre.
Bonjour!
Catégories
- 163.1K Toutes les catégories
- 7 Collège/Lycée
- 21.9K Algèbre
- 37.1K Analyse
- 6.2K Arithmétique
- 53 Catégories et structures
- 1K Combinatoire et Graphes
- 11 Sciences des données
- 5K Concours et Examens
- 11 CultureMath
- 47 Enseignement à distance
- 2.9K Fondements et Logique
- 10.3K Géométrie
- 62 Géométrie différentielle
- 1.1K Histoire des Mathématiques
- 68 Informatique théorique
- 3.8K LaTeX
- 39K Les-mathématiques
- 3.5K Livres, articles, revues, (...)
- 2.7K Logiciels pour les mathématiques
- 24 Mathématiques et finance
- 312 Mathématiques et Physique
- 4.9K Mathématiques et Société
- 3.3K Pédagogie, enseignement, orientation
- 10K Probabilités, théorie de la mesure
- 772 Shtam
- 4.2K Statistiques
- 3.7K Topologie
- 1.4K Vie du Forum et de ses membres
In this Discussion
Qui est en ligne 9
9 Invités