Comparaison de classements
dans Statistiques
Bonjour,
J'ai un "trou" à propos d'un test statistique et j'aimerais un petit coup de main pour me remettre cela en mémoire.
Je dispose d'un groupe de 12 objets, caractérisés par plusieurs attributs et rangés dans 3 catégories A,B,C.
J'étudie ensuite plusieurs modèles qui fournissent leurs rangements respectifs des 12 objets dans les 3 catégories. Bien sûr, il y a des différences entre le classement réel et ceux proposés par chacun des modèles. Ce qui m'intéresse plutôt ici, c'est de pouvoir comparer entre eux la qualité des classements fournis par les différents modèles afin de détecter le "meilleur" d'entre eux. Il doit exister un indice pour cela mais je ne me rappelle plus : cela doit être quelque chose comme une corrélation de rang ou un simple test des signes, mais adapté au fait que le classement se fait dans 3 catégories non ordonnées.
Quelqu'un a une idée ?
Merci de votre aide.
Robert
J'ai un "trou" à propos d'un test statistique et j'aimerais un petit coup de main pour me remettre cela en mémoire.
Je dispose d'un groupe de 12 objets, caractérisés par plusieurs attributs et rangés dans 3 catégories A,B,C.
J'étudie ensuite plusieurs modèles qui fournissent leurs rangements respectifs des 12 objets dans les 3 catégories. Bien sûr, il y a des différences entre le classement réel et ceux proposés par chacun des modèles. Ce qui m'intéresse plutôt ici, c'est de pouvoir comparer entre eux la qualité des classements fournis par les différents modèles afin de détecter le "meilleur" d'entre eux. Il doit exister un indice pour cela mais je ne me rappelle plus : cela doit être quelque chose comme une corrélation de rang ou un simple test des signes, mais adapté au fait que le classement se fait dans 3 catégories non ordonnées.
Quelqu'un a une idée ?
Merci de votre aide.
Robert
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
<BR>
<BR>L'<B>information mutuelle</B> entre un classement fourni par ton modèle et le classement réel, ça te dit quelque chose ?<BR>
Désolé cela ne me dit rien. Il y a moyen de s'en tirer simplement ou il faut que je me plonge dans la littérature ?
Rob
Merci pour les infos éventuelles.
Rob
L'information mutuelle entre l’étiquetage fourni par un modèle, et l’étiquetage réel est :
$$I(C, L) = \sum_{k=1}^3 \sum_{l=1}^3 P(x \in C_k, x \in L_l) \cdot \log \frac{P(x \in C_k, x \in L_l)}{P(x \in C_k) \cdot P(x \in L_l)}$$.
On va dire $C = (c_1, ..., c_n)$ et $L = (l_1, ..., l_n)$,
et chaque $c_i$ est dans $\{C_1, C_2, C_3\}$ et chaque $l_i$ est dans $\{L_1, L_2, L_3\}$.
Classement de 12 individus numérotés I1 à I12
Classement réel:
Groupe 1: I1, I2, I3, I4, I5, I6, I10
Groupe 2: I7, I8, I9, I11
Groupe 3: I12
Classement de l'expert 1:
Groupe 1: I1, I2, I3, I4, I5, I6, I7, I8, I10, I12
Groupe 2: I9, I11
Groupe 3: /
Classement de l'expert 2:
Groupe 1: I1, I2, I3, I4, I5, I6
Groupe 2: I7, I8, I10
Groupe 3: I9, I11, I12
Comment comparer les jugements des deux experts dans ce cas ?
Considérons l'expert 1.
$P(x \in C_2, x \in L_1)$ sera le nombre d'individus qui sont classés à la fois dans le groupe 2 du classement réel $(C_2)$, et dans le groupe 1 du classement de l'expert 1 $(L_1)$, le tout divisé par le nombre total d'individus.
On a $l9$ et $l11$ qui sont à la fois dans $C_2$ et dans $L_1$, donc $P(x \in C_2, x \in L_1) = \frac{2}{12}$.
Tu vois le principe ?
Merci pour tes tuyaux en tout cas.
Rob
<BR><a href=" http://en.wikipedia.org/wiki/Mutual_information"> http://en.wikipedia.org/wiki/Mutual_information</a>
<BR>
<BR>Je ne sais pas ce qu'elle vaut, mais bon, si elle donne la bonne définition ça suffit