Problème avec la moyenne
dans Statistiques
Bonjour à tous
Premièrement, merci de m'avoir acceptée dans ce groupe ! Je suis actuellement en thèse (psychologie cognitive) et je bloque un peu sur un problème statistique. Plus exactement, je cherche la bonne mesure pour évaluer la performance d'un individu ayant réalisé une activité de brainstorming. Voici les éléments de ce problème.
On demande à une personne de produire des idées pour répondre à un problème ouvert (admettant plusieurs solutions). Par la suite, ces solutions/idées sont évaluées et obtiennent toutes un score de qualité (Squalité).
Si je cherche à évaluer la performance de l'individu, je peux compter le nombre d'idées produites (Squantité = Nombre d'idées) et je peux calculer la moyenne de la qualité de ses idées (Mqualité = Moyenne des (Squalité)).
Le problème que j'ai avec cette moyenne (Mqualité) c'est qu'elle reflète bien la qualité moyenne des idées produites mais pas la qualité de la performance de l'individu.
Je m'explique :
- Un individu (I1) produit 2 très bonnes idées ayant un Squalité de 10/10. Sa Mqualité = (2x10)/ 2 = 10
- Un autre (I2) produit les 2 mêmes idées à 10/10 mais également une 3e idée scorée à 1/10. Sa Mqualité = (2x10+1)/3 = 7
À en croire les moyennes, la performance de (I2) serait moins bonne que celle de (I1), alors qu'en réalité les deux performances sont sensiblement similaires puisqu'ils ont produit les deux mêmes bonnes idées. La performance de (I2) pourrait même être considérée comme plus intéressante dans le cadre d'un brainstorming, puisqu'il a produit davantage d'idées.
Les moyennes ne permettent donc pas de rendre compte des véritables performances créatives des individus et de les comparer entre elles.
Par conséquent, je me demande s'il est possible d'obtenir à partir de ces trois variables (Squantité, Mqualité et/ou Squalité) un indicateur de la performance de l'individu qui tienne compte à la fois de la quantité d'idées produites, mais également de la qualité de celles-ci.
Merci d'avance pour vos propositions !
Premièrement, merci de m'avoir acceptée dans ce groupe ! Je suis actuellement en thèse (psychologie cognitive) et je bloque un peu sur un problème statistique. Plus exactement, je cherche la bonne mesure pour évaluer la performance d'un individu ayant réalisé une activité de brainstorming. Voici les éléments de ce problème.
On demande à une personne de produire des idées pour répondre à un problème ouvert (admettant plusieurs solutions). Par la suite, ces solutions/idées sont évaluées et obtiennent toutes un score de qualité (Squalité).
Si je cherche à évaluer la performance de l'individu, je peux compter le nombre d'idées produites (Squantité = Nombre d'idées) et je peux calculer la moyenne de la qualité de ses idées (Mqualité = Moyenne des (Squalité)).
Le problème que j'ai avec cette moyenne (Mqualité) c'est qu'elle reflète bien la qualité moyenne des idées produites mais pas la qualité de la performance de l'individu.
Je m'explique :
- Un individu (I1) produit 2 très bonnes idées ayant un Squalité de 10/10. Sa Mqualité = (2x10)/ 2 = 10
- Un autre (I2) produit les 2 mêmes idées à 10/10 mais également une 3e idée scorée à 1/10. Sa Mqualité = (2x10+1)/3 = 7
À en croire les moyennes, la performance de (I2) serait moins bonne que celle de (I1), alors qu'en réalité les deux performances sont sensiblement similaires puisqu'ils ont produit les deux mêmes bonnes idées. La performance de (I2) pourrait même être considérée comme plus intéressante dans le cadre d'un brainstorming, puisqu'il a produit davantage d'idées.
Les moyennes ne permettent donc pas de rendre compte des véritables performances créatives des individus et de les comparer entre elles.
Par conséquent, je me demande s'il est possible d'obtenir à partir de ces trois variables (Squantité, Mqualité et/ou Squalité) un indicateur de la performance de l'individu qui tienne compte à la fois de la quantité d'idées produites, mais également de la qualité de celles-ci.
Merci d'avance pour vos propositions !
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Tu peux considérer la somme des Squalité. Ainsi (I2) aura un meilleur score que (I1) (21 contre 20). En revanche, quelqu'un qui donne d'innombrables idées assez pourries peut avoir un meilleur score qu'une personne qui donne une seule excellente idée ; c'est l'inconvénient de la somme des Squalité. Mais bon, tout indicateur a ses inconvénients.
J'ai également pensé à calculer pour chaque individu une moyenne pondérée qui attribuerait à chaque idée un coefficient proportionnel à son Squalité, dans le but de donner plus de poids aux bonnes idées qu'aux mauvaises dans le calcul de la qualité de la performance. Mais je me retrouve face à un autre problème avec ce calcul puisque je ne sais pas comment fixer ni comment justifier d'un point de vue théorique le choix du coefficient à attribuer à chaque Squalité.
J'ai l'impression qu'il faut revoir ton système d'évaluation. Une suggestion est de se tourner vers des documents sur la fiabilité des thérapies cognitivo-compormentales car on nous a tellement parler de leurs vertus d'après diverses méta-analyses.
Cordialement.
Ajout : il y a un certain nombre d'échelles ordinales en psychologie "quantitative" mais c'est plus dans ton domaine. Une revue de la littérature sur ce point pourrait peut-être être bénéfique pour ton travail. De plus, un paramètre n'est pas obligé d'agréger à lui seul toute l'information, il serait possible alors d'apprécier le nombre de propositions et, la qualité de ces dernières au cours d'un "brainstorming" : le tout étant de ne pas se perdre dans l'utilisation de trop nombreux indicateurs.
Merci pour votre réponse. Ce nouveau paramètre que j'essaye de trouver n'existe pas vraiment dans ma littérature, on est en pleine prospection !
Néanmoins, je pense que je me rapproche lentement du but. Sur le fichier joint j'ai mis quelques exemples extrêmes qui reflètent bien les défauts des indicateurs classiques (Moyenne, Somme, Nombre, etc...).
Il semblerait que la relation (Mqualité*LN(Squantité) marche plutôt bien… La question que je me pose maintenant c'est pourquoi ce paramètre semble bien plus en phase avec ce qu'on attendrait d'un score de performance globale que les autres paramètres ?
Il y a une correction qui semble s'appliquer et n'étant pas statisticien, j'ai du mal à comprendre ce qu'il se passe réellement lors de la transformation de Squantité en LN(Squantité).
Partie 1
Partie 2
Individu 1 : (100 , 100) donne 10000 + 10000 = 20000
Individu 2 : (40, 40, 40, 40, 40) donne 1600 + 1600 +1600 +1600 +1600 = 8000
Une bonne idée à 100 rapporte ainsi un peu plus que 6 idées notées 40.
Et si tu veux encore plus marquer le coup, tu peux faire $ somme( Note^3) $ ; ainsi, une bonne ideé à 100 rapporte autant que 15 idées notées 40.
Un élément d’interprétation sur $\log{N}$ (ou $\ln{N}$, identique a facteur constant près). C'est une façon de caractériser l'ordre de grandeur du nombre d’idées produites. Ordre de grandeur au sens de $\sim 10, 100, 1000$. L’échelle logarithmique est l’échelle qui place à la même distance $1$ et $10$, $10$ et $100$, $100$ et $1000$...
Ton score est proportionnel à la qualité moyenne des idées, et proportionnel à l'ordre de grandeur du nombre d’idées produites. Tu es en train de dire que $10$ et $20$ idées, c'est pas très différent ; que tu préfères $10$ excellentes (qualité $10/10$) idées à $20$ idées moyennes (qualité $5/10$). Que $10$ idées excellentes valent autant que $10$ fois plus d’idées moyennes !
C'est avant tout une question de ressenti tout ça, les statistiques ne pourront pas t'aider pour établir un score.
Je digresse, mais il me semble que la perception du niveau sonore est aussi logarithmique par rapport à l'excitation reçue. Il paraîtrait que la perception du temps écoulé depuis la naissance soit logarithmique aussi. Je suis à peu près sûr que la perception de la richesse est logarithmique :-D
Je vais l'illustrer dans un autre domaine, un peu sordide.
Un catastrophe A fait 100 morts au bout du monde
Un catastrophe B fait 1000 morts au bout du monde
Un catastrophe C fait 10000 morts au bout du monde
En terme de perception, d'émotion, l'écart entre A et B, ou l'écart entre B et C, c'est grosso-modo le même.