Statistiques appliquées à l'enseignement (et non pas enseignement appliqué des statistiques)

Matricule_63

Bonjour à tous
TDLR; Des astuces pour exploiter des données statistiques sur les élèves afin d'ajuster sa pratique? Des travaux de recherches sur le sujet ?

Quasiment tous les profs, de toutes les matières, utilisent des statistiques dans leurs pratiques. En général, cela se résume à la moyenne de classe / moyenne de l'élève. On ajoute la médiane pour les plus audacieux, et l'écart type chez les extrémistes.

Mais c'est dans les faits un usage ultra minimaliste des statistiques. Depuis quelque temps, je recueille donc beaucoup de données chez mes élèves. Et il y a un hic : je suis totalement infoutu de les exploiter.

La moyenne, je la "comprends". Enfin, disons que mon parcours scolaire m'a habitué à voir certaines valeurs comme "normales", "bonnes" ou "mauvaises".

Sauf qu'il y a plein d'indicateurs que je n'ai "jamais" vus, et donc que je ne comprends pas.
Par exemple, avoir une différence de moyenne de classe de 1,76 point sur 20 entre deux évaluations identiques à X semaines d'intervalle, c'est bien ? Ce n'est pas bien ? C'est normal? Ça ne veut rien dire ? Et pour une baisse de 4 points ? (données réelles...)

De la même manière, comment interpréter mon indicateur de "dispersion"  (moyenne des écarts à la moyenne divisée par 10. Ainsi, une moitié à 0 et une moitié à 20 donne 100% de dispersion.) J'ai une classe à 0,22 et une autre à 0,48. Cool, et ?

Ou encore, quel est le taux d'échec acceptable ? C'est en lien avec la fameuse "constante macabre" : si la moyenne est trop haute, c'est que l'évaluation était trop facile, donc on note plus dur / on monte le niveau.
Les liens avec les apprentissages sont-ils confirmés par la recherche ?
Je veux dire, si j'ai 20 de moyenne, c'est que tout le monde a parfaitement réussi mon objectif. Je devrais être content, non ? 
Bon ok, admettons, je suis content si j'ai 15 de moyenne, et je laisse 5 points en "difficulté exponentielle" pour challenger la tête de classe. Ou alors 16 / 4 ? Ou 14/ 6 ? Ou 10 points très faciles, 6 points faciles, 4 points difficiles ?
Qu'est-ce qui serait adapté ?

Et en parlant de taux d'échec, on accepte quel % de fautes bêtes ? Un élève qui réussit une même tâche 9 fois sur 10, c'est bien ? 8 fois sur 10 ? 7 fois sur 10 ?

Bref, désolé c'est un peu confus, et je sais que le plus important est d'être clair avec soi-même et d'être explicite sur les attendus auprès des élèves. Mais je trouve terrible que la gestion des barèmes et de la vision d'un "bon élève" soit dictée par un truc aussi archaïque qu'une question de culture d'enseignement et de feeling.

Donc si vous avez vous-mêmes réfléchi à la question, ou si il existe de la recherche là-dessus, ça m'intéresse !

gerard0

Bonjour
J'ai enseigné de nombreuses années les stats universitaires alors que j'étais prof de lycée. Je me suis évidemment posé les mêmes questions que toi. Le bilan est clair : pas grand chose à faire avec les outils statistiques classique ; ils sont trop construits pour de grandes populations et de petits échantillons. or les classes sont de petites populations.

J'ai eu, une année 4 points de dispersion (écart type) sur une classe. Rien d'étonnant, un élève avait 20, les autres tous moins de 5. L'écart type ne m'a rien appris.
J'ai aussi appris, en enseignant les stats, à me méfier des "indicateurs", et des valeurs "hors sol" : 43, pour une pointure de chaussures, c'est grand, ou pas ? Il suffit de penser hommes/femmes pour réaliser que la question n'a pas de sens.
Et j'ai toujours refusé le "si la moyenne est trop haute, c'est que l'évaluation était trop facile, donc on note plus dur / on monte le niveau". Le niveau de l'évaluation ne doit pas dépendre du niveau des élèves, c'est ainsi qu'on casse les bons et décourage les plus faibles. J'ai été très content l'année où une première F1 tournait à 14 de moyenne (au lieu de entre 8 et 12 pour d'autres promotions). Ils ont fait une excellente terminale et beaucoup ont poursuivi après le bac.
Finalement, je ne réponds pas à la plupart de tes questions, qui me semblent n'avoir pas de réponse. Il m'est arrivé d'être très strict en début de seconde ou de première S (0 si le calcul est faux, ou faussé, ou la preuve absente et remplacée par du baratin), pour revenir à plus de "gentillesse" ensuite quand la règle est connue. Et j'étais toujours content de mettre des bonnes notes (Au bac, j'ai mis pas mal de 20, et aussi des 0) ... bonnes notes justifiées.
J'ai peut-être sur toi l'avantage d'avoir pu travailler collectivement (le summum : après avoir préparé les cours ensemble à 10, le même devoir dans 10 classes de seconde de trois lycées différents. L'étendue de la série des 10 moyennes était de 1 point). On relativise beaucoup les "il faut" pédagogiques.
Cordialement.

zeitnot

"Par exemple, avoir une différence de moyenne de classe de 1,76 point sur 20 entre deux évaluations identiques à X semaines d'intervalle, c'est bien? C'est pas bien? C'est normal? ça ne veut rien dire? Et pour une baisse de 4 points? (données réelles...)""

Si tu donnes la même évaluation, on imagine que la première n'était pas terrible et qu'en plus les élèves réussissent encore moi bien au point de perdre 4 points. Oui il faut s'affoler...

Matricule_63

@gerard0 Oui tu fais bien de le rappeler, les stats sur les petits effectifs ne sont pas très signifiantes.

Par contre, je suis (partiellement) en désaccord sur le "Le niveau de l'évaluation ne doit pas dépendre du niveau des élèves", pour deux raisons :

1. Il y a des cas où rien ne nous indique le niveau "normal" d'un évaluation. En 3e/terminal ont a le brevet/bac comme repère. Et encore : le brevet est tellement surnoté que cela devient indécent de se caler sur lui. En 6e, je suis objectivement incapable de savoir ce qu'est une évaluation "de difficulté normale" (il y a bien les repères de progressivité, mais ils sont fumeux).
2. La note a un impact pédagogique. Si l'éval est trop facile, les bons vont se reposer sur leurs lauriers, alors qu'ils pourraient aller beaucoup plus loin. Si elle est trop dure, les élèves en difficultés ne verrons pas les fruits de leur travail. 
En d'autre terme, dans une terminale d'un "bon" lycée où la moitié des élèves vont aller en prépa, il faut que tu notes (beaucoup) plus dur.
Par contre, dans un collège REP+ où la moitié des élèves ne savent pas poser une addition en 6e, il va falloir noter (beaucoup) plus gentiment.

Après attention, je ne parle pas forcément de s'adapter à la moyenne, on peut aussi comme je l'ai dit sanctuariser 15 points "atteignable par tout le monde" et 5 points "de challenge".

@zeitnot Toutes mes évaluations sont données deux fois. Quand au "il faut s'affoler", malheureusement ce genre de régression est très fréquente, donc si tu as des choses pédagogiques à proposer c'est avec plaisir, mais si tu es encore là pour troller j'arrêterais de cliquer sur tes messages, afin qu'ils restent masqués.

zeitnot

Je ne vois vraiment pas en quoi j'ai trollé. Je n'ai émis aucune critique et rien dit de désagréable. Je ne savais pas que tu faisais toutes évaluations deux fois. Ça me surprend un peu au premier abord, mais effectivement ça peut être très intéressant de comparer les résultats pour voir l'évolution. Je pense qu'il y a sans doute quelque chose à tirer. Si je faisais comme toi, j'aurais très probablement de grosses déconvenues et serais un peu affolé.

Je ne posterai plus sur ton fil pour ne pas d'importuner et ton agressivité gratuite à mon encontre, je la méprise.

Matricule_63

J'ai compris ton message comme "oh t'es un peu débile si tu ne comprends pas qu'une baisse, ce n'est pas bien".
Tu m'a déjà trollé par le passé (ce pourquoi tu es en ignoré), toutes mes excuses si j'ai surinterprété.

Techniquement, je fais 4 petites évals de fin de semaine (sur 4 chapitres), puis une éval d'une heure qui reprend les 4 petites. Souvent les notes sont les mêmes à +1/-1 points/10, mais ça met clairement en évidence ceux qui ne travaillent pas ou sur le court terme (pour la dernière, un joli 5/1/5/0 -> 2/0/1/0 ), mais aussi les élèves qui suivent mes conseils et qui ont du coup de  belles évolutions (genre là, un 8/8/4/7 -> 10/10/6/9, ou un 7/8/5/10 -> 9/9/9/9).

lourrran

Dans tes questions, on retrouve la problématique de la poule et de l'oeuf. On veut tirer des informations à partir de statistiques, mais on a fait en sorte en amont que les statistiques soient 'quasi-muettes'.

Idéalement, il faudrait que tu notes selon un barème interne, le même tous les ans. Cette question vaut tant de points, et tant pis si la classe a une moyenne de 3.   
Ces statistiques là, tu peux les historiser, tu peux en tirer des comparaisons d'une année sur l'autre, d'un trimestre sur l'autre.

Et pour les élèves, pour que les notes soient motivantes etc etc, tu fais un ajustement, pour que la moyenne de la classe soit dans une certaine fourchette. Les notes que tu partages avec les élèves ne sont donc pas stricto-sensu les notes que tu utilises pour tes statistiques.

Mais de toutes façons, l'utilisation que tu vas faire de ces statistiques t'apprendra des choses que tu sais déjà, et donc rien.

Si la moyenne de la classe est très supérieure à la médiane, c'est un exemple que tu donnes : il y a un élève qui a 20 quand le reste tourne à 5.
Si il y a plusieurs élèves au dessus de 'Moyenne + Ecart-Type' mais aucun en dessous de 'Moyenne - Ecart-type', c'est encore la même configuration. 

Si l'écart-type diminue, la classe devient plus homogène  etc etc 

Bibix

Il y a des outils statistiques construits pour de petites populations mais pas sûr que ce soit adapté à l'enseignement. Pour ce qui est de la question d'appliquer les stats à l'enseignement, c'est en fait très utile pour repérer les traces de triche.

Matricule_63

Merci de ta réponse @lourrran .

@Bibix Comment on repère de la triche avec des stats?

gerard0

Matricule63,
je reviens sur ton message de 14h 43. Tu sembles déconnecter complètement l'évaluation des choix pédagogiques d'enseignement (*). L'évaluation n'est pas faite pour tester un "niveau idéal" (??), ni pour motiver les élèves en fonction de leur niveau, mais pour vérifier qu'ils ont appris les notions que tu voulais leur enseigner. C'est déjà pas mal, et ça motive ceux qui sont de bonne volonté. Donc les choix pédagogiques sont faits ailleurs.

Cordialement.

(*) J'ai vécu ça en fac où trois méthodes pouvaient servir à la définition des variétés différentiables. Le prof en utilisait une, le chargé de TD une autre, et le sujet d'examen la troisième ! Ayant étudié le sujet par ailleurs, j'ai dû être le seul à commencer l'examen.

Matricule_63

L'évaluation n'est pas faite pour tester un "niveau idéal" (??)

Ce que j'appelle "niveau idéal", c'est ce que tu nomme " les notions que tu voulais leur enseigner". L'évaluation vérifie que les élèves sont bien arrivés au niveau prévu. Reste maintenant à définir "niveau prévu", et c'est ça que je trouve extrêmement difficile, pour les raisons déjà citées.

ni pour motiver les élèves en fonction de leur niveau

L'évaluation est faîtes pour comparer le niveau (à l'instant t) d'un élève avec un niveau théorique attendu et lui dire s'il doit être satisfait ou non de son travail .
Donc si, fondamentalement la note est un outils de motivation. 0/20=tu ne travaille pas, motivation à changer d'attitude.  20/20=tu travailles bien, motivation à continuer de cette manière.

Maintenant, si jamais ton propos est "Une classe composé d'élève en grande difficulté aura 2/20 de moyenne", je suis profondément en désaccord avec toi, pour des raisons psychologiques primaires (la zone proximale de développement).

C'est déjà pas mal, et ça motive ceux qui sont de bonne volonté.
Non, ça motive ceux qui ont le niveau attendu. On peut tout à faire "être de bonne volonté" et échouer aux évaluations. On peut tout à faire ne rien faire et réussir aux évaluation. Si le succès scolaire tenais à la motivation, ça se saurait...

Soc

Le succès scolaire tient beaucoup à la motivation, mais effectivement elle peut ne pas suffire. C'est du coup notre travail d'enseignant de maintenir la motivation d'élèves qui essaient sans réussir, mais je ne vois pas pourquoi cela doit passer par des notes artificielles.

Matricule_63

Ce serais quoi, une note "naturelle" !?
La note est, par définition, le message "c'est bien" / "ce n'est pas bien" de l'enseignant. Quelles sont tes méthodes pour "maintenir la motivation" d'élèves tout en leur disant "ce n'est pas bien" à travers leurs notes ?

Après, qu'on soit bien clair, ce sont les objectifs d'apprentissages sur lesquels je joue, je ne "donne" pas des points à la tête du client pour faire plaisir aux élèves.

gerard0

Non, l'évaluation ne vérifie pas un niveau, même pas un "niveau prévu".

Après avoir vécu 20 ans dans un lycée où tout le monde se plaignait du "niveau" des élèves, j'ai rejoint un département d'IUT où on prenait les candidats qu'on pouvait (pas mal de Bac pro) et où plus personne ne parlait de niveau. Seulement de capacités, de connaissances acquises (ou pas), et la règle était "on les a recrutés, c'est à nous de les amener aux compétences nécessaires dans leur métier futur". Eh bien ...ça marche !

Je n'en ai jamais rabattu sur les compétences à acquérir, que ce soit en lycée ou dans le supérieur; elles étaient parfaitement définies, si seulement 10% des compétences sont acquises, la note est 2, sans état d'âme. Mais j'avais aussi fait tout ce qu'il faut pour que tous puissent y arriver. L'évaluation ne venait que confirmer les acquis. Et j'ai pu féliciter un élève qui était passé de 2 à 4, et l'encourager sur cette voie.

Matricule_63

Ah pardon, ça ne vérifie pas un "niveau", ça vérifie des "capacités", "connaissances" et "compétences"...
Je ne sais pas si je m'exprime particulièrement mal ou si tu lis mes posts en diagonale, mais ce que tu dis ne répond en rien à mes arguments, j'ai l'impression de parler un mur. Je m'arrête là.

JLapin

L'enseignement est un artisanat subtil et délicat, le plus beau qui soit car on travaille avec des humains. Chaque professeur s'adapte donc à sa classe et aux individualités de celle-ci. Il n'y a donc selon moi absolument aucun problème à ce que

la gestion des barèmes et de la vision d'un "bon élève" soit dictée par un truc aussi archaïque qu'une question de culture d'enseignement et de feeling.

gerard0

OK.
Bon courage dans ton travail !

Soc

Matricule_63 a dit :

Ce serais quoi, une note "naturelle" !?
La note est, par définition, le message "c'est bien" / "c'est pas bien" de l'enseignant. Quelles sont tes méthodes pour "maintenir la motivation" d'élèves tout en leur disant "c'est pas bien" à travers leurs notes?

Ben non, pas par définition. Pour moi la note correspond à peu près à la proportion de ce qu'arrive à faire l'élève. Il n'y a pas de notion de "bien" ou de "mal" dans ma notation. C'est juste ou faux, il y a beaucoup ou peu d'erreurs, ce sont des erreurs de compréhension ou de concentration etc... Bien entendu la notation est toujours subjective, mais en aucun cas liée à une quelconque moralisation. En revanche, le commentaire, lui, peut l'être: "Aucun travail!", "Poursuivre les efforts.", "Il faut commencer par apprendre la leçon." etc...

En réunion parents/professeurs, le point sur lequel je passe le plus de temps c'est pour leur apprendre à dissocier la note des efforts.

Pour maintenir la motivation pour l'effort, c'est dans le discours lié à la note, et surtout dans le fait de lui montrer que l'on a conscience de son investissement et de lui dire que les mathématiques sont une discipline ingrate dans laquelle les efforts sont longs à payer, mais ils payent.

PS: Pour illustration, un élève de 3ème à qui j'ai mis un 4/20 avec le commentaire "Il faut se mettre au travail" est venu me voir en me disant qu'il n'avait jamais révisé autant un contrôle. C'était sans doute vrai dans le sens où il n'avait sans doute jamais révisé un contrôle avant. Je lui ai expliqué qu'alors ses méthodes de travail étaient à revoir en lui expliquant pourquoi, et il écoute de mieux en mieux en classe.

Matricule_63

Merci @gerard0 !

En réunion parents/professeurs, le point sur lequel je passe le plus de temps c'est pour leur apprendre à dissocier la note des efforts.
Du coup, je fais exactement l'inverse.
"bien" ou "pas bien", ce n'est pas sur la performance de l'évaluation, c'est sur l'attitude face au travail dans le temps qui précède l'évaluation.
Si tu as 20/20, certes tu as tout maitrisé, mais concrètement cela veut dire "ta manière de travailler est efficace, continue comme ça".
Si tu as 0/20, certes tu n'as rien maîtrisé mais surtout ça fait un mois que tu dors à tout les cours.
Parce qu'honnêtement, vu ce que je demande aux élèves, hors cas exceptionnel il est impossible d'avoir moins de 10 si on fournit un minimum de travail. (sans nier que la quantité de travail ne sera pas la même pour tous).

Alors, peut-être que ça s'explique par la différence de public (collège REP pour ma part), mais une grande partie de mes élèves n'a toujours pas compris qu'on avait des bonnes notes en travaillant (ils pensent que c'est soit la génétique, soit "la chance", soit parce que "le prof m'aime"/"le prof ne m'aime pas").
Leurs méthodes de travail sont absurdes : relire sa leçon en boucle, faire des exercices d'entraînement sans se corriger... Sans parler de ceux qui ne fichent rien en cours, qui abandonnent à la première difficulté...
 
Et j'arrive justement à les motiver à "bien" travailler en disant "tu as vu, tu as fait les exercices demandés toute la semaine, tu as suivi mes conseils, et bim tu as une bonne note à l'interro de fin de semaine! Qui aurait pu prévoir?". Il y a un feed-back positif immédiat.

Le discours "les efforts sont longs à payer, mais ils payent." est totalement inaudible pour eux. Déjà en récompensant immédiatement le moindre début de travail un certain nombre continuent à ne rien faire, alors s'ils se tapaient des 5 en boucle (c'est ça leur niveau réel pour beaucoup), quasi tous abandonneraient.

Ce que tu dis, "oui tu travailles mais les notes vont être longues à monter", ce n'est pas une situation normale (même si tu n'es pour rien). Soit c'est le temps de mettre en place des méthodes efficaces (et du coup tu es d'accord avec moi, le problème c'est le travail), soit c'est le temps de combler les lacunes accumulées (et l'élève n'a en fait rien à faire dans ce cours).
Dernière possibilité, que les apprentissages se déroulent sur le temps long, et que les élèves aient le temps de s'approprier les notions à leur rythme, mais je ne pense pas que ça existe en France ça.

Soc

Je n'ai jamais enseigné en REP. Un certain nombre de fois en ZEP mais pas depuis longtemps. Je t'accorde que ce discours n'y fonctionnerait pas et je baisserais mes exigences là bas, ne serait-ce que pour pouvoir faire cours dans le calme. J'ai déjà essayé en ZEP de faire prendre pour modèle aux élèves leur copain qui avait de bons résultats, réponse: "Mais msieur, lui il est pas comme nous!" alors que ledit copain habitait dans la même cité avec le même niveau social. Je comprends donc ce que tu dis.

Je pense malgré tout qu'il faut adapter les exigences le moins possible, car si l'on part pour principe de mettre une moyenne à 10, alors comment les enfants peuvent y comprendre quoi que ce soit à notre message? Ils ont conscience qu'ils ne comprennent pas bien, mais ont des bonnes notes quand même. Comment doivent-ils réagir?

Quand j'explique ma façon de faire, la plupart des adultes voient cela comme complètement irréaliste. Quand je demande à mes élèves si je dois changer ma notation, ils disent "non", qu'en déduire?

Pour ce qui est des élèves qui vont mettre longtemps à monter, oui c'est généralement à causes de lacunes faute de travail, mais pas forcément indécrottables.

Matricule_63

Le gros problème avec les exigences, c'est de les définir... Et il n'y a pas vraiment de cadre très clair sur ce qu'on peut attendre des élèves, vu que l'institution elle même n'est pas cohérente, avec des programmes assez ambitieux au collège et un brevet littéralement donné (l'année dernière, on mettait des points si "l'élève a pensé à utiliser la trigonométrie". Lol)
Au quotidien notre seul cadre de référence c'est... les élèves de l'établissement (et les résultats brevet/bac en fin d'année si on a des 3e / terminales).

Donc d'accord, il ne faut pas mentir aux élèves sur leur niveau, mais je serais bien en peine d'être très objectif là dessus vu que je ne connais pas les autres élèves de France ni les exigences du niveau d'après. (je n'ai jamais enseigné au lycée, enfin 2 classes pendant mon année de stage ça ne compte pas).

Après, j'essaye d'équilibrer "avoir une note correcte en travaillant, même sans être une foudre de guerre" et "avoir une très bonne note vraiment si on est bon". Aussi, j'explique clairement que le collège a un niveau bas, et qu'un 18/20 ne veut pas dire que l'élève est un génie des maths. 

philou22

Une fois j’ai étudié la corrélation entre absentéisme et moyenne générale, les résultats étaient très parlant avec un nuage de points. Pour les notes, les diagrammes en boîte sont encore plus extrémistes que l’écart-type !

philou22

…et les variations de classement me permettent de savoir quels élèves je fais bien progresser et quels élèves je fais moins bien progresser.