Analyse statistique d'une étude avant-après à partir de 2 échelles de Lickert — Les-mathematiques.net The most powerful custom community solution in the world

Analyse statistique d'une étude avant-après à partir de 2 échelles de Lickert

Modifié (August 2022) dans Statistiques

Bonjour. Je suis interne en médecine et je réalise ma thèse sur l'impact d'un outil numérique sur la coordination des soins. J'ai réalisé une analyse avant-après avec deux questionnaires identiques utilisant une échelle de Lickert. L'objectif est de voir l'influence de l'outil sur la coordination des soins qui va se traduire par la variation des réponses. J'ai deux biais présents d'emblée : je n'ai pas de groupe témoins (variation sans influence de l'outil) et j'ai des perdus de vu avec 58 réponses au premier questionnaire (avant l'usage de l'outil) et 36 au deuxième (après l'usage de l'outil). Le questionnaire comprend 6 rubriques avec chacune entre 2 et 4 questions type échelle de Lickert à 5 niveaux. J'ai pensé faire une analyse à partir d'un diagramme de réponse avec pour chaque question le pourcentage de chaque niveau de l'échelle de Lickert et comparer ces pourcentages avant et après l'usage de l'outil.Cela vous parait-il être le meilleur moyen d'en faire l'analyse et quel outil/formule d'analyse statistique utiliseriez-vous ?

Je me sers habituellement du site biostatgv pour faire mes analyses statistiques. Mais là je suis un peu perdu dans le choix de l'outil le plus approprié et la façon de faire... Je peux vous transférer les données sous forme d'un fichier csv au besoin ou vous envoyer un lien vers une copie du questionnaire. 

Merci d'avance pour votre temps et votre aide.

Réponses

  • Modifié (August 2022)
    Bonjour.
    Comme souvent dans les travaux "amateurs" (*), il y a des problèmes sérieux. Mais ça n'interdit pas de faire une bonne thèse. J'ai vu ainsi une thèse considérée comme excellente qui ne faisait que du descriptif. C'est ce que tu veux faire, si j'ai bien compris. Comparaison des réponses avant/après, item par item. Ça ne demande pas de gros outil de traitement, un simple tableur permet de faire les graphiques.
    Si tu te lances dans des méthodes de test statistique, les deux gros soucis que tu signales suffisent à rendre leurs résultats irréalistes, donc ne perds pas ton temps. Tu as quand même la chance qu'ici, on peut raisonnablement penser que les "perdu de vue" ne sont pas liés aux questions posées (**), ce qui fait que la comparaison reste saine.
    Cordialement.
    (*) ce n'est en rien une critique, les travaux professionnels en médecine nécessitent une autorisation donnée après description précise des protocoles et analyse des méthodes de traitement statistique.
    (**) à moins que ce soit l'outil numérique qui les ait fait fuir :o
  • Modifié (August 2022)
    Merci pour ta réponse. C'est bien une thèse d'exercice et non de science que l'on peut donc considérer comme un travail "amateur". 
    Pour les perdus de vue la raison est surtout lié à un mauvais ciblage de l'étude. On a intégré une dizaine de kinés et de biologistes qui n'ont malheureusement pas utilisés l'outil. En descriptif est-on autorisé à faire de la stratification afin de ne comparer que la population ayant utilisée effectivement l'outil ?
    Du coup pour toi une analyse descriptive comparant l'évolution des proportion avec des graphes pour imager mon propos est suffisante ? 
    Je suis novice en analyse descriptive, est-il nécessaire de faire des études de distribution normale et une analyse d'égalité des déviations standards ?
    Merci pour ton aide. 
    Cordialement. 
  • Modifié (August 2022)
    " En descriptif est-on autorisé à faire de la stratification afin de ne comparer que la population ayant utilisée effectivement l'outil ?" C'est quand même mieux de ne pas faire parler ceux qui ne savent pas, non ?
    "Du coup pour toi une analyse descriptive comparant l'évolution des proportion avec des graphes pour imager mon propos est suffisante ? " C'est ce que j'avais vu. Mais il y avait une analyse sérieuse à chaque fois, et une justification préalable. Dans ton cas, comparer des échelles de Likert n'a pas un grand intérêt au delà des résultats bruts, les réponses étant généralement faites un peu au hasard.
    "Je suis novice en analyse descriptive, est-il nécessaire de faire des études de distribution normale et une analyse d'égalité des déviations standards ?" Vu ce que je viens de dire, tu comprendras que je trouverais ça assez ridicule. Même si certains le font dans certaines disciplines, et même des profs (incompétents) l'exigent. J'ai vu ça en psycho, j'espère que ton jury sera plus intéressé par tes résultats que par une fausse qualité "statistique".
  • Modifié (August 2022)
    Merci beaucoup pour tes réponses. Je vais en discuter avec mon présidents de jury voir si cela lui convient une analyse purement descriptives. Dans le cas contraire et s'il m'impose des analyses statistiques je reviendrai vers vous.
    Bonne journée,
    Cordialement,
    Michel Zorgniotti.
  • Bonjour,

    Je relance le sujet. Bien que l'absence de groupe contrôle invalide la valeur statistique des tests réalisés, ils veulent tout de même que je fasse une analyse statistique des résultats. 

    Mais je ne trouve aucun test qui puisse aller car : 
    - Il s'agit d'une étude avant-après (donc deux échantillons qui sont par définition dépendants l'un de l'autre)
    - Avec des perdus de vue 58 réponses avant l'utilisation de l'outils versus 48 après (donc impossibilité de faire un test apparié sauf à mettre une valeur nul pour 10 réponses (dans le cas de mon échelle de Likert cela correspond à "ne se prononce pas") mais cela faussera tout de même la répartition des valeurs)
    - les variables mesurées sont discrètes (pondération de l'échelle de Liker) ce qui m'empêche d'utiliser un test d'Anova

    Connaissez-vous un test qui me permettent de comparer les groupes avant et après l'intervention dans ces conditions (même si je sais que cela n'aura aucune valeur statistique) ? 

    Merci d'avance pour votre aide précieuse. 
  • Modifié (August 2022)
    Bonjour.
    Tu peux utiliser un test de khi-deux (comparaison des effectifs des différentes classes par réponse). Si tu as des classe de trop faible effectif, il y a le test exact de Student.
    S'il n'y a pas de différence statistique, tu peux alors proposer de jeter l'outil ;)
    Et s'il y en a une, l'analyse directe des résultats sera validée par le test (une analyse statistique ce n'est pas nécessairement un test - tes responsables de thèse le savent-ils ?).
    Cordialement.
  • Modifié (August 2022)
    Merci pour ta réponse,
    J'ai essayé de leur faire comprendre qu'une analyse descriptive était probablement plus intéressante mais rien à faire...
    Mon problème c'est qu'il s'agit d'un groupe dépendant mais avec des perdus de vues donc je ne peux pas apparier toutes les valeurs.
    Est-ce que ça serait valable de faire un test de Student apparié mais au lieu de prendre 58 réponses (nombre de répondant à l'entrée) je n'en prends que 48 (nombre de répondant à la sortie) auxquels j'applique la valeur moyenne des 58 réponses de mon échelle de Likert ?
    (Pour répondre d'emblée on peut jeter l'outil il était trop complexe d'usage mais pour autant l'expérience était intéressante pour en développer un autre).
    P.S : on est d'accord que dans mon cas comme il s'agit de variables quantitatives je dois soit utiliser un test "T de student apparié" ou un "test de Wilcoxon" selon que la distribution des données soit normale ou pas.
  • Modifié (August 2022)
    Ah, si tu peux apparier (*), alors tu laisses tomber les 10 perdus et tu prends l'échantillon des 48. À quoi servirait des questionnaires avant sans après ?
    Par contre je ne comprends pas comment tu pourrais faire un Student sur des données qualitatives (même codées dans une échelle de Likert : 3 ne vaut pas 1,5 fois plus que 2, c'est seulement le code suivant)
    Je ne comprends pas ton PS. Tes données ne sont pas quantitatives, seulement plus ou moins ordonnées. Ou tu as autre chose qu'une échelle.
    Cordialement.
    (*) donc tu sais dire "tel questionnaire après est celui de l'individu qui a répondu à tel questionnaire avant".
  • Modifié (August 2022)
    En lisant ton commentaire je dois faire fausse route.

    Pour moi les groupes sont dépendant l'un de l'autre car c'est le même groupe même si je ne peux pas relier les réponses avant et après entre elles.  Du coup d'après toi je peux utiliser un test se basant sur deux groupes indépendant car les données ne sont pas appariables entre elles ?  

    Pour le type de questionnaire c'est mon prof de fac de médecine (qui n'est pas du tout statisticien) qui m'a conseillé d'utiliser un test de Student pour analyser les valeurs pondérées d'une échelle de Likert. Je vois où tu veux en venir. Effectivement, on ne peux pas dire que "pas du tout satisfait" vaut trois fois moins que "ne se prononce pas" et quatre fois moins que "satisfait"... Du coup je peux utiliser un test des rang signé de Wilcoxon (qui marche aussi en qualitatif ordinal ce qui est le cas) si on part sur de l'apparié ou un test de Mann Whitney si on part sur des groupes considérés comme indépendants.

    Je vois bien que l'étude est à jeter complètement... Du coup pour l'indépendance / appariement c'est quoi le moins faux d'après toi ? Quand on a 2 fois le même groupe avec des perdus de vues que je ne peux pas identifier car les réponses ne sont pas appariables les unes aux autres.
    Je pensais que la notion d'indépendance des groupes était liée au fait qu'aucun membre ne soit présent dans les deux groupes et non pas au fait qu'on ne puisse pas lier les réponses d'un groupe à l'autre.
    Merci d'avance.
    [Frank Wilcoxon (1892-1965) prend toujours une majuscule. AD]
  • Modifié (August 2022)
    Maintenant que tu as un peu précisé, je comprends que tu as deux études de groupes, avec des non réponses. Donc tu as raison, il n'y a pas, à priori, indépendance des deux groupes, puisque ce sont des réponses des mêmes, et qu'en plus, ce que tu veux mettre en évidence, c'est justement comment les données évoluent compte tenu de cette dépendance.
    Ce qui m'avait trompé, c'est que tu parlais de test apparié. Mais "Apparié" n'est pas le contraire de "indépendant", c'est une forme de recueil de données où on a deux ou plus réponses pour chacun des individus, donc on peut comparer individu par individu. Tu te trompes aussi quand tu dis "Je pensais que la notion d'indépendance des groupes était liée au fait qu'aucun membre ne soit présent dans les deux groupe" :  l'indépendance est due au processus de tirage, il peut arriver qu'il y ait des individus communs.
    Tu es dans le plus mauvais cas ! Je te conseille de revoir la situation avec ton prof, et s'il tient absolument à un test statistique, d'en faire un pour cela, en précisant pourquoi il n'est pas satisfaisant pour un biostatisticien. Par exemple le test des rangs (Le Wilcoxon devrait donner le même résultat).
    Bonne chance pour la suite.
  • Modifié (August 2022)
    Merci beaucoup pour toutes ces réponses. C'est clair pour le coup ainsi que la démarche à suivre. Je reviens vers toi si je suis confronté à une nouvelle difficulté. Oui j'ai déjà commencé à baliser le terrain dès l'introduction sur le peu d'intérêt de faire de l'analytique dans mon contexte.
  • Modifié (September 2022)
    Bonjour
    Je relance un peu le sujet. J'ai traitée la moitié de mes données avec un test des rangs de Wilcoxon. Le traitement des données manquantes s'est fait grâce à l'algorithme NIPALS (avec ce bon résultats, variation de la moyenne de l'ensemble des résultats +0,49% et de l'écart type -1,17%)
    J'ai tout de même une question, le questionnaire comprend 6 parties avec chacune entre 4 et 2 questions pour 19 échelles de Likert au total. Est-ce que statistiquement il est possible d'agréger l'ensemble des résultats des 19 échelles de Likert pour avoir un résultat d'ensemble ? (Même question pour l'agrégation dans les sous-parties). Je pose la question comme certains items sont globalement positifs, d'autre neutres et certains négatifs pour savoir s'il est possible d'avoir une conclusion d'ensemble (en gardant à l'esprit toutes les limites : pas de groupe contrôle, pas d'appariement et traitement des données manquantes).
    Merci d'avance.

    [Frank Wilcoxon (1892-1965) prend toujours une majuscule. AD]

  • Modifié (October 2022)
    Bonjour je relance un peu le sujet.

    Finalement j'ai eu l'accord de partir uniquement sur une analyse descriptive mais j'aimerais votre avis concernant l'un de mes résultats statistiques. Pour l'une des questions j'ai le résultat suivant : 
    - Augmentation des réponses très négatives + 35%
    - Augmentation des réponses très positives + 9%
    - Diminution des réponses négatives - 35%
    - Diminution des réponses positives - 9%

    Diriez-vous pour ce résultats que : 
    - l'équilibre positif/négatif est identique avec une dispersion plus importante des résultats par rapport à la réponse centrale (pas d'aggravation ni d'amélioration de la situation) (vision plutôt baricentriste avec un point d'équilibre qui est identique). 
    - qu'il y a une altération de la situation liée au déplacement d'un plus grand nombre de réponses vers le très négatif que vers le très positif (vision prenant en compte l'intensité et le taux des réponses).

    Je suis en désaccord avec l'un de mes relecteurs sur l'interprétation de cette réponse.

    Merci d'avance pour vos lumières,
    Cordialement.
  • Bonjour.

    Mon interprétation :  Un déplacement des réponses vers les extrêmes. Je ne peux pas dire plus, ne sachant pas de quoi sont ces pourcentages, ni les valeurs initiales, ni même sur quelle taille de répondants on travaille (avec 11 répondants, 9% c'est 1 répondant).

    Cordialement.
  • Modifié (October 2022)
    Il s'agit d'évaluer l'accès aux documents médicaux. Le nombre de répondant est 58. Initialement l'évaluation avant l'usage de l'outil était : 
    - 0% de très négatif
    - 55% de négatif
    - 5% de neutre
    - 40% de positif
    - 0% de très négatif
     
    L'objectif est vraiment de voir si finalement la situation semble meilleur, moins bonne, stable. 
    Merci d'avance. 
  • Modifié (October 2022)
    Donc on est passé à 35% de très négatif et 20% de négatifs ? C'est une grosse évolution ! Même si l'effectif n'est pas énorme, ça montre une évolution notable. Il y en a une plus faible dans les positifs, 9% de 68, c'est 6 individus.
    À toi de traduire cela en fonction de la question et des autres réponses.
  • Modifié (October 2022)
    En fait mon relecteur estimait que l'équilibre globale ne bougeait pas mis à part une dispersion vers les extrêmes plus marquée. Mais que la situation n'était pour autant pas moins bonne (les augmentations étant compensées par les diminutions dans un sens ou dans l'autre).
    De mon côté j'estime que l'intensification de 35% des individus dans le très négatif versus seulement 9% dans le très positif correspond à une dégradation de la situation même si les taux des réponses "globalement négatives" et "globalement positives" sont identiques.
    En lisant ta réponse tu à l'air de confirmer mon évaluation. C'est bien ça ?
  • Modifié (October 2022)
    Je ne confirme pas particulièrement, ne connaissant pas le contexte. Par contre la notion d'équilibre me semble malsaine. C'est la vieille blague de statisticien de l'avocat qui explique : "quand j'étais jeune je manquais de pratique, j'ai laissé condamner quelques innocents. Maintenant que je suis très expérimenté, j'ai réussi à faire relaxer quelques coupables. Ça équilibre, en moyenne. 
    Cordialement. 
Connectez-vous ou Inscrivez-vous pour répondre.
Success message!