Un hasard régulier par hasard ?

heinki

bonsoir,
le hasard peut-il ètre aussi régulier que ceci ?

Il s'agit ici d'études médicales : médicament A contre placebo.
Pour chaque étude on donne le nombre de complications graves de la maladie, le nombre de patients, ceci pour médicament A et pour placebo.

Voici les résultats obtenus issus de plusieurs études:
A =médicament A , P= placebo
A : k / n c'est k complications graves pour n patients
idem pour placebo on note cas complications graves pour nombre de patients placebo de l'étude.

étude 1 
A  = 2 / 71
P  = 3 / 83

étude 2 
A = 4 / 212
P = 8  / 211

étude 3 
A = 4 / 111
P  =  0 / 37

étude 4
A = 43 /478
P = 55 / 471

étude 5
A = 8 / 214
P = 11 / 227

étude 6
A = 8 / 136
P = 11 /157

heinki

Les études sont statistiquement dites non significatives .
Individuellement, tout comme globalement.

La question posée sur la régularité du hasard est donc la suivante.
Si pas de différence entre A et placebo, le hasard ne devrait-il pas alterner des différences des deux cotés, plus ou moins de complications selon les études pour tantot placebo tantot médicament A.

Par ailleurs sur 5 études on trouve pas seulement amélioration par médicament, mais aussi un ordre de grandeur là aussi presque régulier,
aux alentours de 80% de complications en moins sous médicaments. Là aussi cette quasi regularité doit elle interroger?

heinki

c'est 20% de complications en moins pour médicament A par rapport au placebo et non 80%
pas encore trouvé les outils d'edit de votre foum.

lourrran

Les données sont régulières, mais je ne vois rien de choquant. Je suis juste surpris de l'étude n°4, où on a des taux beaucoup plus élevés que dans les 5 autres études (aussi bien pour A que pour P)

Pour modifier un message, il y a une petite roue crantée qui apparaît en haut à droite des messages que tu as envoyés.

heinki

Pour l'etude 4 j'imagine qu'ils ont sélectionné des cas plus graves, plus avancés.

Le médoc est classé non efficace, car rien de statistiquement significatif.
Pour autant, si je prends 100 médocs classés non efficaces mais où toutes les études ont montré des chiffres plus bas de complication que le placebo,
et que je compare à 100 médocs où les études montrent tantôt oui,  tantôt non en baisse de complication,
j'ai le sentiment d'augmenter mes chances de prendre un médoc efficace dans le premier groupe de 100.
Sentiment ?

Vassillia

Bonjour, un test statistique ne donne pas seulement un résultat binaire "statistiquement significatif ou pas", il donne aussi et surtout un degré de signification. Lorsque tu vas faire une méta-analyse qui permet de synthétiser quantitativement les résultats de tes 100 études indépendantes, cela va être pris en compte donc il est possible que la conclusion diffère dans les 2 cas que tu présentes.

Ceci dit, en médecine, on sait que prendre un médicament n'est jamais anodin, il y a quasiment toujours des risques d'effets secondaires donc si on n'est pas "assez sur" des effets positifs, il n'y aura jamais d'AMM (Autorisation de Mise sur le Marché) car on est "quasi sur" d'un peut-être effet négatif et c'est la balance bénéfice-risque qui nous intéresse.

Georges Abitbol

Je n'ai pas bien compris quelle était la question.

Si la question est

Si pas de différence entre A et placebo, le hasard ne devrait-il pas alterner des différences des deux cotés, plus ou moins de complications selon les études pour tantot placebo tantot médicament A.

alors il faut faire des calculs pour savoir si c'est étonnant ou pas... Par exemple, si Alice et Bob joue à pierre-feuille-ciseaux cinq fois de suite et qu'Alice gagne les cinq fois, faut-il croire qu'Alice a forcément implanté un détecteur dans le cerveau de Bob pour deviner son choix quelques millisecondes avant son geste ? A mon avis, notre intuition nous trompe souvent quand il s'agit de probas et il faut se garder de tirer des conclusions sans avoir raisonné un peu avant (je ne dis pas que c'est ce que tu fais, puisque tu viens justement sur le forum demander ce qu'on en pense).

heinki

ok, je vais voir ça.

Pour autant, si hypothèse nulle pas de différence médoc placebo, avoir 5 mieux pour 1 seul moins bien,
est-ce comme avoir tiré  5 piles 1 face ou 5 faces 1 pile d'une pièce équilibrée?

Et quid de l'autre "regularité" sur le fait de tirer dans les memes eaux 20% de moins

A comparer à avoir 3-3 4-2 avec tantot +-5% 15% 33 % ...

heinki

les calculs ont été faits, individuellement ce n'est pas significatif, et globalement non plus.

Pour autant si on trouve une grande asymértie 5 resultats mieux pour un moins bien ,
cela ne signifie-t-il pas plutot que l'on a un manque de cas totaux ?

Georges Abitbol

Mais justement, pourquoi est-ce que $5$ contre $1$, c'est une "grande" asymétrie ?

Et l'expression "pas significatif" veut dire "qu'on ne peut pas différencier, dans un certain cadre, du hasard". Il y a probablement des tests statistiques qui disent "si truc gagne trop souvent contre machin, alors on conclut que truc est significativement meilleur que machin", auquel cas c'est significatif. En général, il y a plusieurs tests statistiques qu'on peut faire, et qui ne donnent pas tous les mêmes résultats...

heinki

"Mais justement, pourquoi est-ce que 

5 contre 1  c'est une "grande" asymétrie ?

si piece équilibrée 1/2 1/2, alors proba de base (1/2)^6 est à multiplier par les coefficients binomiaux:
 0 fois face 1 cas 1 fois face 6 cas = 7 cas
contre 1+6+15+20+15+6+1=64
cela fait 11% je trouve que cela montre un certain intéret à défaut d'ètre une preuve.

On peut penser que de refaire d'autres études devrainet dire plus clairement si on retrouve du 5 ou du 6 sur 6.
Perso je trouve cela un encouragement à continuer .Plutot qu'un enterrrement .

heinki

La deuxième raison de trouver le 5/6 favorables digne d'intérèt est une raison non encore abordée.

Nous avons donné ici les résultats d'études controlées randomisées.
Or il se trouve que des études observationnelles bien plus nombreuses , 5 fois plus nombreuses?
ont montré ce meme rapport favorable.
Ces études sont rejetées car il pourrait y avoir un biais commun qui aurait favorisé l'efficacité de médicament A.

Donc de nombreuses études observationnelles trouvent les memes résultats que les études controlées.
Cela donne un argument supplémentaire à se dire que les études randomisées favorables mais non significatives
devraient ètre continuées si on parle juste de pouvoir établir les données de la science.

Non?

lourrran

Ici, 5 tests sur 6 vont dans le sens souhaité, et en plus, le 6ème est celui qui a l'effectif le plus faible (111+37=148 seulement).
Donc, de ce point de vue, A semble efficace.
MAIS
en gros, A permet de réduire de 20% les nombres de cas graves. 
20%, ce n'est pas 40% ou 70%, c'est peu.
Un médicament qui permet de réduire le nombre de cas graves de 20%, avec des effets secondaires qui doivent exister, est-ce un bon médicament ?
Même si le bénéfice est clairement établi, même si on démontre que sur de plus grands nombres, cette tendance de 20% sera confirmée, il y a peut-être d'autres critères (non statistiques, mais médicaux ou autres) qui disent : ok, on va vers un taux de 20%, c'est acquis, et donc le rapport bénéfice/risque n'est pas suffisant.

heinki

Salut lourran,

avant que de se placer sur la médecine il ya la discussion sur mntrer une efficacité ou non.
Laissons les médecins décider si cela vaut le coup ou non c'est un autre problème.

Mais peut-on dire avec les études randomisées qui vont dnas le meme sens que les études observationnelles,
peut-on dire:
"on sait bien que médicament A ne marche pas.
Alors que ce que l'on a réussi semble-t-il à montrer est
"nous n'avons pas réussi à montrer une efficacité qui serait statistiquement significative.

Les données de la science sur efficacité du médicament A, c'est quoi?
J'ai du mal à accepter comme donnée de la science:
"on sait bien qu'il ne marche pas"

gerard0

A noter : l'étude 3 est douteuse, le nombre de "placébo" étant très faible par rapport aux "médicament". Comme si les médecins savaient qui prend quoi et avaient réservé le placébo aux cas "légers".

"Donc de nombreuses études observationnelles trouvent les mêmes résultats que les études contrôlées.
Cela donne un argument supplémentaire à se dire que les études randomisées favorables mais non significatives
devraient être continuées si on parle juste de pouvoir établir les données de la science." (rajout de 3 accents circonflexes)

Effectivement, c'est un argument, mais un parmi d'autres. Sans les études elles-mêmes, difficile de dire quoi que ce soit de sérieux.

Cordialement.

lourrran

L'expression 'le médicament marche', ce n'est pas une expression mathématique, ni scientifique. Le verbe marcher, je ne sais pas ce qu'il veut dire. C'est un mot trop flou pour être employé dans une discussion comme celle-ci.

Ici, on sait bien que : "ce médicament ne réduit pas de 50% le nombre de cas graves, ni même de 40%". Ca paraît un résultat acquis.

Et donc, selon ce que le verbe 'marcher' signifie, on peut dire qu'il marche, ou qu'il ne marche pas.

Je pense que chacun a une définition différente du verbe 'marcher'.

heinki

"le médicament a ne marche pas dans la maladie B"

d'une façon générale je pense que c'est utilisable.Les médecins parlent ainsi.

d
Dans le cas particulier présenté et avec les chiffres donnés:
"un président ne devrait pas dire cela"
"un journaliste de 20h00 ne devrait pas dire cela"
...
c'est pourtant ce que disent des biostatisticiens, voire c'est quasi ce que dit le consensus scientifque actuel
sur médicament A dans maladie B

lourrran

Soit, le verbe marcher est donc un verbe admis dans un contexte scientifique. Ca me fait mal, mais je m'adapte.

Que veut-il dire, ce verbe marcher ?   

Un ordinateur qui refuse de démarrer 4 jours sur 5, et qui démarre 1 jour sur 5, de mon point de vue, c'est un ordinateur qui ne marche pas. Pareil pour un téléphone, ou une voiture, ou un four. Ou un médicament.

Donc ce médicament ne marche pas.

heinki

Prendre du doliprane pour faire baisser la fièvre, cela marche.
Généralement, mais en effet il y a des cas où cela ne marchera pas.
Bref inutile de la jouer vocabulaire définition.

Le médicament A a une efficacité sur maladie B .
Le:" on sait bien que médicament A n'a pas d'efficacité dans maladie B " te semble au vue des donnes chiffrées 
une donnée de la science?

Enore un fois le degré d'efficacité et la pertinence en rapport bénéfice sur risque n'est pas le propos de cette phase là.

Vassillia

Comme le dit gerard0, on parle un peu dans le vide car il faut les études avec leur protocole pour évaluer le niveau de preuve et savoir ce qu'on peut en conclure ou non. Lors des méta-analyse, l'impact de telle ou telle étude est à mettre en corrélation avec le crédit qu'on peut lui donner. Tous les discours et tous les papiers ne se valent pas scientifiquement parlant et non, les biostatisticiens sérieux ne concluent surement pas leurs publications par le médicament "marche", c'est un peu plus subtil que cela même si la communication dans les médias, c'est autre chose.
En l'état actuel des données que tu nous communiques, on ne peut pas vraiment te répondre heinki sur l'efficacité du médicament dont tu parles même si ta question est légitime.

heinki

Le consensus scientifique sur ce médicamant A dans la maladie B est que le médicament ne marche pas ou qu'il n'est pas efficace si ces mots vous parlent mieux.
De nombreuses études observationnelles montrent très majoritairement des résultats  comme ceux donnés plus haut, avec parfois meme du statistiquement significatif dans la diminution de l'aggravation
Pour les études randomisées vous avez les chiffres
Si vous pensez avec cela que le consensus scientifique a raison, vous en avez le droit

Personnellement, les données de la science permettent de dire que le médicament n'est pas efficace
n'est pas établi
Je ne dis bien sur pas l'inverse non plus

Mais vous avez des chiffres et les études randomisées
Il faudrait également etre capable de rejeter les nombreuses études observationnelles positives avec des arguments solides, mais je n'en fais pas la priorité

Voilà un médoc qui ne marche pas,
et voilà comment la science peut le "prouver"
Cela me laisse rèveur sur les autres données de la science ,,,

gerard0

Finalement,

tu étais venu ici pour qu'on te dise que le consensus scientifique a tort. Malheureusement, comme matheux, on ne peut pas te suivre, on ne peut pas démentir les résultats mathématiques. Que ça te plaise ou non.

Tu as perdu sur l'analyse scientifique, tout ton baratin n'y changera rien.  Tu as perdu.

Les études observationnelles montrent que les soucoupes volantes existent. Elles n'ont jamais permis d'en être sûr. Les études observationnelles montraient au dix-septième siècle que les saignées étaient utiles, on a arrêté d'en faire. Les études observationnelles sont parfois le seul moyen de savoir, mais quand on a des outils plus sérieux, on les utilise. Même si ça doit décevoir ceux qui croient sans bonne raison.

Ciao !

heinki

Gérard,
essayez de rester concentré
Le sujet ici fait fi du médicament, fait fi de savoir si c'est intéressant en bénéfice sur risque, fait fi des études observationnelles.

Le sujet est avec les études randomisées citées, comment fait-on pour déduire que le médicament n'est pas efficace.
Est-ce une donnée acquise de la science sur ces études ?

Gérard, vous semblez dire oui. Il suffit de ne pas pouvoir montrer une efficacité pour déduire que c'est inefficace.
Enfin c'est le seul truc que j'arrive a comprendre de votre position.

Personnellement je dis que de telles études montrent  juste ? une faiblesse du nombre étudié.
Et que la conclusion efficace ou non est entièrement ouverte sur de telles analyses.

Merci de rester concentré.

GaBuZoMeu

C'est bizarre, le style et les marottes de ce Hein ? Qui ? fraichement inscrit me rappellent quelqu'un croisé sur d'autres forums ...

gerard0

Je t'ai déjà répondu, manifestement, ça ne te suffisait pas parce que tu as ta propre opinion. Et depuis le début, au lieu de lire les réponses, tu reviens sur ton opinion. Et tu ne fais que revenir sur ce sujet non mathématique.

Et je n'ai pas besoin d'être "concentré" pour comprendre que tu attends quelque chose de nous qu'on ne pourra pas te donner.

"Le sujet ici" a été traité très sérieusement dès le début (on n'a pas pour habitude de répondre à côté). Ton insistance ne fait que montrer que tu refuses la conclusion scientifique ("pas d'efficacité démontrée"). Tant pis pour toi !

heinki

Mais bien sûr que c'est des maths.
Bon alors vous avez très bien expliqué, mais je n'ai pas le niveau pour comprendre.
Donc on reprend.
Sur 6 études, le médicament fait mieux que placebo, 5 fois.
Si pas de différence entre médicament et placebo j'attends sur les 6 études suivantes à venir : ne pas retomber sur les 10% qs répondu à Abitbol
Donc déjà on  pourrait bien voir en doublant la mise des études.
Là où cela rejoint le nombre total insuffisant c'est, et là je pose une question de néophyte ; puis-je avoir une succession de plus en plus importante de cas majoritairement positifs au médicament sans jamais atteindre une valeur mathématique du total étude qui deviendrait significatif.

Voilà une question mathématique il me semble.
Les déviations sur un médoc marche ou courre, les études observationnelles où on me fait dire n'importe quoi, sont bien de votre ressort.
Peu de gens sur le forum ont répondu à la question.
Avec aussi peu d'éléments statistiques on n'affirme pas que le médoc est efficace, mais comment justifiez-vous d'avoir montré qu'il ne fonctionne pas.
Si d'autres intervenants veulent bien me donner avis-réponses, cela m’intéresse.

lourrran

Je crois que le docteur GBZM a fait le bon diagnostic.

Georges Abitbol

Là où cela rejoint le nombre total insuffisant c'est, et là je pose une question de néophyte ; puis-je avoir une succession de plus en plus importante de cas majoritairement positifs au médicament sans jamais atteindre une valeur mathématique du total étude qui deviendrait significatif.

Je n'ai pas compris la question. Et ton histoire du "nombre total insuffisant" non plus.

Avec aussi peu d'éléments statistiques on n'affirme pas que le médoc est efficace, mais comment justifiez-vous d'avoir montré qu'il ne fonctionne pas.

Les statistiques ne "démontrent" pas qu'un médicament est efficace ou ne l'est pas ; elles affirment ceci ou cela, de telle façon que dans un monde mathématique idéal, elles ne se trompent que rarement. Si tu dis "pas significatif", je me dis que tu as toi-même fait les tests statistiques, et que ces tests ont conclu à "médicament pas significativement plus efficace que placebo". Personne n'a rien démontré du tout, personne n'a rien à justifier : on a rentré les données dans l'algorithme "test statistique" et il a annoncé, en sortie, "pas significatif". C'est tout.

Vassillia

D'accord avec Geaorges Abitbol (et aussi avec la théorie de GaBuZoMeu )

Je rajouterai juste que lorsque "le médicament n'est pas significativement plus efficace que le placebo" cela ne permet pas de conclure qu'il n'y aucun effet du médicament, c'est exact. On ne peut théoriquement jamais accepter H0 puisque cela demanderait de maitriser le risque de seconde espèce et donc de connaitre l'hypothèse H1.

Ce qu'on peut conclure en revanche (avec un risque d'erreur plus ou moins important en fonction du sérieux de l'étude), c'est que si l'effet positif existe alors il est trop faible pour être mis en évidence (et donc trop faible pour être médicalement intéressant). En effet, en définissant une différence minimale à mettre en évidence entre H0 et H1, on a calculé la puissance du test statistique avant même de commencer l'étude et choisi la taille des échantillons en fonction.

Quand on travaille correctement, aucun essai clinique n'est autorisé sans un protocole bien défini et présenté en amont (et d'ailleurs même s'il existe plusieurs tests statistiques, on doit expliciter lequel on fera justement pour ne pas changer le protocole en cours de route).

Le consensus scientifique a fait ce travail correctement jusqu'à preuve du contraire n'en déplaise à un prétendu cador et internautes suiveurs. Donc en l’absence d'éléments probants, on arrête les études pour consacrer l'énergie et l'argent de la recherche a des produits qui ont plus de chances d'être médicalement intéressants.

Tout va bien selon moi sauf peut-être la communication sur les réseaux sociaux mais c'est une autre histoire...

heinki

Tout a fait d'accord avec Vassillia et Gérard, les études randomisées sont les meilleures,
mais elles sont aussi très chères,
et refuser de voir l'impact du prix des études sur la sélection des études est de l'angélisme.
Oui on ne peut pas passer son temps ni son argent à essayer de prouver et ok pour dire on laisse tomber.
Dans le cas présent, sur l'étude 3 que j'ai été revoir pour voir pourquoi le randomisé est si faible (pas trouvé d'ailleurs, des raisons éthiques?) l'étude se termine par : underpowered
Dans l'étude 4 qui est la plus fournie, la plus récente d'ailleurs (ce qui leur permet certainement d'avoir un meilleurs avis sur le n à étudier), il était prévu  initialement de prendre 1600 cas.
Donc nous avons bien des études qui n'ont pas l'échantillon nécessaire pour montrer dans de bonnes conditions un p significatif.
Donc je poursuis :
des études qui montrent pour le moment à 5/6 de meilleurs résultats pour le médoc, dans des études où il est clairement dit qu'ils n'ont pas pu atteindre l'effectif voulu,
ben sauf votre respect je reste sur il n' y a pas de données de la science sur ce médicamant A dans la maladie B.
Quant aux matheux puristes qui la jouent les maths montrent juste des conclusions mathématiques, ne soyez pas hypocrites,
les maths servent à dire dans le cas présent si un médoc marche ou non, est efficace ou non, diminue ou non les hospitalisations dans le cas présent. Et c'est  ainsi que Vassillia et ses amis parlent.
Quant à savoir si diminuer les hospitalisations de 20% est inutile, ridicule ou autre,
on parle  ici d'hospitalisations dont certaines personnes ne ressortent pas.
Alors le bénéfice sur risque est à apprécier certes, et ce n'est pas l'objet de ce fil de discussion.

Vassillia

Sauf que l'efficacité d'un médicament dépend évidemment de la balance bénéfice/risque, on ne peut pas en faire abstraction, donc tu as raison sur le fait que cette discussion est sans objet mais je ne suis pas sûre que ce soit moi la responsable. J'en resterai là, je pense que discuter avec toi est inutile.

heinki

C'est vrai que diminuer un risque d'hospitalisation ou un risque de décès, en prenant un risque de mal au ventre, faut être prudent !!!