Irrtum mit Zahlen – Teil 1: Das Simpson Paradoxon

Das Simpson Paradoxon ist A: zu wenig bekannt und B: leider oft genau falsch herum interpretiert und erklärt (z.B. in vielen Youtube Filmen!),  und C: weiss man in komplexen System nie, ob man es mit einem Simpson Paradoxon zu tun hat oder nicht, weil oft nie alle Einflussfaktoren bekannt sind oder beachtet werden.

Häufig wird der Aggregationsfehler begangen, obwohl alle von klein auf wissen, dass Äpfel und Birnen und Gurken nicht addiert werden sollen. Sachverhalte sind immer für die passende Teilgruppe zu klären, ansonsten erhält man völlig irreführende Resultate.

Doch selbst bei höchster statistischer Vorsicht können sich Fehler einschleichen: Wer bei klinischen Studien Alter, Geschlecht und ähnliche Einflussfaktoren nicht berücksichtigt, handelt fahrlässig. Viel schwieriger dagegen sind Einflussfaktoren zu kontrollieren wie Enzymvarianten und spezielle Darmfloras.

Ehrlicherweise muss man zugestehen, dass jede klinische Studie ein Vermischen von Äpfel und Birnen ist, denn jedes Individuum (mit seinen individuellen Symbionten) ist einzigartig – auch beim Stoffwechsel. Nie kann man davon ausgehen, dass man KEIN „falsches Resultat durch unzulässige Aggregation und Durchschnittbetrachtung“ vor sich hat. Die Forschung versucht –  zumindest in der klinischen Studie III und IV – die Verzerrungseffekte zu eliminieren, in dem sie immer grössere Patientengruppen involviert. Je grösser die Gruppe, desto eher ist eine Gruppe im Durchschnitt zusammengesetzt, wie die Vergleichsgruppe. D.h. die Forschenden hoffen, dass alle zahlreicheren Sonderfälle zu gleichen Teilen in Gruppe und Vergleichsgruppe vertreten sind und dass alle selteneren Sonderfälle im allgemeinen „Rauschen“ untergehen.  Weil dann die Markterfahrung doch einiges an Überraschungen bereit hält (50% der zugelassenen Medikamente müssen entweder zurückgerufen oder „angepasst“ werden – als Spitze des Eisberges) scheinen sich all diese Hoffnungen nicht wirklich zu erfüllen.

SimpsonParadoxMed

Das Simpson Paradoxon ist schwer zu erkennen aber leicht zu erzeugen:

Man starte mit gleich grossen Gruppen, und ordne beide Medikamente A und B an gleich viel junge wie ältere Probanden zu und erhalte unterschiedliche OK-Effekte. z.B. Medikament A schlägt B in jeder Teilgruppe und im Total.

Dann verzerre man bei jungen und älteren Probanden die Teilnehmerzahl beim jeweils anderen Medikament. Aus der Summenbetrachtung schliesst man hier nun fälschlicherweise, B sei das bessere Medikament, obwohl Medikament A sowohl für junge wie für ältere Patienten bessere Resultate liefert. Hier ist ein Simpson Paradoxon entstanden, das ein Resultat in sein Gegenteil umkehrt und darum alle in die Irre führt, welche nur die Totale betrachten.

SimpsonParadoxMed80

Anschauungsmaterial:

Le paradoxe de Simpson — Science étonnante #7 https://www.youtube.com/watch?v=vs_Zzf_vL2I

http://www.pmone.com/blog/lesen/die-tuecken-der-aggregation-im-reporting/

https://www.freitag.de/autoren/ulrich-kuehne/von-zahlen-geblendet

Lügen mit Zahlen: Wie wir mit Statistiken manipuliert werden http://www.amazon.de/L%C3%BCgen-mit-Zahlen-Statistiken-manipuliert/dp/3453173910

Der Hund, der Eier legt: Erkennen von Fehlinformation durch Querdenken http://www.amazon.de/Der-Hund-Eier-legt-Fehlinformation/dp/3499621967

Mit an Wahrscheinlichkeit grenzender Sicherheit – Logisches Denken und Zufall

http://www.amazon.de/Wahrscheinlichkeit-grenzender-Sicherheit-Logisches-Denken/dp/3499619024

Die grösste bislang durchgeführte Phase III-Studie umfasste fast 70’000 Patienten. http://biotechlerncenter.interpharma.ch/2233-studien-mit-vielen-kranken-phase-iii

Medikamentenversager: http://agstg.ch/downloads/medien/agstg_liste-medikamentenversager_novartis_roche_sanofi_actelion_pfizer_swissmedic.pdf

 

Advertisements

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s