Benutzer-Werkzeuge

Früher bekannt als Ad Hominem Info. Willkommen auf der neuen Site …

Prävalenzfehler

Fehlerhafte Einschätzung der Bedeutung von statistischen Ergebnissen, die daher rührt, dass die Prävalenz (Basisrate) nicht beachtet wird.

Beispiel:

Nach Behandlung mit Medikament X ist in einem von 20 Fällen der Krebs völlig verschwunden.

Nach dieser Aussage erscheint es so, als gäbe es eine Korrelation (womöglich sogar einen Kausal­zusammen­hang!) zwischen der Behandlung mit Medikament X und dem Verschwinden der Krebsgeschwüre.

Stellt man es dagegen in Zusammenhang mit der folgenden Aussage:

Die Wahrscheinlichkeit dass diese bestimmte Form von Krebs auch ohne Behandlung vom Körper selbst geheilt wird, liegt bei 5 %.

… wird klar, dass das Medikament völlig wirkungslos ist. Die „Erfolgsrate“ des Medikamentes ist nämlich genau identisch mit der Basisrate, also hier die Wahrscheinlichkeit, dass sich der „Erfolg“ auch ohne Medi­ka­ment­en­ein­nahme eingestellt hätte.

Andere Namen

  • Basisratenfehler
  • Basislinienfehler
  • Base rate fallacy
  • base rate neglect
  • base rate bias

Beschreibung

Die Basisrate oder Prävalenz, also die zu erwartende Wahr­schein­lich­keit, mit der ein be­stimmtes Merk­mal auf­treten wird, ist nicht immer leicht zu bestimmen. Dies wird in den Bei­spielen unten ver­deutlicht.

Allerdings ist diese auch wichtig, um über­haupt eine Aus­sage darüber treffen zu können, ob die Beobacht­ung eine Rele­vanz haben.

Wird die Basis­rate nicht beachtet, oder – was erstaun­lich häufig vorkommt – falsch berech­net, kann darauf keine sinn­volle Analyse auf­ge­baut werden.

Bayes-Falle

Ein Beispiel für Situationen, in der die statistischen Erwartungswerte auf besonders perfide Weise in die Irre führen können, sind die sogenannten „Bayes-Fallen“: hierbei wird eine eigentlich bekannte Wahr­schein­lich­keits­ver­teil­ung auf zwei Gruppen angewandt, die sich aber in der Größe stark unter­scheiden.

Dabei kann dieser Größenunterschied dazu führen, dass die Ergebnisgrößen auf unintuitive Weise stark verzerrt sind. Anders gesagt: 0,1 % von einer Million ist um eine Größenordnung mehr als 99,9 % von 100.

Für mehr Informationen hierzu, siehe den Artikel  Bayes-Falle.

Beispiele

XKCD: 90 % aller Prävalenzfehler werden von Rechtshändern begangen

Eine der vermutlich ein­leucht­endsten Er­klär­ungen für diesen Statistik­fehler dürfte von Randall Munroe stammen, der in einem seiner XKCD Comics (siehe Ab­bild­ung) die folgende Aus­sage illus­triert:

Remember, right-handed people commit 90 % of all base rate errors.
(Denk daran, Rechtshänder begehen 90 % aller Prävalenzfehler)

Je nachdem wie man die Händigkeit misst, sind etwa 10 bis 15 % der Be­völk­er­ung Links­händer, der Rest ent­sprech­end Rechts­händer. Wenn die Ver­teil­ung von Prä­val­enz­fehl­ern auf diese beiden Gruppen genau dies wider­spiegelt, ent­spricht dies genau dem Erwart­ungs­wert, zeigt also kein sta­tis­tisch sig­ni­fi­kantes Er­geb­nis auf.

Messung von Impfnebenwirkungen

Während der sogenannten „vierten Welle“ der Covid-19 Pan­demie, also im Winter 2021/2022, wurden ver­schiedene Studien ver­öffent­licht, welche über­rasch­end hohe Raten an schweren Impf­neben­wirk­ungen zu zeigen schienen.

Solche Studien wurden dann in Sozialen Medien oft weiter ver­breitet, ohne den Kontext oder die Ein­schränk­ungen der Method­iken klar zu stellen. Oft wurden dabei auch noch die Begriffe ver­wechselt: ein „un­er­wünschtes Er­eig­nis nach der Impfung“ ist nämlich nicht das­selbe wie eine „Impf­folge“ – unter ersteres fiele es nämlich auch, wenn ein Probant nach der Impfung bei einem Ski­unfall einen Knochen­bruch erleidet (siehe  Korrelations­irrtum).

Während der Knochen­bruch aber recht leicht erkennbar keine kausale Folge der Impf­ung ist, gibt es eine Reihe von anderen „un­er­wünschten Er­eig­nis­sen“, die sich nicht so leicht zu­ordnen lassen. Was, wenn ein Patient nach der Impf­ung Migräne oder Lymph­knoten­schwell­ungen bekommt?

Der einfachste Weg, eine „Basisrate“ zu finden, ist es, die Zahlen von tatsächlich geimpften Probanden mit denen von ungeimpften (bzw. im Rahmen einer Studie: solchen, die ein Placebo erhalten haben) zu vergleichen. Wenn es somit bei 0,6 % der Geimpften zu „unerwünschten Ereignissen“ kommt, jedoch auch bei 0,5 % der Kontrollgruppe, dann liegt das Risiko einer unerwünschten Impfnebenwirkung eben bei 0,1 % und nicht bei 0,6.

Hinweis: Diese Zahlen ent­sprechen den ge­samten ge­meldeten Impf­neben­wirk­ungen, wie sie in einer Studie er­mit­telt wurden. Der Groß­teil davon sind relativ leichte Neben­wirk­ungen wie Müdig­keit, Kopf- und Glieder­schmerzen, u.s.w. Die eigentlich inter­ess­ant­eren schweren Neben­wirk­ungen treten deut­lich selt­ener auf (ca. 0,02 % der Probanten). Um­ge­kehrt darf man aber auch ver­muten, dass eher leichte Neben­wirk­ungen unter­reprä­sen­tiert sind, da diese zu er­warten waren und des­halb oft erst gar nicht ge­meldet wurden.

Aber spätestens wenn wir anstatt einer kontrol­lierten Studie die Zahlen der geimpften Bevölkerung betrachten, haben wir weder eine zu­fäl­lige Auf­teil­ung in Ge­impfte und Un­ge­impften, noch eine kon­trol­lierte Um­gebung, in der alle den gleichen Ri­si­ken von „un­er­wünschten Er­eig­nis­sen“ aussetzt sind.

So kann man z.B. davon ausgehen, dass Per­sonen mit höherem Er­krank­ungs­risiko häufiger (und früher) geimpft wurden als solche, die an­sonsten eher gesund sind. Ebenso ist es vor­stellbar, dass viele, die nach monate­langem „Lock­down“ endlich ihre Impf­ung er­halten haben, sich dann umso eher riskanten Situationen aussetzten, wie Konzert- oder Restaurantbesuche u.s.w.

Mit anderen Worten: eine sinn­volle Basis­rate zu er­rechnen ist sehr viel kom­pli­zierter, als das mit­unter dar­ge­stellt wird. Alleine die Zahl der „un­er­wünschten Er­eig­nisse“ ist jeden­falls kein gutes Maß, um auf die Prä­valenz von Impf­neben­wirk­ungen zu schließen.

Hinweis: Eine Impfung ist der beste Schutz gegen einen schweren Krank­heits­ver­lauf bei einer Covid-19 In­fek­tion, gegen lang an­halt­ende Folgen (sog. „Long Covid“) sowie die beste Stra­te­gie zur Ein­dämmung der Pan­demie. Lassen Sie sich impfen, falls Sie dies noch nicht getan haben!

Wirksamkeit von Medikamenten

Ähnlich schwierig ist es, einen Vergleichswert für die Effektivität von Medikamenten zu finden: auch hier gibt es zahlreiche Faktoren, welche den Krankheitsverlauf beeinflussen können – nicht zuletzt eben, dass es auch immer mit einer gewissen Wahrscheinlichkeit „von alleine“ (bzw. durch das Immunsystem) zu einer Heilung, oder zumindest einer Verbesserung der Situation kommen kann.

Darüber hinaus kann der sog. „Placeboeffekt“ einen Heilungsprozess anstoßen, der nicht auf eine Wirksamkeit des Medikamentes bzw. der eigentlichen Behandlung zurückzuführen ist.

Hinweis: Der Begriff „Placebo­effekt“ kann irre­führend sein: Der Effekt kann auch ein­treten, ohne dass ein Schein­medi­ka­ment – eben ein „Pla­cebo“ – ver­ab­reicht wird. Alleine das Ge­fühl, etwas zur Ver­besser­ung der Lage getan zu haben – etwa durch Be­such bei einem Arzt, oder eine Än­der­ung der Lebens­um­stände – kann schon einen posi­tiven Effekt auf die Ge­sund­heit haben.

Um eine Basis­linie zu erhalten, mit der die Wirkung eines Medikamentes verglichen werden kann, werden daher Probanden in zwei Gruppen geteilt, von denen die eine das Medikament, die andere nur ein Placebo erhalten.

Damit sind aber noch nicht alle Inter­aktions­mög­lich­keiten zwischen Ex­peri­men­ta­tor und Pro­band aus­ge­schlossen und es hat sich in Ver­suchen ge­zeigt, dass sich die Er­wart­ungs­halt­ung der Versuchs­leit­ung auch auf die Teil­nehmer über­tragen kann – was eben genau diese so wichtige Basis­linie ver­fälscht. Diese Über­tragung ist so mächtig, dass sie selbst bei Tier­ver­suchen rele­vant ist, mit anderen Worten: Selbst Tiere sind für eine Form von Placebo­effekt an­fällig.

Um auch diese Art von Ver­fälschung zu vermeiden, macht man meist sog. „Doppel­blind-Studien“, bei denen zu­fällig aus­gelost wird, ob Pro­banden das Medi­kament oder ein Pla­cebo erhalten – und weder diese noch die Betreuer wissen, in welcher Gruppe jemand ist.

Gerade in wenig kon­trol­lierten Be­reichen der Medi­zin wird über solche Kom­pli­ka­tionen gerne einmal hin­weg­ge­sehen, was zu un­brauch­baren Er­geb­nis­sen führen kann. Ob und wie also über­haupt eine Basis­linie etab­liert wurde, sollte da­her immer die erste – wenn auch bei­leibe nicht die ein­zige – Frage sein, wenn man eine Studie vor­ge­legt bekommt.

Siehe auch

Weitere Informationen

Über diese Site

Denkfehler Online ist ein Projekt, die häufigsten Irr­tümer und Trug­schlüsse zu erklären und zu kate­gori­sieren. Dieser Artikel ist aus dem Bereich „Statistik“, welcher zu diesem Zeitpunkt noch im Aufbau ist. Der Artikel, oder der Aufbau dieses Seitenbereiches kann sich daher noch ändern und die Artikel können noch Fehler enthalten.
Für mehr In­for­ma­tionen, siehe die Haupt­kategorie Statistik.

Diese Web­site be­nutzt Cookies. Durch die Nutz­ung der Web­site er­klären Sie sich mit der Speich­er­ung von Cookies auf Ihrem Com­puter ein­ver­standen. Außer­dem be­stät­igen Sie, dass Sie unsere Daten­schutz­richt­linie ge­lesen und ver­standen haben. Wenn Sie damit nicht ein­ver­standen sind, ver­lassen Sie bitte die Web­site.

Weitere Information