Prävalenzfehler

Fehlerhafte Einschätzung der Bedeutung von statistischen Ergebnissen, die daher rührt, dass die Prävalenz (Basisrate) nicht beachtet wird.

Beispiel:

Nach Behandlung mit Medikament X ist in einem von 20 Fällen der Krebs völlig verschwunden.

Nach dieser Aussage erscheint es so, als gäbe es eine Korrelation (womöglich sogar einen Kausal­zusammen­hang!) zwischen der Behandlung mit Medikament X und dem Verschwinden der Krebsgeschwüre.

Stellt man es dagegen in Zusammenhang mit der folgenden Aussage:

Die Wahrscheinlichkeit dass diese bestimmte Form von Krebs auch ohne Behandlung vom Körper selbst geheilt wird, liegt bei 5 %.

… wird klar, dass das Medikament völlig wirkungslos ist. Die „Erfolgsrate“ des Medikamentes ist nämlich genau identisch mit der Basisrate, also hier die Wahrscheinlichkeit, dass sich der „Erfolg“ auch ohne Medi­ka­ment­en­ein­nahme eingestellt hätte.

• Basisratenfehler
• Basislinienfehler

• Base rate fallacy
• base rate neglect
• base rate bias

Die Basisrate oder Prävalenz, also die zu erwartende Wahrscheinlichkeit, mit der ein bestimmtes Merkmal auftreten wird, ist nicht immer leicht zu bestimmen. Dies wird in den Beispielen unten verdeutlicht.

Allerdings ist diese auch wichtig, um überhaupt eine Aussage darüber treffen zu können, ob die Beobachtung eine Relevanz haben.

Wird die Basisrate nicht beachtet, oder – was erstaunlich häufig vorkommt – falsch berechnet, kann darauf keine sinnvolle Analyse aufgebaut werden.

Ein Beispiel für Situationen, in der die statistischen Erwartungswerte auf besonders perfide Weise in die Irre führen können, sind die sogenannten „Bayes-Fallen“: hierbei wird eine eigentlich bekannte Wahr­schein­lich­keits­ver­teil­ung auf zwei Gruppen angewandt, die sich aber in der Größe stark unter­scheiden.

Dabei kann dieser Größenunterschied dazu führen, dass die Ergebnisgrößen auf unintuitive Weise stark verzerrt sind. Anders gesagt: 0,1 % von einer Million ist um eine Größenordnung mehr als 99,9 % von 100.

Für mehr Informationen hierzu, siehe den Artikel Bayes-Falle.

Eine der vermutlich ein­leucht­endsten Er­klär­ungen für diesen Statistik­fehler dürfte von Randall Munroe stammen, der in einem seiner XKCD Comics (siehe Ab­bild­ung) die folgende Aus­sage illus­triert:

Remember, right-handed people commit 90 % of all base rate errors.
(Denk daran, Rechtshänder begehen 90 % aller Prävalenzfehler)

Je nachdem wie man die Händigkeit misst, sind etwa 10 bis 15 % der Be­völk­er­ung Links­händer, der Rest ent­sprech­end Rechts­händer. Wenn die Ver­teil­ung von Prä­val­enz­fehl­ern auf diese beiden Gruppen genau dies wider­spiegelt, ent­spricht dies genau dem Erwart­ungs­wert, zeigt also kein sta­tis­tisch sig­ni­fi­kantes Er­geb­nis auf.

Während der sogenannten „vierten Welle“ der Covid-19 Pan­demie, also im Winter 2021/2022, wurden ver­schiedene Studien ver­öffent­licht, welche über­rasch­end hohe Raten an schweren Impf­neben­wirk­ungen zu zeigen schienen.

Solche Studien wurden dann in Sozialen Medien oft weiter ver­breitet, ohne den Kontext oder die Ein­schränk­ungen der Method­iken klar zu stellen. Oft wurden dabei auch noch die Begriffe ver­wechselt: ein „un­er­wünschtes Er­eig­nis nach der Impfung“ ist nämlich nicht das­selbe wie eine „Impf­folge“ – unter ersteres fiele es nämlich auch, wenn ein Probant nach der Impfung bei einem Ski­unfall einen Knochen­bruch erleidet (siehe Korrelations­irrtum).

Während der Knochen­bruch aber recht leicht erkennbar keine kausale Folge der Impf­ung ist, gibt es eine Reihe von anderen „un­er­wünschten Er­eig­nis­sen“, die sich nicht so leicht zu­ordnen lassen. Was, wenn ein Patient nach der Impf­ung Migräne oder Lymph­knoten­schwell­ungen bekommt?

Der einfachste Weg, eine „Basisrate“ zu finden, ist es, die Zahlen von tatsächlich geimpften Probanden mit denen von ungeimpften (bzw. im Rahmen einer Studie: solchen, die ein Placebo erhalten haben) zu vergleichen. Wenn es somit bei 0,6 % der Geimpften zu „unerwünschten Ereignissen“ kommt, jedoch auch bei 0,5 % der Kontrollgruppe, dann liegt das Risiko einer unerwünschten Impfnebenwirkung eben bei 0,1 % und nicht bei 0,6.

Aber spätestens wenn wir anstatt einer kontrol­lierten Studie die Zahlen der geimpften Bevölkerung betrachten, haben wir weder eine zu­fäl­lige Auf­teil­ung in Ge­impfte und Un­ge­impften, noch eine kon­trol­lierte Um­gebung, in der alle den gleichen Ri­si­ken von „un­er­wünschten Er­eig­nis­sen“ aussetzt sind.

So kann man z.B. davon ausgehen, dass Per­sonen mit höherem Er­krank­ungs­risiko häufiger (und früher) geimpft wurden als solche, die an­sonsten eher gesund sind. Ebenso ist es vor­stellbar, dass viele, die nach monate­langem „Lock­down“ endlich ihre Impf­ung er­halten haben, sich dann umso eher riskanten Situationen aussetzten, wie Konzert- oder Restaurantbesuche u.s.w.

Mit anderen Worten: eine sinn­volle Basis­rate zu er­rechnen ist sehr viel kom­pli­zierter, als das mit­unter dar­ge­stellt wird. Alleine die Zahl der „un­er­wünschten Er­eig­nisse“ ist jeden­falls kein gutes Maß, um auf die Prä­valenz von Impf­neben­wirk­ungen zu schließen.

Ähnlich schwierig ist es, einen Vergleichswert für die Effektivität von Medikamenten zu finden: auch hier gibt es zahlreiche Faktoren, welche den Krankheitsverlauf beeinflussen können – nicht zuletzt eben, dass es auch immer mit einer gewissen Wahrscheinlichkeit „von alleine“ (bzw. durch das Immunsystem) zu einer Heilung, oder zumindest einer Verbesserung der Situation kommen kann.

Darüber hinaus kann der sog. „Placeboeffekt“ einen Heilungsprozess anstoßen, der nicht auf eine Wirksamkeit des Medikamentes bzw. der eigentlichen Behandlung zurückzuführen ist.

Um eine Basis­linie zu erhalten, mit der die Wirkung eines Medikamentes verglichen werden kann, werden daher Probanden in zwei Gruppen geteilt, von denen die eine das Medikament, die andere nur ein Placebo erhalten.

Damit sind aber noch nicht alle Inter­aktions­mög­lich­keiten zwischen Ex­peri­men­ta­tor und Pro­band aus­ge­schlossen und es hat sich in Ver­suchen ge­zeigt, dass sich die Er­wart­ungs­halt­ung der Versuchs­leit­ung auch auf die Teil­nehmer über­tragen kann – was eben genau diese so wichtige Basis­linie ver­fälscht. Diese Über­tragung ist so mächtig, dass sie selbst bei Tier­ver­suchen rele­vant ist, mit anderen Worten: Selbst Tiere sind für eine Form von Placebo­effekt an­fällig.

Um auch diese Art von Ver­fälschung zu vermeiden, macht man meist sog. „Doppel­blind-Studien“, bei denen zu­fällig aus­gelost wird, ob Pro­banden das Medi­kament oder ein Pla­cebo erhalten – und weder diese noch die Betreuer wissen, in welcher Gruppe jemand ist.

Gerade in wenig kon­trol­lierten Be­reichen der Medi­zin wird über solche Kom­pli­ka­tionen gerne einmal hin­weg­ge­sehen, was zu un­brauch­baren Er­geb­nis­sen führen kann. Ob und wie also über­haupt eine Basis­linie etab­liert wurde, sollte da­her immer die erste – wenn auch bei­leibe nicht die ein­zige – Frage sein, wenn man eine Studie vor­ge­legt bekommt.

• Bayes-Falle

• Prävalenzfehler auf Wikipedia
• Base Rate Fallacy auf Logically Fallacious (Englisch)