Die Replikationskrise und ihre Folgen

Als „Replikationskrise“ bezeichnet man die Folgen der Erkenntnis, dass ein erstaunlich großer Anteil grundlegender wissenschaftlicher Experimente, insbesondere in der Psychologie, aber auch in anderen Sozial- und Geisteswissenschaften und auch in der Medizin, als nicht oder nur unzureichend reproduzierbar erwiesen haben.

Bereits seit den 1950er Jahren wurde darauf hingewiesen, dass in der wissenschaftlichen Psychologie deutlich mehr positive bzw. signifikante Ergebnisse publiziert werden als negative bzw. nicht signifikante. Aufgrund der Erfahrung, dass nicht jedes Experiment die zugrunde liegende Hypothese bestätigt, wäre jedoch zu erwarten, dass auch entsprechend viele Publikationen über solche „gescheiterten“ Experimente veröffentlicht würden – schließlich sind diese für andere Forschende ebenso interessant wie die Erfolge.

Dabei stellte sich heraus, dass von vielen wissenschaftlichen Journalen negative Ergebnisse deutlich weniger publiziert werden als positive – bzw. in vielen Fällen sogar erst gar nicht zur Veröffentlichung angenommen werden (Publikationsbias).

In einem Umfeld, in dem die persönlichen Karrierechancen aber vor allem von der Zahl der Veröffentlichungen abhängt (Stichwort: „Publish or perish“), bedeutet dies aber, dass negative Ergebnise keinen persönlichen Nutzen für die Beteiligten mehr haben. Es besteht daher ein starker Anreiz, aus jedem Experiment einen wie auch immer gearteten „Erfolg“ zu machen

Wenn dann noch die Grenze zwischen nur etwas „unsauber arbeiten“ und tatsächlich nachweisbarem wissenschaftlichem Betrug nicht immer leicht zu ziehen ist (siehe auch: Kontinuumsirrtum), besteht ein großer Anreiz, die Ansprüche an die wissenschaftliche Qualität hinter die Aussichten auf eine Publikation zurückzustellen … im Extremfall bis hin zur Manipulation der Ergebnisse.

Und natürlich darf nicht vergessen werden, dass auch bei perfekt eingehaltener wissenschaftlicher Methodik manchmal nicht-reproduzierbare Ergebnisse herauskommen. Allein schon aus diesem Grund sollten Replikationsstudien routinemäßig durchgeführt werden – eben um solche zufällig falschen Ergebnisse zu finden und ggf. zurückzuziehen.

Anfang der 2000er Jahre begann man in der Medizin, das Problem der Nicht-Reproduzierbarkeit von Studien systematisch zu untersuchen. Besonders einflussreich war hier der Aufsatz von John Ioannidis: „Why most published research findings are false” aus dem Jahr 2005, in dem er auf typische methodische Probleme in der medizinischen Forschung hinweist.¹⁾

Für den Bereich der Psychologie wurde 2015 eine groß angelegte Untersuchung veröffentlicht, bei der 100 ausgewählte Studien, die in renommierten Journalen veröffentlicht wurden, repliziert wurden. Je nachdem, wie man die Anforderungen definiert, wird bei der Hälfte bis zu zwei Dritteln dieser Replikationen gar kein oder kein zur ursprünglichen Studie vergleichbares Ergebnis erzielt.²⁾

Verschiedene ähnliche Untersuchungen in anderen Fachbereichen fanden auch Probleme, aber es scheint, dass experimentelle Untersuchungen in den Bereichen Medizin und Psychologie – einschließlich verwandten Fächern, wie der Sozialpsychologie – besonders betroffen sind.

Noch in Arbeit!

• Goodharts Gesetz
• Merton’sche Normen

• Replikationskrise auf Wikipedia