Gemeint ist das Problem, das in der Fachdiskussion - vielleicht einen Tick zu vornehm - als Replikationskrise bezeichnet wird. Denn die Hälfte oder auch zwei Drittel der publizierten psychologischen Forschungsergebnisse kann in Wiederholungsuntersuchungen – unter denselben Bedingungen und Methoden – nicht bestätigt werden. Welche Studien sind betroffen und wie ist ein solches Desaster zu erklären? 

Als besonders anfällig für bestätigungsresistente Forschungsergebnisse gelten sogenannte Priming-Studien, bei denen es um so etwas wie die unterschwellige Aktivierung eines Systems von Assoziationen geht. Zum Beispiel: Zwei Gruppen von Versuchspersonen müssen Textaufgaben lösen. Bei der einen Gruppe sind darin bestimmte, mit dem Alter assoziierte Begriffe wie „grau“ enthalten. Der Text der anderen Gruppe ist dagegen altersneutral. Nach Bearbeitung der Aufgaben gehen beide Gruppen in einen anderen Raum. Und was passiert dabei? Die Gruppe mit dem alterslastigen Text geht langsamer, also irgendwie „älter“ in den Nachbarraum als die andere Gruppe. 

Ein interessantes Ergebnis – mit viel Raum für weitreichende Spekulationen. Das Problem ist nur, dass die berichtete Gangverlangsamung in Wiederholungsstudien nicht nachweisbar ist. Zumindest in der Vergangenheit ließ sich aber eine solche Studie problemlos bei hochkarätigen Fachzeitschriften unterbringen, um damit die wissenschaftliche Reputation der Autoren oder auch ganz konkrete Karriereperspektiven zu verbessern. Veröffentlichungen sind nun einmal die Währung für wissenschaftlichen Erfolg – wobei nicht immer Qualität vor Quantität geht.

Auch einen der bekanntesten Versuche in der Psychologie hat es erwischt, den Marshmallow-Test: Ein Vorschulkind sitzt alleine in einem Raum, vor sich einen Marshmallow. Gelingt es ihm, die Süßigkeit nicht in den Mund zu stecken bis der Versuchsleiter erneut den Raum betritt, erhält es von ihm einen zweiten Marshmallow. Ein solch willensstarkes Kind mit hoher Selbstkontrolle sei – wie Folgeuntersuchungen ergaben – im späteren Leben deutlich erfolgreicher. Replikationsstudien fanden dagegen nur eine Mini-Vorhersagekraft des Tests, die auch noch nahezu vollständig verschwand, als man den familiären Bildungshintergrund der Kinder mit berücksichtigte. 

Die wissenschaftliche Skepsis bringt es ans Tageslicht

Die Erkenntnis oder vielleicht zunächst auch nur das Gefühl, dass es in der psychologischen Forschung vielfach nicht mit rechten Dingen zugeht, hatte sich im Laufe der Jahre bei etlichen Wissenschaftlern offenbar so weit verdichtet, dass schließlich eine große internationale Replikationsstudie auf den Weg gebracht und 2015 veröffentlicht wurde. Von den insgesamt 100 wiederholten Untersuchungen ließen sich nur bei gut einem Drittel (36 Prozent) die Ergebnisse bestätigen. Der nächste, nicht mehr ganz so große Einschlag erfolgte 2018 mit der Veröffentlichung einer weiteren Replikationsstudie, in der etwas mehr als die Hälfte (54 Prozent) der 28 Untersuchungen bestätigt werden konnte. 

Heißt das nun, dass diese falschen Studienergebnisse in jedem Fall auf kleine oder auch große Schummeleien zurückzuführen sind? Nein, denn zunächst gilt es, einige mildernde Umstände zu berücksichtigen: Der erste davon ist statistischer Natur: Ein Wissenschaftler hat mittels bestimmter statistischer Verfahren sicherzustellen, dass seine Ergebnisse – zum Beispiel die beobachteten Unterschiede zwischen zwei Therapiegruppen – nicht rein zufälliger Natur sind. Die akzeptierte Irrtumswahrscheinlichkeit, rein zufällig einen Unterschied zu finden, der in Wahrheit nicht existiert, beträgt üblicherweise 5 Prozent. Unter hundert Studien, die statistisch signifikante Ergebnisse finden, sind folglich fünf, deren Ergebnisse falsch sind. Genauer gesagt: falsch positiv. Zweitens, und das dürfte der wesentlichste Umstand sein, sind bei den in wissenschaftlichen Journalen veröffentlichten Studien eben gerade diejenigen sehr stark überrepräsentiert, die ein positives, also ein statistisch signifikantes Ergebnis fanden – in vielen Fällen aber wahrscheinlich nur zufällig.

Drittens kann es natürlich auch sein, dass die Replikationsstudie zufällig keinen statistisch signifikanten Unterschied zwischen zwei Gruppen findet, obwohl der in Wirklichkeit vorhanden ist. Dieses Risiko versuchten die Replikationsforscher allerdings dadurch zu minimieren, indem sie bestimmte Studien mit einer größeren Anzahl von Versuchspersonen durchführten als es in der Originalstudie der Fall war. Schlussendlich bleibt zu berücksichtigen, dass weder die 100 noch die 28 Studien nach dem Zufallsprinzip ausgewählt wurden.  

Es lässt sich also nur grob schätzen wie hoch der tatsächliche Anteil von Studien mit falschen Ergebnissen genau ist. Auf jeden Fall aber, davon geht ein deutscher Experte aus, handelt es sich um eine relevante Größenordnung und zudem sei damit zu rechnen, dass sogar Psychologie-Lehrbücher „recht viele“ Zufallsbefunde ohne Substanz beinhalteten. 

Die akademische Psychologie stellt sich in ihrer Mehrheit durchaus diesem Problem. Aber natürlich gibt es auch solche, die das Dilemma schönreden. Etwa: Man habe es in der Psychologie eben oft nicht mit gesetzförmigen, sich immer gleich darstellenden  Zusammenhängen zu tun, sondern mit „weichen“ Daten, schließlich beforsche man ja Menschen. Nur, wer sagt dem Leser – und anhand welcher Kriterien –, dass man es im vorliegenden Falle leider mit weichen Daten zu tun habe? Und warum wenden dann die Forscher „harte“ Methoden an, statt einen Besinnungsaufsatz über ihre Fragestellung zu verfassen?

Eine andere Argumentation verweist auf die Kontextabhängigkeit von empirischen Untersuchungen: Schließlich sei die Originalstudie doch schon vor zehn Jahren, zudem in einem anderen Land und mit einem selbst übersetzten Fragebogen durchgeführt worden. Aber: Nach neuerer Forschung spielen diese Faktoren zur Erklärung einer nicht gelungenen Bestätigung nur eine geringe Rolle. 

Verschiedene Schummelmethoden

Bleibt die Frage, wie häufig die nicht zu bestätigenden, falsch positiven Studienergebnisse nicht zufällig, sondern durch Schummeleien oder gar Betrug zustande gekommen sind? Da tut sich die wissenschaftliche Aufklärung naturgemäß schwer, schließlich konnte man den Forschern beim Forschen ja nicht über die Schulter gucken. Je nachdem, wie puristisch der Beurteiler in forschungsmethodischer Hinsicht gestrickt ist, fällt die Grenze zwischen etwas Schummelei und Betrug dabei eher schmal oder eben etwas breiter aus. 

Auf jeden Fall ist es durch die immensen technischen Fortschritte bei der Datenanalyse in den letzten Jahrzehnten sehr einfach geworden, das, was bei den Daten nicht zu den angestrebten Ergebnissen passt, etwas passender zu machen: Zwei Klicks und schon sind die sechs oder sieben Ausreißer identifiziert, die einem die ganze Untersuchung versauen. Ein weiterer Klick – und weg sind sie. Vielleicht auch ersetzt durch fiktive, aber passendere Daten. Auch der kreative Umgang mit fehlenden Daten – etwa bei unvollständig ausgefüllten Fragebögen – birgt oft Chancen, die Studie doch noch irgendwie zu retten. Oder die Forscher versuchen mit Hilfe einer zielgenau systematisch verzerrten Stichprobe an ihre Wunschergebnisse zu gelangen. 

Beliebt sind auf jeden Fall die beiden folgenden Strategien: Es wird nicht nur die eigentlich interessierende Zielvariable, zum Beispiel Depressivität abgefragt, sondern gleich noch eine ganze Handvoll anderer, etwa Angst, Schlafstörungen oder bestimmte vegetative Symptome. Dann werden die Daten so lange durch eine Reihe von irgendwie in Frage kommenden statistischen Analyseverfahren gescheucht, bis den Forscher schlussendlich irgendein statistisch signifikantes Ergebnis anlacht. In der Publikation der Studie wird dann natürlich so getan, als hätten von vornherein ausschließlich Schlafstörungen im Fokus des Interesses gestanden und selbstverständlich wird auch nur das eine, „erfolgreiche“ statistische Verfahren angegeben. Klar, dass bei einer solchen Vorgehensweise die angegebene Irrtumswahrscheinlichkeit von 5% nicht mehr gilt. Sie wird vielmehr mit jeder zusätzlich analysierten Variable inflationiert. 

„Wo aber Gefahr ist, wächst das Rettende auch“

Allerdings wächst das Rettende auch hier nicht von alleine. Es handelt sich nicht um ein magisches Geschehen, sondern um die aktive Selbstkorrektur der betroffenen Wissenschaftsgemeinde. Wie sieht der bereits beschrittene Lösungsweg aus? Die Registrierung der Studien bereits vor ihrem Beginn, in der alle relevanten Elemente der Untersuchung einschließlich Auswertungsstrategien festgelegt sind. Aber auch eine solche Vorab-Registrierung ist kein Selbstläufer und löst nicht alle Probleme, wie man mittlerweile weiß.  

Gute Wissenschaft zu betreiben ist und bleibt ein schwieriges Geschäft. Ohne Skepsis und offene Diskussionen innerhalb der jeweiligen Wissenschaftsgemeinde würde sie zwangsläufig zur Ideologie verkommen und die aktuell herrschende Linie eine absolute Deutungshoheit entwickeln. Ein abschreckendes Beispiel dafür ist der äußerst dominante Mainstream in den Klimawissenschaften, der auf diesem Weg schon ein gutes Stück vorangekommen ist. Man kann mittlerweile wohl sicher sein, dass dessen Vertreter selbst eine sich entwickelnde Kaltzeit – ebenso skepsisfrei wie skrupellos – uns als logische Folge der globalen Erwärmung verkaufen würden.