Wolfgang Meins / 19.11.2019 / 12:00 / Foto: Tim Maxeiner / 34 / Seite ausdrucken

Die Psycho-Krise

Gemeint ist das Problem, das in der Fachdiskussion - vielleicht einen Tick zu vornehm - als Replikationskrise bezeichnet wird. Denn die Hälfte oder auch zwei Drittel der publizierten psychologischen Forschungsergebnisse kann in Wiederholungsuntersuchungen – unter denselben Bedingungen und Methoden – nicht bestätigt werden. Welche Studien sind betroffen und wie ist ein solches Desaster zu erklären? 

Als besonders anfällig für bestätigungsresistente Forschungsergebnisse gelten sogenannte Priming-Studien, bei denen es um so etwas wie die unterschwellige Aktivierung eines Systems von Assoziationen geht. Zum Beispiel: Zwei Gruppen von Versuchspersonen müssen Textaufgaben lösen. Bei der einen Gruppe sind darin bestimmte, mit dem Alter assoziierte Begriffe wie „grau“ enthalten. Der Text der anderen Gruppe ist dagegen altersneutral. Nach Bearbeitung der Aufgaben gehen beide Gruppen in einen anderen Raum. Und was passiert dabei? Die Gruppe mit dem alterslastigen Text geht langsamer, also irgendwie „älter“ in den Nachbarraum als die andere Gruppe. 

Ein interessantes Ergebnis – mit viel Raum für weitreichende Spekulationen. Das Problem ist nur, dass die berichtete Gangverlangsamung in Wiederholungsstudien nicht nachweisbar ist. Zumindest in der Vergangenheit ließ sich aber eine solche Studie problemlos bei hochkarätigen Fachzeitschriften unterbringen, um damit die wissenschaftliche Reputation der Autoren oder auch ganz konkrete Karriereperspektiven zu verbessern. Veröffentlichungen sind nun einmal die Währung für wissenschaftlichen Erfolg – wobei nicht immer Qualität vor Quantität geht.

Auch einen der bekanntesten Versuche in der Psychologie hat es erwischt, den Marshmallow-Test: Ein Vorschulkind sitzt alleine in einem Raum, vor sich einen Marshmallow. Gelingt es ihm, die Süßigkeit nicht in den Mund zu stecken bis der Versuchsleiter erneut den Raum betritt, erhält es von ihm einen zweiten Marshmallow. Ein solch willensstarkes Kind mit hoher Selbstkontrolle sei – wie Folgeuntersuchungen ergaben – im späteren Leben deutlich erfolgreicher. Replikationsstudien fanden dagegen nur eine Mini-Vorhersagekraft des Tests, die auch noch nahezu vollständig verschwand, als man den familiären Bildungshintergrund der Kinder mit berücksichtigte. 

Die wissenschaftliche Skepsis bringt es ans Tageslicht

Die Erkenntnis oder vielleicht zunächst auch nur das Gefühl, dass es in der psychologischen Forschung vielfach nicht mit rechten Dingen zugeht, hatte sich im Laufe der Jahre bei etlichen Wissenschaftlern offenbar so weit verdichtet, dass schließlich eine große internationale Replikationsstudie auf den Weg gebracht und 2015 veröffentlicht wurde. Von den insgesamt 100 wiederholten Untersuchungen ließen sich nur bei gut einem Drittel (36 Prozent) die Ergebnisse bestätigen. Der nächste, nicht mehr ganz so große Einschlag erfolgte 2018 mit der Veröffentlichung einer weiteren Replikationsstudie, in der etwas mehr als die Hälfte (54 Prozent) der 28 Untersuchungen bestätigt werden konnte. 

Heißt das nun, dass diese falschen Studienergebnisse in jedem Fall auf kleine oder auch große Schummeleien zurückzuführen sind? Nein, denn zunächst gilt es, einige mildernde Umstände zu berücksichtigen: Der erste davon ist statistischer Natur: Ein Wissenschaftler hat mittels bestimmter statistischer Verfahren sicherzustellen, dass seine Ergebnisse – zum Beispiel die beobachteten Unterschiede zwischen zwei Therapiegruppen – nicht rein zufälliger Natur sind. Die akzeptierte Irrtumswahrscheinlichkeit, rein zufällig einen Unterschied zu finden, der in Wahrheit nicht existiert, beträgt üblicherweise 5 Prozent. Unter hundert Studien, die statistisch signifikante Ergebnisse finden, sind folglich fünf, deren Ergebnisse falsch sind. Genauer gesagt: falsch positiv. Zweitens, und das dürfte der wesentlichste Umstand sein, sind bei den in wissenschaftlichen Journalen veröffentlichten Studien eben gerade diejenigen sehr stark überrepräsentiert, die ein positives, also ein statistisch signifikantes Ergebnis fanden – in vielen Fällen aber wahrscheinlich nur zufällig.

Drittens kann es natürlich auch sein, dass die Replikationsstudie zufällig keinen statistisch signifikanten Unterschied zwischen zwei Gruppen findet, obwohl der in Wirklichkeit vorhanden ist. Dieses Risiko versuchten die Replikationsforscher allerdings dadurch zu minimieren, indem sie bestimmte Studien mit einer größeren Anzahl von Versuchspersonen durchführten als es in der Originalstudie der Fall war. Schlussendlich bleibt zu berücksichtigen, dass weder die 100 noch die 28 Studien nach dem Zufallsprinzip ausgewählt wurden.  

Es lässt sich also nur grob schätzen wie hoch der tatsächliche Anteil von Studien mit falschen Ergebnissen genau ist. Auf jeden Fall aber, davon geht ein deutscher Experte aus, handelt es sich um eine relevante Größenordnung und zudem sei damit zu rechnen, dass sogar Psychologie-Lehrbücher „recht viele“ Zufallsbefunde ohne Substanz beinhalteten. 

Die akademische Psychologie stellt sich in ihrer Mehrheit durchaus diesem Problem. Aber natürlich gibt es auch solche, die das Dilemma schönreden. Etwa: Man habe es in der Psychologie eben oft nicht mit gesetzförmigen, sich immer gleich darstellenden  Zusammenhängen zu tun, sondern mit „weichen“ Daten, schließlich beforsche man ja Menschen. Nur, wer sagt dem Leser – und anhand welcher Kriterien –, dass man es im vorliegenden Falle leider mit weichen Daten zu tun habe? Und warum wenden dann die Forscher „harte“ Methoden an, statt einen Besinnungsaufsatz über ihre Fragestellung zu verfassen?

Eine andere Argumentation verweist auf die Kontextabhängigkeit von empirischen Untersuchungen: Schließlich sei die Originalstudie doch schon vor zehn Jahren, zudem in einem anderen Land und mit einem selbst übersetzten Fragebogen durchgeführt worden. Aber: Nach neuerer Forschung spielen diese Faktoren zur Erklärung einer nicht gelungenen Bestätigung nur eine geringe Rolle. 

Verschiedene Schummelmethoden

Bleibt die Frage, wie häufig die nicht zu bestätigenden, falsch positiven Studienergebnisse nicht zufällig, sondern durch Schummeleien oder gar Betrug zustande gekommen sind? Da tut sich die wissenschaftliche Aufklärung naturgemäß schwer, schließlich konnte man den Forschern beim Forschen ja nicht über die Schulter gucken. Je nachdem, wie puristisch der Beurteiler in forschungsmethodischer Hinsicht gestrickt ist, fällt die Grenze zwischen etwas Schummelei und Betrug dabei eher schmal oder eben etwas breiter aus. 

Auf jeden Fall ist es durch die immensen technischen Fortschritte bei der Datenanalyse in den letzten Jahrzehnten sehr einfach geworden, das, was bei den Daten nicht zu den angestrebten Ergebnissen passt, etwas passender zu machen: Zwei Klicks und schon sind die sechs oder sieben Ausreißer identifiziert, die einem die ganze Untersuchung versauen. Ein weiterer Klick – und weg sind sie. Vielleicht auch ersetzt durch fiktive, aber passendere Daten. Auch der kreative Umgang mit fehlenden Daten – etwa bei unvollständig ausgefüllten Fragebögen – birgt oft Chancen, die Studie doch noch irgendwie zu retten. Oder die Forscher versuchen mit Hilfe einer zielgenau systematisch verzerrten Stichprobe an ihre Wunschergebnisse zu gelangen. 

Beliebt sind auf jeden Fall die beiden folgenden Strategien: Es wird nicht nur die eigentlich interessierende Zielvariable, zum Beispiel Depressivität abgefragt, sondern gleich noch eine ganze Handvoll anderer, etwa Angst, Schlafstörungen oder bestimmte vegetative Symptome. Dann werden die Daten so lange durch eine Reihe von irgendwie in Frage kommenden statistischen Analyseverfahren gescheucht, bis den Forscher schlussendlich irgendein statistisch signifikantes Ergebnis anlacht. In der Publikation der Studie wird dann natürlich so getan, als hätten von vornherein ausschließlich Schlafstörungen im Fokus des Interesses gestanden und selbstverständlich wird auch nur das eine, „erfolgreiche“ statistische Verfahren angegeben. Klar, dass bei einer solchen Vorgehensweise die angegebene Irrtumswahrscheinlichkeit von 5% nicht mehr gilt. Sie wird vielmehr mit jeder zusätzlich analysierten Variable inflationiert. 

„Wo aber Gefahr ist, wächst das Rettende auch“

Allerdings wächst das Rettende auch hier nicht von alleine. Es handelt sich nicht um ein magisches Geschehen, sondern um die aktive Selbstkorrektur der betroffenen Wissenschaftsgemeinde. Wie sieht der bereits beschrittene Lösungsweg aus? Die Registrierung der Studien bereits vor ihrem Beginn, in der alle relevanten Elemente der Untersuchung einschließlich Auswertungsstrategien festgelegt sind. Aber auch eine solche Vorab-Registrierung ist kein Selbstläufer und löst nicht alle Probleme, wie man mittlerweile weiß.  

Gute Wissenschaft zu betreiben ist und bleibt ein schwieriges Geschäft. Ohne Skepsis und offene Diskussionen innerhalb der jeweiligen Wissenschaftsgemeinde würde sie zwangsläufig zur Ideologie verkommen und die aktuell herrschende Linie eine absolute Deutungshoheit entwickeln. Ein abschreckendes Beispiel dafür ist der äußerst dominante Mainstream in den Klimawissenschaften, der auf diesem Weg schon ein gutes Stück vorangekommen ist. Man kann mittlerweile wohl sicher sein, dass dessen Vertreter selbst eine sich entwickelnde Kaltzeit – ebenso skepsisfrei wie skrupellos – uns als logische Folge der globalen Erwärmung verkaufen würden.

Foto: Tim Maxeiner

Sie lesen gern Achgut.com?
Zeigen Sie Ihre Wertschätzung!

via Direktüberweisung
Leserpost

netiquette:

Philipp Gruen / 19.11.2019

Guter Artikel und fehlende allgemeine Gültigkeit der Befunde ist wirklich ein Problem und dafür in Fachkreisen kaum thematisiert… Gleichzeitig sind andere Erkenntnisse wiederum sehr stabil und alltagsrelevant (z.B. führt Intention meist nicht zu gezeigten Verhalten, Gewohnheiten sind z.B. mächtiger) Wissenschaft und speziell die Psychologie zu Verteufeln, wie teilweise in den Kommentaren geschehen, wird dem Forschungsstand nicht gerecht und führt zu einer polarisierten Weltsicht und macht für mich keinen Sinn.

Roland Müller / 19.11.2019

Die Psychologen hecheln seit ewigen Zeiten waagerecht in der Luft hängend hinter dem Zeitgeist her. Dadurch vermitteln sie leider den Eindruck, das die Psychologie mehr mit Mode als mit Wissenschaft zu tun hat. Dem entsprechend war auch schon Sigmund Freud bei den Medizinern alles andere als gut angesehen,

Dieter kief / 19.11.2019

An die Superskeptiker unter den Kommenatoren: Man soll das Kind “wissenschaftliche Psychologie” bitte nicht mit dem Bade der grundsätzlichen Ignoranz gegenüber der Sozialpsychologie und Psychologie ausschütten. Wolfgang Meins hat recht: Wir lernen alle durch Fehler - so auch die Psychologen. Gute Leute sind auch auf der Achse bekannt: Steven Pinker (Buch: “Aufklärung jetzt!”), Jonathan Haidt, der ebenfalls sozialpsychologisch tendierende Politologe Robert Putnam, die großartige Linda Gottfredson, der von Hilde Maas oben erwähnte Heiner Rindermann (Cognitive Capitalism, Cambridge University Press, 2018 - sehr gut),  na- und der goßartige Jordan B. Peterson nicht zu vergessen, James Thompson (super twitter acount - James Thompson psychol.)! ... Claire Lehmann und ihr sozailissenschatliches/psychologisches online-Journal “Quillette” : - - -  Alles großartige Leute! - Wir wären viel unwissender ohne sie.

Jens Kruse / 19.11.2019

Der letzte Satz ist der Beste. Ich brauche keine Psychologen und festzustellen daß: Im Sommer ist es warm = Klimawandel, Im Frühling regnet es = Klimawandel siehe auch: Im Herbst fallen die Blätter von den Bäumen = Klimawandel. Sollte es am 24. Dezember schneien liegt es gewiss nicht daran das gerade Winter ist sondern das sie in unverantwortlicher Weise einen Tannenbaum seinem natürlichem Lebensumfeld entrissen haben um ihn in ihrer Stube den staunenden Anverwanten und deren Nachkommen, geschmückt mit buntem Tand, zur Schau zu stellen. Somit muss es im Umkehrschluss heißen: Der Winter entsteht durch kaltes Wetter und Tannenbäume in Wohnzimmer und dadurch haben wir den Klimawandel.

HaJo Wolf / 19.11.2019

Psycho hin, Psycho her, Studien rauf und runter… wie wäre es, einfach den gesunden Menschenverstand zu nutzen und sich auf belastbare wissenschaftliche Ergebnisse zu stützen statt ideologischen Schwachsinn als Wissenschaft auszugeben.

Georg Caltern / 19.11.2019

Psychologische Studien sind in der Mehrzahl systematisch verzerrt weil die Probanden meistens Studenten und noch dazu überwiegend Psychologie-Studenten sind. Es sollte gerade in der Psychologie Pflicht sein, vor einer Veröffentlichung die Tests mit einer deutlich repräsentativeren Probandengruppe zu wiederholen. Aber das Problem der nicht-repräsentativeren Probanden haben auch andere Grupppen. Die Marktforschung - wer hat denn schon Zeit und Lust sich über die Vor- und Nachteile des neuen Ladyshave GTI befragen zu lassen? Die Meinungsforscher mit ihren Telefoninterviews - wer ist denn schon nachmittags zu hause und hat Zeit und Lust sich über die “Leistungen” unserer Regierung befragen zu lassen. Und auch das immer peinlichere Fernsehprogramm ist sehr gut damit zu erklären, dass man schon ein ziemlich speziellen Charakter haben muss, um der GKF zu erlauben, jede Fernbedienung im Haus zu verkabeln und dann auch noch sehr diszipliniert nur die personalisierte Fernbedienung zu benutzen.

Manfred Rademacher / 19.11.2019

Ein Grundirrtum ist, die Psychologie als exakte Wissenschaft zu verstehen. Sie ist ihrem Wesen nach wohl eher eine Geisteswissenschaft, und ihre Ergebnisse sind dementsprechend deutungsoffen bzw. auf Deutung geradezu angewiesen. Ohne neurologische und psychiatrische Absicherung ist man da hingegen schnell im Bereich von Esoterik oder Psycho-Wellness.

Wolfgang Kaufmann / 19.11.2019

Wir müssen uns von dem überholten Gedanken lösen, dass Wissenschaft das Wissen mehren müsste. Nein, in der postfaktischen Welt mehrt Wissenschaft einzig die Konten, auf dass die Subventionen ewig fließen. – Wenn dann auch noch in erster Linie Minnie Mouse forscht, die das herrschende Paradigma lieber bis zum Letzten konsumiert als konstruktiv tätig zu sein, Kontroversen zu suchen, neue Paradigmen zu erarbeiten und sich auf Männerkram wie Verifizierbarkeit und Falsifizierbarkeit einzulassen, dann erleben wir Wellness-Wissenschaft vom Feinsten. Jede Gesellschaft hat die Wissenschaft, die sie verdient…

Sabine Lotus / 19.11.2019

Herr Doctor, ich muß mich doch sehr wundern, was Sie sich von Ihren Daleks haben gefallen lassen. Meine lasse ich spülen. Vielleicht hätten Sie dem Bengel mal zwei dieser M.. in die Nasenlöcher stecken und ihn am Gürtel an der Garderobe aufhängen sollen. Die Bezeichnung ‘Charakterschwach’ würde der heute nicht wählen, vieleicht was anderes, höhö. Aber im Ashram ist ‘s auch ganz nett. Immer wieder eine schöne Reise mit Ihnen. Sei’s in die Zukunft oder in die Vergangenheit.

Dirk Jungnickel / 19.11.2019

Ich neige eher der Meinung von Detlev Rogge zu, da ich viele Jahre sehr nahen Kontakt mit einer Vertreterin dieser Zunft hatte. Der Schwachsinn fängt ja schon bei Freud und seinem Ödipus - Komplex an. Die menschliche Psyche ist derartig differenziert und kaum zu durchschauen, dass nur wenige Störungen wirklich erklärbar und heilbar sind. Selbstverständlich kann einem Zwangsneurotiker therapeutisch geholfen werden, bei Psychosen wohl eher nicht. In der Krebsforschung wird zu Recht mit hohem Druck und großem Aufwand nach neuen Therapien geforscht, vielleicht sollte man aber die menschliche Psyche nehmen wie sie ist. Mit den schwarzen Löchern müssen wir uns schließlich auch abfinden, ohne sie wirklich zu verstehen.

Weitere anzeigen Leserbrief schreiben:

Leserbrief schreiben

Leserbriefe können nur am Erscheinungstag des Artikel eingereicht werden. Die Zahl der veröffentlichten Leserzuschriften ist auf 50 pro Artikel begrenzt. An Wochenenden kann es zu Verzögerungen beim Erscheinen von Leserbriefen kommen. Wir bitten um Ihr Verständnis.

Verwandte Themen

Es wurden keine verwandten Themen gefunden.

Meine Favoriten.

Wenn Ihnen ein Artikel gefällt, können Sie ihn als Favoriten speichern.
Ihre persönliche Auswahl finden Sie Hier
Favoriten

Unsere Liste der Guten

Ob als Klimaleugner, Klugscheißer oder Betonköpfe tituliert, die Autoren der Achse des Guten lassen sich nicht darin beirren, mit unabhängigem Denken dem Mainstream der Angepassten etwas entgegenzusetzen. Wer macht mit? Hier
Autoren

Unerhört!

Warum senken so viele Menschen die Stimme, wenn sie ihre Meinung sagen? Wo darf in unserer bunten Republik noch bunt gedacht werden? Hier
Achgut.com