Wolfgang Meins / 19.11.2019 / 12:00 / Foto: Tim Maxeiner / 34 / Seite ausdrucken

Die Psycho-Krise

Gemeint ist das Problem, das in der Fachdiskussion - vielleicht einen Tick zu vornehm - als Replikationskrise bezeichnet wird. Denn die Hälfte oder auch zwei Drittel der publizierten psychologischen Forschungsergebnisse kann in Wiederholungsuntersuchungen – unter denselben Bedingungen und Methoden – nicht bestätigt werden. Welche Studien sind betroffen und wie ist ein solches Desaster zu erklären? 

Als besonders anfällig für bestätigungsresistente Forschungsergebnisse gelten sogenannte Priming-Studien, bei denen es um so etwas wie die unterschwellige Aktivierung eines Systems von Assoziationen geht. Zum Beispiel: Zwei Gruppen von Versuchspersonen müssen Textaufgaben lösen. Bei der einen Gruppe sind darin bestimmte, mit dem Alter assoziierte Begriffe wie „grau“ enthalten. Der Text der anderen Gruppe ist dagegen altersneutral. Nach Bearbeitung der Aufgaben gehen beide Gruppen in einen anderen Raum. Und was passiert dabei? Die Gruppe mit dem alterslastigen Text geht langsamer, also irgendwie „älter“ in den Nachbarraum als die andere Gruppe. 

Ein interessantes Ergebnis – mit viel Raum für weitreichende Spekulationen. Das Problem ist nur, dass die berichtete Gangverlangsamung in Wiederholungsstudien nicht nachweisbar ist. Zumindest in der Vergangenheit ließ sich aber eine solche Studie problemlos bei hochkarätigen Fachzeitschriften unterbringen, um damit die wissenschaftliche Reputation der Autoren oder auch ganz konkrete Karriereperspektiven zu verbessern. Veröffentlichungen sind nun einmal die Währung für wissenschaftlichen Erfolg – wobei nicht immer Qualität vor Quantität geht.

Auch einen der bekanntesten Versuche in der Psychologie hat es erwischt, den Marshmallow-Test: Ein Vorschulkind sitzt alleine in einem Raum, vor sich einen Marshmallow. Gelingt es ihm, die Süßigkeit nicht in den Mund zu stecken bis der Versuchsleiter erneut den Raum betritt, erhält es von ihm einen zweiten Marshmallow. Ein solch willensstarkes Kind mit hoher Selbstkontrolle sei – wie Folgeuntersuchungen ergaben – im späteren Leben deutlich erfolgreicher. Replikationsstudien fanden dagegen nur eine Mini-Vorhersagekraft des Tests, die auch noch nahezu vollständig verschwand, als man den familiären Bildungshintergrund der Kinder mit berücksichtigte. 

Die wissenschaftliche Skepsis bringt es ans Tageslicht

Die Erkenntnis oder vielleicht zunächst auch nur das Gefühl, dass es in der psychologischen Forschung vielfach nicht mit rechten Dingen zugeht, hatte sich im Laufe der Jahre bei etlichen Wissenschaftlern offenbar so weit verdichtet, dass schließlich eine große internationale Replikationsstudie auf den Weg gebracht und 2015 veröffentlicht wurde. Von den insgesamt 100 wiederholten Untersuchungen ließen sich nur bei gut einem Drittel (36 Prozent) die Ergebnisse bestätigen. Der nächste, nicht mehr ganz so große Einschlag erfolgte 2018 mit der Veröffentlichung einer weiteren Replikationsstudie, in der etwas mehr als die Hälfte (54 Prozent) der 28 Untersuchungen bestätigt werden konnte. 

Heißt das nun, dass diese falschen Studienergebnisse in jedem Fall auf kleine oder auch große Schummeleien zurückzuführen sind? Nein, denn zunächst gilt es, einige mildernde Umstände zu berücksichtigen: Der erste davon ist statistischer Natur: Ein Wissenschaftler hat mittels bestimmter statistischer Verfahren sicherzustellen, dass seine Ergebnisse – zum Beispiel die beobachteten Unterschiede zwischen zwei Therapiegruppen – nicht rein zufälliger Natur sind. Die akzeptierte Irrtumswahrscheinlichkeit, rein zufällig einen Unterschied zu finden, der in Wahrheit nicht existiert, beträgt üblicherweise 5 Prozent. Unter hundert Studien, die statistisch signifikante Ergebnisse finden, sind folglich fünf, deren Ergebnisse falsch sind. Genauer gesagt: falsch positiv. Zweitens, und das dürfte der wesentlichste Umstand sein, sind bei den in wissenschaftlichen Journalen veröffentlichten Studien eben gerade diejenigen sehr stark überrepräsentiert, die ein positives, also ein statistisch signifikantes Ergebnis fanden – in vielen Fällen aber wahrscheinlich nur zufällig.

Drittens kann es natürlich auch sein, dass die Replikationsstudie zufällig keinen statistisch signifikanten Unterschied zwischen zwei Gruppen findet, obwohl der in Wirklichkeit vorhanden ist. Dieses Risiko versuchten die Replikationsforscher allerdings dadurch zu minimieren, indem sie bestimmte Studien mit einer größeren Anzahl von Versuchspersonen durchführten als es in der Originalstudie der Fall war. Schlussendlich bleibt zu berücksichtigen, dass weder die 100 noch die 28 Studien nach dem Zufallsprinzip ausgewählt wurden.  

Es lässt sich also nur grob schätzen wie hoch der tatsächliche Anteil von Studien mit falschen Ergebnissen genau ist. Auf jeden Fall aber, davon geht ein deutscher Experte aus, handelt es sich um eine relevante Größenordnung und zudem sei damit zu rechnen, dass sogar Psychologie-Lehrbücher „recht viele“ Zufallsbefunde ohne Substanz beinhalteten. 

Die akademische Psychologie stellt sich in ihrer Mehrheit durchaus diesem Problem. Aber natürlich gibt es auch solche, die das Dilemma schönreden. Etwa: Man habe es in der Psychologie eben oft nicht mit gesetzförmigen, sich immer gleich darstellenden  Zusammenhängen zu tun, sondern mit „weichen“ Daten, schließlich beforsche man ja Menschen. Nur, wer sagt dem Leser – und anhand welcher Kriterien –, dass man es im vorliegenden Falle leider mit weichen Daten zu tun habe? Und warum wenden dann die Forscher „harte“ Methoden an, statt einen Besinnungsaufsatz über ihre Fragestellung zu verfassen?

Eine andere Argumentation verweist auf die Kontextabhängigkeit von empirischen Untersuchungen: Schließlich sei die Originalstudie doch schon vor zehn Jahren, zudem in einem anderen Land und mit einem selbst übersetzten Fragebogen durchgeführt worden. Aber: Nach neuerer Forschung spielen diese Faktoren zur Erklärung einer nicht gelungenen Bestätigung nur eine geringe Rolle. 

Verschiedene Schummelmethoden

Bleibt die Frage, wie häufig die nicht zu bestätigenden, falsch positiven Studienergebnisse nicht zufällig, sondern durch Schummeleien oder gar Betrug zustande gekommen sind? Da tut sich die wissenschaftliche Aufklärung naturgemäß schwer, schließlich konnte man den Forschern beim Forschen ja nicht über die Schulter gucken. Je nachdem, wie puristisch der Beurteiler in forschungsmethodischer Hinsicht gestrickt ist, fällt die Grenze zwischen etwas Schummelei und Betrug dabei eher schmal oder eben etwas breiter aus. 

Auf jeden Fall ist es durch die immensen technischen Fortschritte bei der Datenanalyse in den letzten Jahrzehnten sehr einfach geworden, das, was bei den Daten nicht zu den angestrebten Ergebnissen passt, etwas passender zu machen: Zwei Klicks und schon sind die sechs oder sieben Ausreißer identifiziert, die einem die ganze Untersuchung versauen. Ein weiterer Klick – und weg sind sie. Vielleicht auch ersetzt durch fiktive, aber passendere Daten. Auch der kreative Umgang mit fehlenden Daten – etwa bei unvollständig ausgefüllten Fragebögen – birgt oft Chancen, die Studie doch noch irgendwie zu retten. Oder die Forscher versuchen mit Hilfe einer zielgenau systematisch verzerrten Stichprobe an ihre Wunschergebnisse zu gelangen. 

Beliebt sind auf jeden Fall die beiden folgenden Strategien: Es wird nicht nur die eigentlich interessierende Zielvariable, zum Beispiel Depressivität abgefragt, sondern gleich noch eine ganze Handvoll anderer, etwa Angst, Schlafstörungen oder bestimmte vegetative Symptome. Dann werden die Daten so lange durch eine Reihe von irgendwie in Frage kommenden statistischen Analyseverfahren gescheucht, bis den Forscher schlussendlich irgendein statistisch signifikantes Ergebnis anlacht. In der Publikation der Studie wird dann natürlich so getan, als hätten von vornherein ausschließlich Schlafstörungen im Fokus des Interesses gestanden und selbstverständlich wird auch nur das eine, „erfolgreiche“ statistische Verfahren angegeben. Klar, dass bei einer solchen Vorgehensweise die angegebene Irrtumswahrscheinlichkeit von 5% nicht mehr gilt. Sie wird vielmehr mit jeder zusätzlich analysierten Variable inflationiert. 

„Wo aber Gefahr ist, wächst das Rettende auch“

Allerdings wächst das Rettende auch hier nicht von alleine. Es handelt sich nicht um ein magisches Geschehen, sondern um die aktive Selbstkorrektur der betroffenen Wissenschaftsgemeinde. Wie sieht der bereits beschrittene Lösungsweg aus? Die Registrierung der Studien bereits vor ihrem Beginn, in der alle relevanten Elemente der Untersuchung einschließlich Auswertungsstrategien festgelegt sind. Aber auch eine solche Vorab-Registrierung ist kein Selbstläufer und löst nicht alle Probleme, wie man mittlerweile weiß.  

Gute Wissenschaft zu betreiben ist und bleibt ein schwieriges Geschäft. Ohne Skepsis und offene Diskussionen innerhalb der jeweiligen Wissenschaftsgemeinde würde sie zwangsläufig zur Ideologie verkommen und die aktuell herrschende Linie eine absolute Deutungshoheit entwickeln. Ein abschreckendes Beispiel dafür ist der äußerst dominante Mainstream in den Klimawissenschaften, der auf diesem Weg schon ein gutes Stück vorangekommen ist. Man kann mittlerweile wohl sicher sein, dass dessen Vertreter selbst eine sich entwickelnde Kaltzeit – ebenso skepsisfrei wie skrupellos – uns als logische Folge der globalen Erwärmung verkaufen würden.

Foto: Tim Maxeiner

Sie lesen gern Achgut.com?
Zeigen Sie Ihre Wertschätzung!

via Paypal via Direktüberweisung
Leserpost

netiquette:

Bernhard Idler / 19.11.2019

In wirklich wissenschaftlichen Studien, wie diejenigen, die zur Zulassung von Arzneimitteln verlangt werden, gibt es einen Prüfplan, in dem _vorher_ genau festgelegt ist, was nacher wie ausgewertet wird. Nicht mal eine vorher nicht festgelegte Zwischenauswertung ist erlaubt. Eine Abweichung davon wird weder von der wissenschaftlichen Community noch von den Zulassungsbehörden akzeptiert, weil jeder weiß, daß mit der nachträglichen Auswahl der verwendeten Daten, Endpunkte und Auswertungsverfahren der (oft unbewußten) Manipulation Tür und Tor geöffnet werden. Solche Ergebnisse sind wertlos. In der Klima-“Wissenschaft” scheitert die Reproduzierbarkeit schon daran, daß die Verfahren/Modelle in der Regel nicht offengelegt werden, auch nicht die Rohdaten, oder die zugrundeliegenden Daten sogar gelöscht wurden (kein Scherz, das wurde am Rande des “Climategate”-Skandals an der University of East Anglia bekannt). All die angeblichen Fantastilliarden der “Konsenswissenschaftler” könnten also die “Konsens”-These gar nicht nachprüfen, selbst wenn sie es wollten. Es sind gläubige oder opportunistische Follower. Daß die (im Verhältnis zum ultrakomplexen System Klima) wenigen Meßdaten, die es überhaupt gibt, gern “korrigiert” oder passend ausgewählt werden, kommt noch erschwerend hinzu.

Ilona Grimm / 19.11.2019

Ach, Sie armer @Dr. Giesemann! Ja, Kinder können SO grausam sein. „So sitz ich da im Ashram und halte mir den Arsch warm“, geht mir sehr zu Herzen, aber lachen muss ich auch.

Andreas Rochow / 19.11.2019

Unser Denken ist auf Zusammenhänge (Kohärenzen) abgerichtet. Das scheint der Evolution als Erfolgsmodell und Auswahlkriterium gefallen zu haben und ist auch ontogenetisch - zumindest beim Menschen - so vorgeprägt. Ab einem gewissen Komplexitätsgrad steht das Erklärungswesen Mensch vor der Entscheidung, die weitere Suche nach den (großen) Zusammenhängen entweder an die forschende und erklärende Wissenschaft zu delegieren oder zugunsten eines gläubigen Vorurteils ganz aufzugeben. Resignation, Aberglaube aber auch echtes Desinteresse, auch Gleichgültigkeit genannt, scheinen für viele der weniger anstrengende Weg zu sein. Die psychopathologischen Störungen mit psychotisch gestörter Wahrnehmung und Inkohärenz des Denkens seien hier einmal ausgeklammert. Keine Fragen zu haben, sich mit einem propagandistisch unwissenschaftlichen Weltbild zu begnügen, ist heute eher mehrheitsfähig als die oft einsame, immer mühsame und Geduld erfordernde, opferbereite Forschung nach relevanten Ursache-Wirkungs-Zusammenhängen. Es bleibt uns aber nichts anderes übrig als uns mit den jeweils gesicherten wissenschaftlichen Antworten zufrieden zu geben. Die Bedrohung durch Betrug (oder Irrtümer) im Namen der Wissenschaft - da sollten wir uns nichts vormachen - ist allgegenwärtig, je selektiver und mächtiger große Interessengruppen die Wissenschaft durch “großzügige” Förderung kompromittieren. Keine Wissenschaft kann ein Wünschdirwas sein. Auch “beste” Modelle und statistischen Scheinbeweise versetzen uns nicht in die Lage, Dreck in Gold zu verwandeln. Je länger wir so tun als ob und unbeirrbar durch wissenschaftlichen Zweifel in die EINE Richtung hasten, desto größer wird einst der komplexe Scherbenhaufen sein. Zutreffend hat Frank Elstner seine Serie mit Interviews von Nobelpreisträgern “Die stillen Helden” genannt. Warum bleiben sie so still?

Ilona Grimm / 19.11.2019

Und nun? Um Erfolg auf dem Markt der Eitelkeiten zu haben, muss publiziert werden. Egal was. Mir wäre „ein Besinnungsaufsatz über die Fragestellung“ dann doch lieber als Studien, die vielleicht einen wahren Kern haben, aber vielleicht auch nicht. Schade ums Geld und schade um die Studenten und Patienten, die Vertrauen in die publizierte Lehre haben. Welchen Nutzen haben Studien (das gilt für alle Wissenschaften), wenn praktisch überall geschummelt und manipuliert (=betrogen!) wird, um das vorher definierte Resultat zu erhalten. Das entspricht dem Betrug durch Abschaltvorrichtungen bei Diesel-Pkw außerhalb der Prüflabore, über den sich ganz Deutschland furchtbar aufregt und womit sich Anwaltsfirmen goldene Nasen verdienen. Mal ehrlich: Hat es in den letzten hundert Jahren einen echten Fortschritt bei der Behandlung des weiten Spektrums von psychischen Malaisen bis Erkrankungen gegeben? Hat die Zahl der Erkrankten nicht vielmehr stetig und überproportional zugenommen? Ich weiß das nicht, habe nur so ein Gefühl. // Wo Skepsis gegenüber dem Konsens-Mainstream in der Wissenschaft hinführt, erleben gerade die Leute von EIKE, die ihren Klimakongress in München nicht abhalten können, weil wahrhaft demokratisch, tolerant und am Diskurs interessierte Schläger- und Einschüchterungstrupps in SA-Manier im Auftrag des gemeinnützigen Vereins „Umweltinstitut München e.V.“ die Hotelleitung dazu genötigt haben, den Kongress wegen akuter Gefährdung der Gesellschaft durch wissenschaftliche Erkenntnisse und Fakten abzusagen. Die Begründung: „Ein Leugnen des menschengemachten Klimawandels ist mit den Wertvorstellungen der NH Hotelgruppe nicht vereinbar“. Wertvorstellungen einer Hotelgruppe, die von zahlenden Gästen lebt! Freie Meinungsäußerung und Freiheit der Forschung? Das war einmal. Vielleicht.

Rudhart M. H. / 19.11.2019

Herr Meins, beim letzten Abschnitt bin ich ganz bei Ihnen. Was mich aber immer mehr wundert, ist die Tatsache, daß sich bei jedweder Organisation sein es der Kaninchenzüchterverein , die Kleingartensparte oder eine politische Partei oder gar die Regierung, immer die skrupellosesten , dummdreistesten an die Tete setzen , während Leute mit höherem Intellekt sich entweder gar nicht erst bewerben und instrumentalisieren lassen oder eben weggebissen und gemobbt werden, während pathologische Selbstdarsteller es immer wieder verstehen , sich so in Szenen zu setzen , daß der gemeine Zuschauer denkt, ach so , gar nicht so schlecht, könnte man gelten lassen! Wie kann es sein, daß eine sog. grüne Parteivorsitzende wiedergewählt wird, die offensichtlich lediglich über eine Allgemeinbildung einer Grundschülerin verfügt. Die mit Kobolden spielt und wirklich denkt, daß das Netz ein Speicher sei. Soetwas wird geduldet ? Wieso ? Die hat weder an einer Parteispitze noch in der Regierung etwas verloren! Die ist einfach bloß simpel gestrickt , aber deshalb doch nicht befähigt etwas zu gestalten , was nicht nur ihr eigenes Leben betrifft. Weg! Ins zweite oder dritte Glied ! Und nie wieder ein Statement öffentlich abgeben lassen , was nicht vorher redigiert wurde! Trotzdem bleibt die Frage, warum sich 25% der Wähler unbedingt von einer 4-Klässlerin , die selbstverständlich noch zu klein ist , um MINT-Probleme zu verstehen, regieren lassen wollen und dafür Beifall klatschen! Oder ist unser Bildungssystem schon derart degeneriert , daß das den Neuwählern seit ein paar Jahren nicht mehr auffällt, weil selbst schon intellektuell verkrüppelt, durch eine Schule , die allen Ernstes “Schreiben nach Gehör” diskutiert und auch schon eingeführt hat. Eine Schule , die auf Goethe verzichten will , weil er nicht mehr zeitgemäß sei ! Auf was man ganz sicher verzichten kann , sind Leute die in Ministerpositionen mit dieser asozialen Weltsicht gelangen konnten! Es schüttelt sich der Hund, samt Hütte !

Hannes Schmidt / 19.11.2019

Moment! Wozu Replikationsstudien, wenn doch 11.000 “Professor Mickey Maus” die Ergebnisse der Ursprungsstudie abgenickt haben? Bei so viel “wissenschaftlichem” Zuspruch muss doch die Ursprungsstudie einfach wahr sein? Dabei ist es auch egal, ob nun die Studie besagt: “99,9% der Menschen fahren lieber öffentliche Verkehrsmittel, da diese sie über Umwege und längeren Verspätungen ans Ziel bringen, und die restlichen 0,1% sind Nazis.” und die Ergebnisse nicht stimmen können… Sobald es “wissenschaftlich” abgenickt wurde, wird es doch ein Fakt? (So wie der Fakt, das “die Sonne sich um die Erde dreht”, denn: 11.000 Wissenschaftler befanden (damals) Kopernikus Sonnensystem als Blödsinn. Wozu bei soviel “Kompetenz” noch “Replikationsstudien”?) Demokratische “Wissenschaft” ist doch etwas schönes, wenn man dadurch undemokratische politische Entscheidungen rechtfertigen kann.

armin wacker / 19.11.2019

Herr Meins sie gehen hier völlig zu unrecht so Milde mit den Psychologen und nicht erwähnten Soziologen um. Die waren es doch, die uns mit Ihrem Genderismus zum größten Soziologischen Experiment gezwungen haben, das sich jetzt zunehmend als der totale Reinfall herausstellt.

Valeria Buckow / 19.11.2019

Ich studiere aktuell Psychologie und kann versichern, dass diese Fallstricke in der methodischen Ausbildung durchaus bis zum Abwinken thematisiert werden, zumindest an meiner Uni. Eine weitere Fehlerquelle – im Beitrag nicht genannt – sehe ich darin, dass die Indikatoren, die für ein zu erforschendes Konstrukt als definierend gesehen werden, manchmal willkürlich gesetzt werden, nicht unbedingt vollständig sind oder bereits auch ideologisch vorgefärbt. Das stellt man häufig dann fest, wenn man einen näheren Blick in die Operationalisierung einer Studie wirft. Die Reliabilität eines Fragebogens wird mittels einer sogenannten Faktorenanalyse danach beurteilt, inwieweit die Fragen untereinander möglichst hoch korrelieren, was allerdings nicht unbedingt zu einem umfassenden Bild des Konstruktes (z. B. Fremdenfeindlichkeit) führt. An dieser Stelle wird vieles schon verkürzt und damit verzerrt und das ist nach meinen Beobachtungen vielen Studenten (überwiegend übrigens aus der Schneeflöckchengeneration)  nicht bewusst. Überhaupt wundere ich mich, warum sich Vertreter der psychologischen Fachwelt nicht häufiger zu Wort melden angesichts dessen, was in der medialen Öffentlichkeit für ein Unsinn kursiert, der (durchaus replizierten) Erkenntnissen, die man bereits in den ersten Semestern erwirbt, eklatant widerspricht.

Weitere anzeigen Leserbrief schreiben:

Leserbrief schreiben

Leserbriefe können nur am Erscheinungstag des Artikel eingereicht werden. Die Zahl der veröffentlichten Leserzuschriften ist auf 50 pro Artikel begrenzt. An Wochenenden kann es zu Verzögerungen beim Erscheinen von Leserbriefen kommen. Wir bitten um Ihr Verständnis.

Verwandte Themen

Es wurden keine verwandten Themen gefunden.

Unsere Liste der Guten

Ob als Klimaleugner, Klugscheißer oder Betonköpfe tituliert, die Autoren der Achse des Guten lassen sich nicht darin beirren, mit unabhängigem Denken dem Mainstream der Angepassten etwas entgegenzusetzen. Wer macht mit? Hier
Autoren

Unerhört!

Warum senken so viele Menschen die Stimme, wenn sie ihre Meinung sagen? Wo darf in unserer bunten Republik noch bunt gedacht werden? Hier
Achgut.com