Das Versagen der Wissenschafts-Journale

Wissenschaftszeitschriften sind die Schleusenwärter für neue Erkenntnisse – und versagen dabei oft kläglich. So klammern sie aktuell bei viel gehypten Studien über die Wirksamkeit der Covidimpfung den entscheidenden Aspekt aus: Überwiegt der Nutzen den Schaden – oder umgekehrt? Hier pars pro toto ein Fallbeispiel.

Im August 2024 veröffentlichte die Fachzeitschrift Lancet Respiratory Medicine einen Artikel einer großen Gruppe von WHO-Mitarbeitern mit Margaux M. Meslé als Erstautorin (weiterhin einfach WHO-Studie genannt), in dem gesagt wird, dass die aktive Impfkampagne gegen COVID-19 in einem Zeitraum von 28 Monaten allein in der europäischen WHO-Zone ca. 1,6 Millionen Menschenleben gerettet habe, unter anderem fast eine Million Leben während der Omikron-Phase der Pandemie.

Vor wenigen Tagen erschien eine andere Studie zum gleichen Thema von einem hochrenommierten Kollektiv unter der Leitung von John Ioannidis, einem der meistzitierten Mediziner unserer Zeit (weiterhin als JAMA-Studie bezeichnet). Diese Studie errechnete als Ergebnis der Impfkampagne bis Oktober 2024 (das heißt in 47 Monaten) 2,53 Millionen gerettete Leben weltweit. Umgerechnet pro Monat pro 1 Million Bevölkerung ist also die Zahl der geretteten Menschenleben laut der JAMA-Studie immerhin 15 Mal niedriger als sie laut der WHO-Studie war. Dieser Unterschied zwischen den zwei Schätzungen ist gewaltig. Woran liegt er?

Die zahlreichen Mängel des WHO-Artikels haben wir bereits kommentiert. Zusammengefasst beruhte das Ergebnis auf sieben schwerwiegenden Fehlern:

1. Die Formel, mit der die Autoren die Anzahl der geretteten Leben berechnen, basierte auf der falschen Annahme, dass wir den Impfstatus der Verstorbenen genau kennen (stattdessen haben wir in unserem Kommentar die korrekte Formel vorgeschlagen).

2. Diese Formel beinhaltet die Gesamtzahl der Coronatoten im Zähler, was zum Absurd führt: Je mehr Menschen starben, desto mehr wurden gerettet.

3. Die Autoren benutzten die Daten über Impfstoffwirksamkeit aus nicht-randomisierten Studien, in denen wichtige Variablen nicht kontrolliert wurden.

4. Randomisierte kontrollierte Studien wurden dagegen ignoriert.

5. Die Autoren unterschätzten die Abnahme der Wirksamkeit mit Zeit; umfangreiche Studien zeigten eine 4- bis 20-mal steilere Abnahme als in der WHO-Studie angenommen.

6. Die Ergebnisse der WHO-Studie setzen eine Infektionssterblichkeit (infection fatality rate, IFR) voraus, die um Größenordnungen höher ist als die in den ausschlaggebenden Studien festgestellte IFR.

7. Schließlich nahmen die WHO-Autoren in ihre Berechnung sehr unzuverlässige (was sie selbst erkannten) Angaben zu Covid-Sterblichkeit, obwohl die Daten über die Allgemeinsterblichkeit (von allen Ursachen) sowohl zuverlässig als auch aussagekräftig sind.

Die Reaktion von Lancet Respiratory Medicine

Aber wir wollten uns mit dieser Kritik nicht nur an die deutsche Öffentlichkeit wenden, sondern auch an internationale Experten, und schrieben ebenfalls einen Kommentar an Lancet Respiratory Medicine. Die erste Reaktion der Fachzeitschrift war ausgesprochen positiv, unser Leserbrief würde unter bestimmten, nicht ganz einfachen Auflagen veröffentlicht werden. Wir haben alle Anforderungen erfüllt, worauf zuerst Schweigen folgte, und zwei Monate später erhielt ich den Absagebrief, der zu den folgenden Punkten zusammengefasst werden kann:

1. Unser Leserbrief würde „von einem unabhängigen statistischen Experten“ begutachtet;

2. die von uns vorgeschlagene Formel für die Berechnung der Anzahl der Geretteten sei korrekt, aber leider nicht anwendbar, da die entsprechenden Daten fehlen (was vollkommen stimmt, und zu diesem Sachverhalt kommen wir zurück);

3. die Frage nach Gesamtsterblichkeit sei interessant, sollte aber in anderen Studien untersucht werden; das Ignorieren dieser Frage in der WHO-Studie sei kein Mangel;

4. schließlich habe die Zeitschrift auch einen anderen Leserbrief mit ähnlicher Kritik erhalten; diesen anderen Brief (aber nicht unseren) werde die Zeitschrift zusammen mit der Antwort der Autoren der WHO-Studie veröffentlichen. 

Der Brief endet mit dem Satz: „Ich bedanke mich für die Gelegenheit, Ihren Brief zu lesen, und für Ihr Interesse an unserer Zeitschrift.“

Bemerkenswert an dieser Antwort ist die Tatsache, dass wir entgegen allen Gepflogenheiten der wissenschaftlichen Begutachtung den vollständigen Text des vom „unabhängigen statistischen Experten“ verfassten Gutachtens nicht erhielten; der Brief verweist lediglich auf die Existenz dieser Person. Von den sieben Punkten unserer Kritik erwähnt die Antwort der Zeitschrift nur zwei: den ersten (Formel) und den letzten (Gesamtsterblichkeit). 

Die JAMA-Studie

Nun wenden wir uns von diesem schon verfaulten zu dem frischeren Produkt: dem JAMA-Artikel. Das Erste, was man sagen kann: Er ist methodisch besser. Wie auch von einem der bekanntesten epidemiologischen Kollektive weltweit zu erwarten wäre, wird vor allem die richtige Formel angewendet. Auch verwendet die JAMA-Studie die Daten aus randomisierten Studien, wo sich die WHO-Studie mit den Angaben schlecht kontrollierter Beobachtungsstudien begnügte.

Somit vermeidet die JAMA-Studie die offensichtlichen Paradoxien der WHO-Studie, welche unter anderem behauptete, dass die meisten Leben während der Omikron-Phase der Epidemie gerettet worden seien. Bedenkt man, dass Omikron offensichtlich weniger gefährlich war als die vorangegangenen Virusstämme, und dass die Impfstoffe nicht an Omikron angepasst wurden, ist diese Schlussfolgerung verblüffend. Aber das Rätzel lässt sich einfach lösen: Die in der WHO-Studie analysierte Omikron-Phase war zweimal länger als jede andere. Es ist keine Überraschung, dass in zwei Jahren insgesamt mehr Menschen sterben als in einem Jahr. Da aber in der Formel der WHO-Autoren die Gesamtzahl der Gestorbenen im Zähler steht, ist es kein Wunder, dass die Zahl der auf diese Weise berechneten Geretteten für einen längeren Zeitraum am höchsten ist.

Aber wir haben bereits gesagt, dass in der Absage der Zeitschrift Lancet Respiratory Medicine, unseren Leserbrief zu publizieren, ein Argument korrekt war: Die richtige Formel allein nutzt nicht, wenn die Daten fehlen. Allerdings fehlen sie nicht zufällig, sondern weil die verantwortlichen Behörden (in Deutschland: Paul-Ehrlich-Institut) ihrer Pflicht zur Erfassung der entsprechenden Information nicht nachgegangen sind.

Um die Zahl der durch die Impfung Geretteten genau zu bestimmen, müssen wir Folgendes wissen: (1) Die Zahl der Geimpften, (2) die relative Wirksamkeit (RW) der Impfstoffe, (3) die Ansteckungswahrscheinlichkeit für Ungeimpfte und (4) die Infektionssterblichkeitsrate (IFR). Nichts davon ist genau bekannt. Deshalb ist der häufigste Ausdruck im Methodenteil des JAMA-Artikels „we assume“ („wer nehmen an“). Einige Annahmen erscheinen glaubwürdig, andere fraglich, keine ist absolut überzeugend. 

Unbegründete Annahmen

Zu (1): Dass 30 Prozent der Weltbevölkerung zumindest eine Spritze in der Vor-Omikron-Phase und weitere 18 Prozent in der Omikron-Phase erhalten haben, erscheint zumindest plausibel. Genau wissen aber tun wir nicht, da die Impfregister fehlen (was in Österreich ein Impfregister heißt, ist im richtigen Wortsinne keiner).

Zu (2): Da fangen Probleme an, weil die relative Wirksamkeit (RW), selbst wenn man den Daten der Zulassungsstudien glaubt (was man nicht unbedingt tun muss, siehe da), im Laufe der Zeit stark abnimmt. Diese Abnahme behandelt die JAMA-Studie auf eine äußerst fragwürdige Weise. Die Zulassungsstudien sprechen von der RW von etwa 90 Prozent, sie wird aber mit Zeit abnehmen, also nehmen wir nicht 90, sondern 75 Prozent. Warum 75 und nicht 65 oder 45, wird nicht begründet. Die Abhängigkeit der Wirksamkeit von der Zeit ist so stark, dass spätestens nach etwa 7 Monaten die Wirksamkeitswerte sogar negativ werden. Besonders ausgeprägt ist die zeitbezogene Abnahme bei älteren Personen, d.h. ausgerechnet bei denen, die nach der Meinung der JAMA-Studie von der Impfung am meisten profitieren sollten. Wie man unter diesen Umständen auf einen Durchschnitt von 75 Prozent kommt, ist völlig unklar.

Für Omikron wird die Wirksamkeit von 50 Prozent angenommen. Die Daten zu diesem Punkt variieren stark, und obwohl die Wirksamkeit gegen Omikron unmittelbar nach einer Booster-Dosis bis 80 Prozent und höher berichtet wurde, kann sie schon in wenigen Wochen weit unter 50 Prozent, für Moderna und AstraZeneca-Impfstoffe sogar unter 20 Prozent fallen. Auch bei Omikron erscheint die Annahme im JAMA-Artikel die Zeitabhängigkeit der Wirksamkeit unterschützt zu haben. 

In der umfangreichen Sektion „Limitations“ („Einschränkungen“) erkennen die Autoren diese und viele andere Unsicherheiten an, schlagen aber keine Lösungen vor. Beiläufig erwähnen sie auch die womöglich stärkste Verzerrung, nämlich den „Effekt des gesunden Impflings“, der daraus besteht, dass – aus mehreren Gründen -– die Personen, die sich impfen lassen, im Durchschnitt gesünder sind als die, bei denen die Impfung unterlassen wird. Der Effekt ist dann evident, wenn sich die Geimpften und die Ungeimpften an den Erkrankungen unterschieden, die nicht mit der Zielerkrankung (hier: Covid-19) zusammenhängen. Das Vorhandensein dieses Effekts kann dazu führen, dass alle oben im Text erwähnte Prozentzahlen starke Überschätzungen sind und um Größenordnungen nach unten korrigiert werden sollten. Dazu sagen die JAMA-Autoren lediglich, sie kennen den Effekt, aber es sei sehr schwierig, ihn in der Analyse zu berücksichtigen. Das mag stimmen, aber genauso kann es sinnlos sein, ihn nicht zu berücksichtigen. 

Beten oder Nicht-Beten?

Die Variablen (3) und (4) sind die schwierigsten, denn da wissen wir an wenigsten bis gar nichts. Die JAMA-Autoren nehmen an, dass vor dem Beginn der Impfkampagne 20 Prozent der Weltbevölkerung angesteckt würde, und dass Omikron die gesamte Bevölkerung der Erde betroffen habe. Gründe für diese Annahmen werden nicht angegeben.

Denken wir an eine in der Vergangenheit weitverbreitete Behauptung, dass ein Gebet vor einer potentiell gefährlichen Reise die Überlebens- und Erfolgschancen der Reisenden erhöht. Wenn nun alle zum Gebet verpflichtet werden, kann diese Behauptung selbstverständlich weder bewiesen noch zurückgewiesen werden. Um die tatsächliche Wirkung des Gebets festzustellen, muss man wissen, wie groß die tatsächliche Gefahr für diejenigen ist, die nicht gebetet haben. Wenn auch 2020 einige Studien die Gefahr der ursprünglichen Virusvariante zuverlässig eingeschätzt haben, so haben wir zu weiteren Varianten, insbesondere zu Omikron, keine soliden Daten, weil zu seinem Eintreten die ganze Palette der Maßnahmen von FFP-Masken bis modRNA-Spritzen schon im Gange war, und wir können nicht wissen, wie gefährlich das Virus ohne diese Maßnahmen gewesen wäre.

Man merke, dass sich die Lage, um weiter im Bild des Gebets zu argumentieren, nicht wesentlich verbessert, wenn einige Dissidenten entscheiden, vor der Reise nicht mehr zu beten. Denn, weil sie eben aktiv diese Entscheidung treffen, haben sie dafür irgendwelche Gründe und somit unterscheiden sie sich von den anderen. Deshalb bilden die Nicht-Beter keine Kontrollgruppe im wissenschaftlichen Sinne. Angenommen, sie hätten in der Tat häufigere Unfälle in der Reise als die Beter. Da sie aber das Risiko auf sich genommen haben, entgegen der Mehrheitsmeinung zu handeln, wäre eine durchaus plausible Erklärung, dass sie sich auch in anderen Lagen (z.B. während der Reise) eher risikobereit verhielten, was womöglich die Unfälle auf völlig natürliche Weise erklären könnte. Die Gebetswirkung kann deshalb erst dann nachgewiesen werden, wenn solche „Störfaktoren“ (sie stören vielleicht nicht die Reisenden, wohl aber die Forscher!) ausgeschlossen werden und sich zwei Gruppen nur in einer einzigen Hinsicht (hier: beten oder nicht beten) unterscheiden, ansonsten aber statistisch identisch sind.

Die Gruppe um John Ioannidis schätzte zwar 2020 die IFR vor dem Beginn der Impfkampagne ziemlich genau ein, aber diese Zahlen können nicht ohne Weiteres auf Ungeimpfte ab 2021 übertragen werden, nicht nur, weil weitere Virusstämme i.d.R. eine niedrigere IFR haben als ihre Vorgänger, sondern auch weil in der Zeit, als Impfung und andere aktiven Maßnahmen (Maskenpflicht, extreme Mobilitätseinschränkungen u.v.a.) im vollen Gange liefen, Geimpfte und Ungeimpfte keine vergleichbaren Gruppen waren. Ihre Lebensweise war wesentlich verschieden, was auf ihre Sterblichkeit bedeutsame, uns völlig unbekannte Auswirkungen haben konnte.

Beide Studien für den Papierkorb geeignet

Wir sehen, dass der 15facher Unterschied zwischen den Ergebnissen der WHO- und der JAMA-Studie kein Wunder ist. Bei anderen, genauso möglichen aber kaum überprüfbaren Annahmen könnte der Unterschied noch zwei, drei oder zehnmal größer sein. Obwohl die JAMA-Studie (wie erwartet) auf einem viel höheren methodischen Niveau steht als die WHO-Studie, ist die eine genauso für Papierkorb geeignet wie die andere. Das ist kein Paradox: Es ist unwichtig, wie gut die Methoden sind, mit denen man die Eigenschaften von Hexen statistisch analysiert, wenn Hexerei nicht existiert. An sich genommen ist die Verbesserung der Instrumente zur genauen Schädelmessung eine gute Sache, aber sie sagt nichts über die Vorteile der arischen Rasse, weil es keine arische Rasse gibt. 

Die Frage, inwieweit die Impfkampagne die Covidsterblichkeit gedämpft hat, leidet schon daran, dass niemand weiß, was Covidsterblichkeit ist. Es gab und gibt keine differenzialdiagnostischen Kriterien der Krankheit Covid-19, weshalb wir auch heute nicht wissen, wer „an“ und wer lediglich „mit“ Corona starb. Die konkreten Kriterien änderten sich von Zeit zu Zeit, von Land zu Land und sogar von Landkreis zu Landkreis.

Im oben zitierten Absagebrief von Lancet Respiratory Medicine wird gesagt, dass die Gesamtsterblichkeit zwar ein interessantes Thema sei, aber nicht im Fokus der besprochenen Studie lag, und in separaten Studien untersucht werden sollte. Die Gesamtsterblichkeit ist aber kein „interessantes“, sondern das einzig wichtige Thema, und alles andere ist bestenfalls drittrangig. Denn für einen Verstorbenen ist gleichgültig, an welcher Krankheit er verstarb. Die Freunde und Familienangehörigen trauern um den Gegangenen unabhängig von der genauen Todesursache.

Von jedem neuen Medikament erwarten wir, dass es die Gesamtzahl der Todesfälle, schweren Erkrankungen, Hospitalisierungen, Komplikationen und anderen negativen Ereignisse verringert. Nur der netto Effekt eines Medikaments bzw. Impfstoffes (d.h. die Differenz zwischen seiner erwünschten positiven Wirkung und der unerwünschten negativen Wirkung) zählt unterm Strich. Die erwünschte Wirkung an sich ist aus praktischer Sicht völlig belanglos. Wer Covid überlebt, um an Myokarditis zu sterben, hat keinen Grund zur Freude. Die Zulassung eines Medikaments, das 1000 Menschen von der Grippe rettet, aber 2.000 tödliche Schlaganfälle auslöst, wäre vielleicht als fahrlässige Tötung in 1.000 Fällen zu qualifizieren. Es ist zwar korrekt, dass sich eine einzelne Studie auf einen begrenzten Aspekt des Geschehens beschränken darf, aber aus einer solchen Studie dürfen dann keine praktischen Schlussfolgerungen und Ratschläge für die Anwendung gezogen werden. Eine solche Studie wäre allenfalls von akademischem Interesse. 

Im Diskussionsteil erwähnt die JAMA-Studie diese Problematik, kommt aber schnell zur Aussage, dass „insgesamt“ die positive Wirkung der Impfkampagne deren negative Effekte überwog. Diese Aussage wird aber nicht nur von keinen seriösen Zahlen untermauert, sondern widerspricht direkt einigen Ergebnissen der im JAMA-Artikel präsentierten Analysen. So liegt die im Artikel berechnete Anzahl der durch Impfung geretteten Leben bei Menschen unter 30 Jahren sehr nah an Null. Die zum Teil sehr schwere Nebenwirkungen treten aber gerade in dieser Gruppe besonders häufig auf. In anderen Worten muss jeder, der den JAMA-Artikel (und nicht bloß eine von einer KI oder – was meistens dasselbe ist – von einem Mainstreammedium erstellte Zusammenfassung) gelesen hat, zu dem Schluss kommen: Die junge Generation wurde auf dem Altar einer grausamen Gottheit geopfert, deren Name noch zu bestimmen wäre.

Eine lokale Diktatur

Außer der konkreten Streitfrage nach den Gesamteffekten der Impfkampagne illustriert diese Geschichte einige allgemeine Eigenschaften des gegenwärtigen wissenschaftlichen Betriebs, dessen Innenleben einem breiten Publikum meistens verborgen bleibt. 

So wird in der Wissenschaftsjournalistik in der Regel viel Wert auf Begutachtung gelegt, und auch beim Zitieren wissenschaftlicher Arbeiten muss man streng zwischen bereits begutachteten Publikationen und (noch) nicht begutachteten Manuskripten unterscheiden. Diese Unterscheidung ist zwar nicht grundlos, weil trotz aller Mängel der Begutachtung die begutachteten „im Schnitt“ besser sind als die nicht begutachteten; aber man müsste verstehen, dass Gutachter nur eine beratende Funktion haben. Die Entscheidung, ob ein Artikel publiziert wird oder nicht, trifft einzig und allein die Redaktion, letztendlich der Chef-Editor. Er ist nicht an die Empfehlungen der Gutachter gebunden, und wir kennen zahlreiche Manuskripte, die nach mehreren (sogar drei oder vier) positiven Gutachten abgelehnt wurden. Die Begründungen dieser Ablehnungen sind oft sonderbar, z.B. Platzmangel (als ob die Zeitschriften heutzutage auf dem Papier gedruckt würden!). Ebenfalls bekannt sind Artikel, die sogar in hochrangigen Zeitschriften trotz vernichtender Gutachten veröffentlicht werden. 

Es gibt im wissenschaftlichen Publikationsprozess keine Gewaltenteilung, sondern der Chef-Editor ist praktisch ein Diktator, dessen Entscheidungsmacht von nichts eingeschränkt wird außer den Interessen des Verlags. Und dessen Interessen liegen so gut wie ausschließlich im finanziellen Bereich. Abgesehen von Big Pharma gibt es kaum profitablere Unternehmungsbranchen als wissenschaftliche Verlage. Die Preise für Fachzeitschriften stiegen in den letzten Jahrzehnten fast fünfmal steiler als sonstige Preise. Während sich die Produktionskosten für Publikation eines wissenschaftlichen Artikels zwischen etwa 200 und 750 US-Dollar (in äußersten Fällen bis 1.000 US-Dollar) bewegen, lagen die Preise pro Artikel 2013 im Durchschnitt bei 4.000 US-Dollar. 

Kein Wunder, dass bei dieser hervorragenden Differenz die Führungsetagen der wissenschaftlichen Zeitschriften sich üppig entlohnen lassen: Der Chef-Editor des New England Journal of Medicine (NEJM) erhielt z.B. 2016 über 702.324 US-Dollar, und die Gesamtsumme der Managementgehälter lag bei 4.088.010 US-Dollar. Im selben Jahr erhielt der US-Präsident Obama ein Gehalt von 400.000 US-Dollar; im Management von NEJM wäre er nicht mal unter den drei Besserverdienenden. Dabei ist NEJM ein Kleinunternehmen, das lediglich 420 bis 1.000 Artikel im Jahr (je nach dem, was als „Artikel“ gilt) veröffentlicht, daher verbietet sich ein Vergleich mit den Gehältern der Vorstände riesiger Aktiengesellschaften von vorneherein. 

Offene Betriebsgeheimnisse

Wofür aber verdienen die Zeitschriften ihr üppiges Geld, wenn man heute alles selber publizieren kann? Der Mathematiker Grigori Perelman hat nie in einer renommierten Fachzeitschrift publiziert. Von 2002 bis 2003 stellte er bloß drei Posts ins Internet, in denen er eine 100 Jahre zuvor von dem großen Mathematiker Henri Poincaré aufgestellte Vermutung bewies. Diese bis dahin immer noch unbewältigte Herausforderung gehörte zu den sieben Milleniumsproblemen, auf deren Lösung jeweils ein Preis von einer Million US-Dollar ausgelobt worden war – und blieb bis heute die einzige gelöste. Somit wurde Perelman unmittelbar als wissenschaftliches Genie akzeptiert und brauchte dafür keine Veröffentlichung in einer wissenschaftlichen Zeitschrift.

Als wichtiges Verdienst der Fachzeitschriften wird oft genannt, dass sie den fachlichen Begutachtungsprozess organisieren. Doch die Gutachter (wie auch alle Redakteure der unteren Ebenen) arbeiten ehrenamtlich. Den Zeitschriften kosten sie nichts – der Gemeinschaft jedoch sehr wohl. Die Gutachter, die die führenden Journale für ihren Peer-Review Prozess konsultieren, sind hochqualifizierte Experten, deren Arbeitszeit sehr teuer ist. Im Jahr 2020 schlug die Arbeit US-amerikanischer Zeitschriftengutachter mit 1,5 Milliarden US-Dollar zu Buche, in Ländern wie Deutschland etwa mit 400 bis 500 Millionen pro Jahr. Großzügige Geschenke der Steuerzahler an die Journale. 

Doch obwohl die Zeitschriften die Arbeitsstunden der anonymen Fachgutachter nicht bezahlen, gehen diese, zumindest in der Medizin, nicht immer gänzlich leer aus. Laut einer aktuellen Studie erhielten 59 Prozent von knapp 2.000 genauer betrachteten Gutachtern der vier führenden internationalen medizinischen Fachzeitschriften (darunter auch The Lancet und das oben erwähnte NEJM) Zahlungen von der medizinischen Industrie (aka “Big Pharma”): In den Corona-Jahren flossen an die Gutachter dieser Zeitschriften insgesamt über eine Milliarde US-Dollar, 93,5 Prozent davon in Form von Forschungsmitteln (Grants), der Rest als Honorare, Erstattung von Reisekosten und sonstige Peanuts. Inwieweit diese Zahlungen die Objektivität und Unabhängigkeit bei Begutachtung von mit derselben Industrie verbundenen Studien beeinflussen, wissen wir nicht. 

Es bleibt zu hoffen, dass dieser Einzelfall etwas klärendes Licht auf die weite Welt der Wissenschaft wirft, in der es leider nicht immer nur um die Wahrheit geht.

Boris Kotchoubey ist Professor am Institut für Medizinische Psychologie und Verhaltensneurobiologie an der Universität Tübingen.