Eine neue, in den Medien vielzitierte Studie mit Daten aus Israel bewertet den Impfstoff von Pfizer BNT162b als sicher. Was ist von dieser Studie zu halten? Ein akribische Analyse ergibt: nicht viel.

Das Paul-Ehrlich-Institut, welches für die Zulassung und Freigabe von Geräten der Medizintechnik, Impfstoffen und biomedizinischen Arzneimitteln zuständig ist, berichtete eine Zeit lang regelmäßig zur Sicherheit der SARS-CoV-2-Impfstoffe. Der letzte Bericht, der den Zeitraum bis zum 31.7.2021 behandelt, findet sich hier.

Aus diesem Bericht, dessen Daten sich aus dem System für spontan gemeldete Arzneimittelnebenwirkungen speisen, folgt, dass etwa jeder 50.000. Impfling nach der Impfung im vermuteten Kausalzusammenhang mit der Impfung stirbt und jeder 5.000. Impfling ein schweres Impfsyndrom entwickelt, von dem sich mindestens 20 Prozent nicht erholen.

Erfahrungswissen ist auch, dass spontan gemeldete Nebenwirkungen im Vergleich mit einer vollständigen Erhebung im Rahmen einer Kohortenstudie die Häufigkeit um den Faktor 5 bis 10 untertreiben. Daher ist davon auszugehen, dass mindestens jeder 25.000. Impfling an der Impfung stirbt und mindestens jeder tausendste Impfling schwere Nebenwirkungen erduldet.

Das System des PEI misst im Wesentlichen einen Teil der akuten Toxizität der Impfstoffe.

Und was sagt eine große Pfizer-Studie?

Angesicht dieser Zahlen verwundert es, dass eine neue Studie mit Daten aus Israel den Impfstoff von Pfizer BNT162b als sicher bewertet. Wie kann das sein?

Kurz gesagt, wurden für die Studie über 800.000 Geimpfte mit genau der gleichen Anzahl (zunächst) Ungeimpfter verglichen, um die Häufigkeit schwerer Nebenwirkungssyndrome im Zusammenhang mit der Impfung mit BNT162b zu ermitteln. Die Studie untersucht aber auch das Risiko schwerer Syndrome bei SARS-CoV-2-Infektion im Vergleich mit Nicht-Infizierten. Sie vergleicht die Kaplan-Meier-Risikoschätzer für beide Untersuchungen miteinander. Ich komme auf die Methodik noch einmal zurück, doch vorher die wichtigsten Ergebnisse.

1. Die Studie meldet keine Todesfälle unter Ungeimpften oder Geimpften.

2. Die Gesamthäufigkeit schwerer Nebenwirkungen betrug 3,15 von 1.000, bei den Ungeimpften waren die schweren Syndrome mit 3,37 von 1.000 aber insgesamt in etwa gleich häufig (siehe Anhang).

3. Unter den schweren Syndromen kommt nur bei Myokarditis und Fazialisparese ein erhöhtes Risiko durch die Impfung heraus.

4. Die Risikoschätzer der retrospektiven Untersuchung zur Sicherheit der Impfung werden mit denen der retrospektiven Untersuchung der Infektionsrisiken verglichen. Dabei wird gezeigt, dass die Risiken für die schweren Syndrome bei der Impfung fast immer gleich hoch oder sogar niedriger liegen als bei Ungeimpften, die sich infizieren.

Wenn diese Ergebnisse korrekt wären, wäre die Impfung im Vergleich mit der SARS-CoV-2 Infektion sehr sicher. So sieht es auch Grace Lee im Editorial des New England Journal of Medicine, wo die Studie erschienen ist.

Viele methodische Probleme

Doch das stimmt nicht, die Studie weist so viele methodische Probleme auf, dass nur ein sehr geringer Teil der Ergebnisse valide ist.

Gehen wir der Reihe nach vor und betrachten zuerst die Methodik der beiden Untersuchungen zu den Impfnebenwirkungen einerseits und den Folgen von SARS-CoV-2 andererseits.

Da es sich um eine retrospektive Studie handelt, konnten die Autoren vollkommen frei die Einschlusskriterien der Studie zum retrospektiven Startzeitpunkt (24.5.2021) gestalten. Jeder mindestens 16-jährige Geimpfte (das Kriterium ist richtig), der nicht eines der folgenden Ausschlusskriterien aufwies, war für die Auswertung verwendbar: Mitarbeiter des Gesundheitssystems, positiver SARS-CoV-2-PCR-Test vor der Studie (Reduktion der Teilnehmer um 50%), Altersheimbewohner (Reduktion 1%), keine kontinuierliche Mitgliedschaft in der Krankenversicherung, fehlende Daten zum Körpergewicht, fehlende demographische Daten, Kontakt mit dem Gesundheitssystem 7 Tage vor der Erstimpfung (Reduktion 27%), nicht mit Ungeimpftem vergleichbar (Reduktion 28%, korrektes Kriterium). 

So blieben von 3,4 Millionen Geimpften nur 1,2 Millionen, die mit Ungeimpften verglichen werden konnten. Da bei Anwendung der Kriterien auf die Ungeimpften aber lediglich 848.000 Probanden übrig blieben, befanden sich in den Datensätzen zur Auswertung nur jeweils 848.000. Probanden. Es wurde jeweils ein Geimpfter mit einem demographisch gut vergleichbaren Ungeimpften paarweise verglichen (matched-pair-design), ein an sich gutes Design, das bei retrospektiven Studien häufig verwendet wird, um Effektvermischung durch Kovariablen zu vermeiden. 

Da aber im Beobachtungszeitraum (42 Tage, jeweils 3 Wochen nach der ersten und der zweiten Impfung) aus der Gruppe der Ungeimpften zahlreiche Probanden geimpft wurden, schrumpfte die Vergleichsgruppe zusammen. Anstatt nur die bis zum Ende des Beobachtungszeitraums bestehenden Paare auszuwerten, wodurch bei einer Impfquote von 60 Prozent der zu Beginn des Beobachtungszeitraums Ungeimpften immer noch eine riesige Vergleichsstichprobe von gut 300.000 Paaren auszuwerten gewesen wäre, wurde die Impfung als Zensurereignis im Sinne des Kaplan-Meier-Schätzers aufgefasst, ebenso eine nach der Impfung auftretende SARS-CoV-2 Infektion oder Tod eines der beiden Vergleichspatienten sowie das eigentliche Auftreten des Risikoereignisses eines Nebenwirkungssyndroms im Sinne eines Outcomes. Wohlgemerkt wurde der Tod als Zensurereignis und nicht als Risikoereignis bewertet. Dies geht insbesondere aus dem Appendix hervor, den man auf der oben verlinkten NEJM-Seite herunterladen kann. Im Appendix wird der Tod nicht als Outcome berechnet. Da aber Matched-Pairs zensiert wurden, wenn einer der Probanden ausfiel, muss der Tod als Zensurereignis behandelt worden sein; der Text (Hauptartikel und Appendix) erwähnt das nicht explizit.

Bei Zensur durch Impfung wurde der nun Geimpfte einem neuen Matching-Pair mit einem Ungeimpften zugeordnet und floss erneut in die Studiendaten ein, was ebenfalls zu Verzerrungen führen kann. Die Autoren reflektieren den Ansatz der Zensur SARS-CoV-2-Infizierter immerhin, im Appendix schreiben sie: "conditional on the matched covariates, uncensored individuals are assumed to have a risk similar to that of the censored individuals had they not been infected". Doch sie gehen nicht davon aus, dass dies ein Problem darstellt. Derartige Verzerrungen durch die Nutzung zensierter Daten ist jedoch eine der Kernschwächen der Studie, die durch die Nutzung der vollständigen Paare leicht hätte vermieden werden können (siehe unten).

Das Risiko eines Nebenwirkungssyndroms für Geimpfte im Vergleich mit Ungeimpften wurde dann mit einem Kaplan-Meier-Schätzer als relatives Risiko (bezogen auf 100.000 Probanden) berechnet.

Bei der Untersuchung der COVID-Syndrome in der zweiten Untersuchung gingen die Autoren ähnlich vor. Allerdings wurden hier auch Patienten zugelassen, die 7 Tage vor dem Startzeitpunkt Kontakt mit dem Gesundheitssystem hatten, nicht ausgeschlossen.

Fundamentale Probleme

Design und Auswertung der Studie haben folgende fundamentale Probleme:

1. Die sehr willkürlichen Ausschlusskriterien, von denen bis auf das Kriterium der Krankenversicherungsmitgliedschaft und der fehlenden Daten keines medizinisch nachvollziehbar ist. Sie führen zu einer hochgradig artifiziellen Patientenpopulation, die Ergebnisse sind nicht auf die normale Population übertragbar (etwa zwei Drittel aller Geimpften wurden ausgeschlossen). Insbesondere ist es vollkommen unverständlich, warum vor der Impfung PCR-Test-Positive und Menschen mit Kontakt zu dem Gesundheitssystem vor der Impfung ausgeschlossen wurden. Die Begründungen, die die Autoren dafür liefern, sind nicht plausibel und klingen nach typischen ex-post-Begründungen, die man finden musste, nachdem man so lange mit den Ausschlusskriterien gespielt hatte, bis das erwünschte Ergebnis herauskam.

2. Ungleichheit der Kriterien in den beiden Untersuchungen hinsichtlich eines wesentlichen Punkts (Kontakt mit dem Gesundheitssystem vor Beginn der Untersuchung).

3. Die vollkommen unsachgemäße Auffassung der Daten als zensierte Daten mit Verwendung von Kaplan-Meier-Schätzern und (essenziell schwacher) Bootstrapvalidierung.  

4. Die Nutzung des Ereignisses Tod als Zensurereignis ohne Risikocharakter.

5. Die Verwendung des PCR-Tests als Kriterium für die Erkrankung anstatt der von der WHO empfohlenen Serokonversion (Vorhandensein von Antikörpern gegen SARS-CoV-2) oder besser noch des Vorhandenseins von Anti-SARS-CoV-2-Epitop-T-Zell-Rezeptoren (Elispot-Test). Nachweislich führt die Verwendung des PCR-Tests zu schlechten Daten, da der Test recht unspezifisch und wegen seiner lückenhaften, unsystematischen Verwendung als Kriterium unbrauchbar ist.

Was sind die Ergebnisse wert?

Durch die Würdigung dieser methodischen Fehler lassen sich zahlreiche Unstimmigkeiten der Studienergebnisse verstehen.

1. Es hätten laut PEI-Daten in der Impfgruppe mindestens 2 bis 4 Menschen mehr pro 100.00 Personen sterben müssen als in der Vergleichsgruppe, wenn der Tod als Risikoereignis gewürdigt worden wäre. Ihn nur als Zensurereignis zu würdigen, ist unzulässig. 

2. Die Gesamthäufigkeit schwerer Nebenwirkungen erscheint mit etwa 3 von 1.000 plausibel, wenn man davon ausgeht, dass bei den PEI-Daten nur jede zehnte schwere Nebenwirkung erfasst wird (dann käme man bei PEI 1:5000 mal zehn auf 1:500 = 2:1000, was nah an 3:1000 liegt). Jedoch erscheint es vollkommen unplausibel, dass die Gesamthäufigkeit bei den Nichtgeimpften leicht höher ist, bei einzelnen Nebenwirkungen sprechen die Autoren gar von einem „protektiven Effekt” der Impfung, was angesichts des Designs nicht zulässig ist. Diese Unstimmigkeit muss sich aus den Auswahlkriterien und der Interpretation der Daten als zensierten Daten ergeben. Sie ist das Kernproblem der Studie. Bei anderen Auswahlkriterien und einer statistisch validen Testung wäre das nicht herausgekommen, die Ergebnisse sind mit den vorhandenen Daten zur Sicherheit der Impfstoffe nicht vereinbar. Die Autoren diskutieren das nicht.

3. Die Risiken, die bei der Untersuchung der Infektionssyndrome ermittelt wurden, erscheinen durch die Aussonderung von Patienten, die vor dem Startdatum PCR-Test-positiv waren, verzerrt, da die Basisimmunität der Bevölkerung dadurch verschleiert wird und schwerere Verläufe in den Daten häufiger auftreten als in der Population. So erscheint die Krankheit schlimmer, als sie ist.

4. Die beiden Untersuchungen der Studie sind nicht im geringsten vergleichbar, der in der Studie durchgeführte Vergleich ist unzulässig, da die Gruppen sich hinsichtlich eines wichtigen Selektionsmerkmals, Kontakt mit dem Gesundheitssystem vor dem Startdatum, unterscheiden. Dennoch wurde der Vergleich durchgeführt und genutzt, um die Nebenwirkungen der Impfung zu relativieren. Diesem Narrativ hat sich auch der Autor des Editorials von NEJM angeschlossen.

Insgesamt ist die von NEJM hoch gelobte Studie ein typischer Fall von Data Dredging (Datenbaggern, bis das richtige Ergebnis herauskommt) über die willkürlichen Ausschlusskriterien und der Verwendung einer bestimmten statistischen, der Situation vollkommen unangemessenen Methode (Kaplan-Meier), um ein erwünschtes Ergebnis zu erzielen.

Es ist erschreckend, dass NEJM dies zulässt. Genauso empörend ist es, dass solche Studien von unseren Kollegen der Wissenschaftsredaktionen nicht angemessen untersucht werden. Dadurch entsteht in der Öffentlichkeit der Eindruck, die Impfstoffe seien sicher. Sie sind es jedoch mit großer Wahrscheinlichkeit nicht, wie die hier besprochene Studie unfreiwillig ergeben hat.

Des Weiteren ist anzumerken, dass die Studie lediglich die akute Toxizität der Impfung (mit Ausnahme des Todes) untersucht, nicht aber die chronischen Wirkungen (Autoimmunerkrankungen oder ADE). Wir werden sehen, welches Ausmaß diese chronischen Wirkungen entfalten werden.

Anhang

Die Häufigkeiten der schweren Syndrome von etwa 3 auf 1.000 in beiden Gruppen habe ich errechnet, indem ich die Häufigkeit der folgenden Nebenwirkungen in Tabelle 2 aufaddiert und dann den Bruch auf einen Nenner von 1.000 gekürzt habe: Akuter Nierenschaden, Facialisparese (Bell’s palsy), Zereborvaskuläres Ereignis, tiefe Beinvenenthrombose, Hirnblutung, Herzinfarkt, Myokarditis, Perikarditis, Lungenvenenthrombose.