"Eine umfassende Studie in Israel zum Corona-Impfstoff von BioNTech/Pfizer hat die sehr hohe Wirksamkeit des Mittels bestätigt", berichtete n-tv jüngst begeistert von einer sehr großen im New England Journal of Medicine veröffentlichten Beobachtungsstudie zur Wirksamkeit des BioNTech/Pfizer-Impfstoffs BNT162b (Tozinameran ist der Freiname). Der Impfstoff, der in zwei Dosen mit einem Intervall von 21 Tagen gegeben wird, sei hochgradig wirksam. Wirksam wogegen? Was ist das für eine Studie, und was ist dabei herausgekommen?

Zunächst ist festzuhalten, dass die Arbeit eine sehr große und auch klinisch (aber nicht mathematisch, siehe unten) gut gemachte retrospektive Beobachtungsstudie vorstellt, bei der knapp 1,2 Millionen Individuen in Israel beobachtet wurden. 596.618 Personen wurden geimpft, und für jeden Impfling wurde nach demographischen und klinischen Eigenschaften ein nicht-geimpftes Individuum als Vergleich herangezogen, was die Autoren angesichts der inhärenten Grenzen des Verfahrens auch gut gemacht haben und überzeugend beschreiben.

Man nennt das Verfahren “matched-pair-design” und setzt es oft dann ein, wenn man retrospektiv arbeitet: Wenn man also nicht, wie bei einer prospektiven Studie, Patienten randomisiert einer Behandlungs- und einer Placebogruppe zuordnen kann, wobei Arzt und Patient nicht wissen, ob der Patient die Behandlung oder das Placebo erhalten hat. Dieses Verfahren nennt man prospektive, randomisierte Doppelblindstudie, es ist das beste Verfahren zum Beweis von medizinischen Hypothesen, weil es unerwünschte Effekte wie Bias (Verzerrung) oder Störfaktoren minimiert.

Da es beim Einsatz von Tozinameran (BioNTech/Pfizer-Impfstoff) das Ziel war, möglichst schnell viele Menschen zu impfen, gab es hier keine Alternative zur retrospektiven Anwendungsbeobachtung. Sie wurde klinisch nach den Regeln der Kunst durchgeführt. Wichtige Grenzen des matched-pair-designs sind: Behandlungsbias des Arztes (Verzerrung der Bewertung des Krankheitsverlaufs durch Wissen über Gabe der Behandlung), Bias bei der Behandlung der Kontrollgruppe (Kontrollgruppe erhält weniger medizinische Zuwendung als Impfgruppe), Vorhandensein von Störfaktoren. Diese konnten natürlich nicht verhindert werden. Das Ergebnis: Tozinameran wirkt auf leichte Grippe.

Tozinameran wirkt gegen leichte grippale Symptome

Die relative Wirksamkeit des Impfstoffs wurde berechnet, indem das relative Risiko (welches das Risiko oder den Schutz durch einen Faktor hinsichtlich der Erkrankungswahrscheinlichkeit untersucht) von 1 abgezogen wurde, um zu berechnen, um wieviel die Chance, nach der Impfung zu erkranken, gesenkt wird. Die wichtigsten Ergebnisse lauten, dass der Impfstoff 7 Tage nach der Gabe der zweiten Dosis (dann geht man von einer vollen Entfaltung der Wirkung aus) folgende klinische Eigenschaften aufwies: Senkung des Risikos eines positiven SARS-Cov-2-PCR-Tests (was die Studie fälschlicherweise als “documented infection” bezeichnet): 92 Prozent. Das Risiko einer symptomatischen (leichten) COVID-Erkrankung: 94 Prozent, Hospitalisierung: 87 Prozent, schwerer Verlauf: 92 Prozent. Die Autoren geben eine Senkung des Risikos, an COVID zu sterben, bis zu 20 Tage nach der ersten Dosis mit 72 Prozent und bis zu 84 Prozent in den ersten 7 Tagen nach der zweiten Dosis an, für den entscheidenden Zeitpunkt 7 Tage nach der zweiten Dosis machen sie zur Sterbewahrscheinlichkeit keine Angaben.

Das klingt vielversprechend. Betrachtet man allerdings die absoluten Zahlen, sieht man, dass die relativen Zahlen trügerisch und die absoluten Effekte allesamt sehr klein sind. Sie sind auch schwer zu erfassen, weil Infizierte nur selten schwer an COVID erkranken, meistens verläuft die Infektion mit SARS-CoV-2 ja ohne Symptome (80 bis 90 Prozent) oder mir sehr leichten (5 bis 10 Prozent).

Bei der symptomatischen leichten COVID-Erkrankung betrug die absolute Risikodifferenz 7 Tage nach der zweiten Impfung nur 4,6 auf 1.000 Personen, bei Hospitalisierung 0,22 auf 1.000, bei schwerem Krankheitsverlauf 0,32 auf 1.000 und bei Tod (gemessen 14 bis 20 Tage nach der ersten oder bis zu 7 Tage nach der zweiten Dosis) 0,03 bzw. 0,06 auf 1.000 Personen. Bis auf den zweiten Endpunkt (leichter Verlauf) sind das winzige Effekte.

Was ist aus mathematisch-statistischer Sicht von diesen Daten und ihrer Auswertung zu halten? Der erste betrachtete Endpunkt (documented infection) ist invalide, weil ein positiver PCR Test laut WHO keine Infektion anzeigt. NEJM hätte diesen Endpunkt gar nicht durchgehen lassen dürfen. Der zweite Endpunkt, der leichte Verlauf (Husten, Schnupfen, Heiserkeit, leichtes Fieber, Gliederschmerzen, Durchfall) ist valide und zeigt den einzigen absoluten Effekt, der einen nennenswerten Umfang hat: Tozinameran wirkt gegen leichte grippale Symptome. Die absolute Risikodifferenz bei den anderen Endpunkten (Krankenhausaufenthalt, schwerer Verlauf, Tod) ist, insbesondere beim Tod, so gering, dass die relativen Angaben irreführend sind. Interessanterweise haben die Autoren der Studie die Effekte nicht ausreichend statistisch getestet. Zwar geben sie Konfidenzintervalle für die Effektgrößen an, doch haben sie den bei rechtszensierten Daten (das sind Daten, bei denen man den Verlauf nicht zu Ende beobachten kann) üblichen Log-Rank-Test zum statistischen Beweis der Effekte nicht durchgeführt oder die Ergebnisse der Durchführung nicht gezeigt.

Denn dabei wäre wohl herausgekommen, dass nur die ersten beiden Endpunkte zu einer statistisch signifikanten Senkung des Risikos führen (wobei der erste Endpunkt aber klinisch invalide war), während die anderen Endpunkte höchstwahrscheinlich zu geringe Effekte haben, um statistisch signifikant zu sein. Die Abwesenheit von Signifikanzangaben aus einem Test weist stark darauf hin, dass es sich bei den Angaben zu den Endpunkten Hospitalisierung, schwerer Verlauf und Tod um Zufallseffekte handelt (falsch-positive Ergebnisse). Beim wichtigsten Endpunkt Tod durch Viruspneumonie liegt wahrscheinlich auch data dredging (Datenmanipulation) vor, da es ein Absinken des Effekts über die Zeit und das Fehlen von Daten zum Zeitpunkt 7 Tage nach der Impfung vollkommen unplausibel wirken – man hätte einfach die bis dahin Gestorbenen heranziehen können.

Entsprechend überzeugen die Kaplan-Meier-Kurven zur Mortalität nicht, ebenso wenig die zu den schweren Verläufen: Die Ordinatenskala für die Effekte bei Hospitalisierung und schwerem Verlauf ist winzig, bei Tod ist sie mikroskopisch, und die Kurven liegen bei Tod mit Sicherheit nicht signifikant auseinander, was ein einfacher Log-Rank-Test zeigen würde. Die Autoren geben auch Detaildaten zur Wirksamkeit des Impfstoffs auf den leichten Verlauf an und zeigen, dass die Impfung auch bei alten Patienten auf leichte Symptome hat; das ist ja ganz nett, aber klinisch uninteressant. Für die anderen Endpunkte machen sie derart detaillierte Angaben nicht, wahrscheinlich weil die Effekte zu klein sind oder bei Risikogruppen sogar fehlen. Auch dies ist data/result dredging: Das Unterdrücken negativer Ergebnisse.

Was bedeutet das?

Die Autoren interpretieren ihre Daten so, als hätten sie nicht nur eine Wirksamkeit der Impfung auf leichte Verläufe, sondern auch auf schwere Verläufe und den Tod durch Viruspneumonie (oder andere Effekte wie Virusmyokarditis) gezeigt. Doch das ist nicht der Fall: Die Effekte sind schwach, statistisch nicht bewiesen und wahrscheinlich durch verschiedene Arten von Bias entstanden, nicht zuletzt durch data dredging. Eine Wirkung auf die Mortalität schließen die Daten aus den oben genannten Gründen aus. Die statistische Analyse der Daten ist ungenügend, selten habe ich eine mathematisch so schlecht gemachte Studie im NEJM gesehen. Der Druck auf die Herausgeber muss groß sein. Die Berichterstattung in den Medien ficht das nicht an. Sie sind begeistert vom Impfstoff.

Was bedeutet das für die Impfung? Wer sich mit Tozinameran (also dem BioNTech/Pfizer Impfstoff) impfen lässt, bekommt einen guten Schutz gegen leichte Grippesymptome mit den Varianten des Virus, die zwischen Dezember und Januar in Israel prävalent waren. Vor dem schweren Verlauf schützt der Impfstoff wahrscheinlich kaum, insbesondere nicht bei den Risikogruppen. Vor dem Tod schützt er mit Sicherheit nicht. Sein mittel- bis langfristiges Risikopotenzial, das darin besteht, Autoimmunerkrankungen oder Entzündungen im Gehirn hervorzurufen, ist weiterhin unbekannt.