Wir können den Schätzungen der CDC zur Wirksamkeit des Grippeimpfstoffs nicht trauen.

Die CDC veröffentlicht jedes Jahr eine Schätzung zur Wirksamkeit des Grippeimpfstoffs in der vorangegangenen Grippesaison. Kürzlich kritisierte der Direktor der NIH das Test-Negativ-Design, auf dem diese Schätzungen basieren. Er hatte Recht. Die Grundidee dieses Designs ist zweischneidig: Einerseits könnte die Beschränkung der Stichprobe auf Personen, die medizinische Hilfe in Anspruch genommen haben, die Verzerrung durch das Inanspruchnahmeverhalten im Gesundheitswesen verringern; andererseits könnte diese Beschränkung eine weitere Art von Verzerrung – die sogenannte Kollisionsverzerrung – mit sich bringen, die nicht allgemein bekannt ist. Die tatsächliche Verzerrung bleibt unbekannt.

Dies ist jedoch nicht die einzige Schwäche von Fall-Kontroll-Studien mit negativem Testergebnis zur Grippeimpfung. In diesem Beitrag zeige ich die fragwürdigen Ergebnisse einer großen Studie zur Grippeimpfung aus den Jahren 2022–2023 auf, in der der Impfstoff gut auf den dominanten Virusstamm abgestimmt war. Die Studie basierte auf dem VISION Vaccine Effectiveness Network , einem von mehreren Netzwerken, die mit der CDC zusammenarbeiten. Die veröffentlichten Ergebnisse sind unten aufgeführt.

Störfaktor durch das Hintergrundrisiko einer Infektion

Das Infektionsrisiko schwankt während der Grippesaison stets. Es war von Oktober bis Dezember 2022 hoch und von Januar bis März 2023 niedrig (Abbildung).

Angesichts des sich verändernden Infektionsrisikos erfordert ein aussagekräftiger Vergleich zwischen Geimpften und Ungeimpften eine ähnliche Verteilung beider Bevölkerungsgruppen im Zeitverlauf. Dies ist nicht der Fall, da Impfungen an einen Kalenderzeitpunkt (Impfkampagne) gebunden sind.

[Die Autoren zeigen den Impfstatus zum Zeitpunkt der Inanspruchnahme medizinischer Versorgung, aber die meisten Menschen ließen sich bis Ende Dezember impfen, und der Anteil der Geimpften stabilisierte sich im Januar bei etwa 45 % der Arztkontakte.]

Wie die Tabelle unten zeigt, war der Anteil der geimpften Bevölkerung in den Monaten Oktober bis Dezember (47 %), einer Zeit mit hohem Hintergrundrisiko, niedriger als der entsprechende Anteil in der ungeimpften Bevölkerung (61 %). In den Monaten Januar bis März, einer Zeit mit niedrigem Risiko, verhielt es sich erwartungsgemäß umgekehrt: 53 % gegenüber 39 %.

Technisch ausgedrückt: Geimpfte Personen sammelten mehr Expositionszeit an, wenn das Hintergrundrisiko einer Infektion gering war (53 %), und Ungeimpfte mehr Expositionszeit, wenn das Hintergrundrisiko hoch war (61 %). Da die Autoren Ereignisse ausschlossen, die innerhalb von zwei Wochen nach der Impfung auftraten, trugen die im zweiten Halbjahr des Dezembers 2022 Geimpften nur im Januar 2023 zu den Ereignissen bei – einem Zeitraum mit geringerem Risiko. Ich werde in einem späteren Abschnitt auf diese analytische Entscheidung zurückkommen.

Die Verzerrung (siehe linke Tabelle unten) lässt sich leicht erkennen, wenn wir ein extremes Beispiel betrachten: Niemand wurde im ersten Zeitraum geimpft, und allen wurde zu Beginn des zweiten Zeitraums eine Kochsalzlösung verabreicht (rechte Tabelle). Vergleicht man die Infektionsrate der „Geimpften“ mit der der „Ungeimpften“, erscheint die Kochsalzlösungsinjektion wirksam…

Diese Verzerrung wurde im Zusammenhang mit den Covid-Impfstoffen während der Pandemie erklärt und in einer Studie aus Ontario, Kanada, nachgewiesen . Soweit ich weiß, wurde sie im Zusammenhang mit dem Grippeimpfstoff nicht erkannt, dessen Einführung typischerweise dem Anstieg der Infektionszahlen folgt und um den Höhepunkt im Winter abgeschlossen ist.

Eine Verfälschung der Ergebnisse durch zeitliche Trends im Hintergrundrisiko kann in einer Kohortenstudie vermieden werden, indem eine ungeimpfte Person am Impftag einer geimpften Person zugeordnet wird (und die Beobachtung beendet wird, wenn die erstgenannte Person geimpft wird, falls dies der Fall ist).

Unsterblicher Zeitbias

Wie ich oben bereits erwähnt habe, haben die Autoren einige Ereignisse ausgelassen. Sie schreiben:

„Ereignisse bei Patienten, deren Impfung weniger als 14 Tage vor dem Stichtag dokumentiert war, wurden ausgeschlossen. Als Stichtag wurde der frühere der beiden folgenden Zeitpunkte definiert: der zugehörige Grippetest, der Besuch in der Notaufnahme/Ambulanz oder das Aufnahmedatum.“

Der Ausschluss früher Ereignisse bei Geimpften ist eine bekannte Fehlerquelle , die zu einem inversen Zusammenhang mit der Impfung führt und den geschätzten Effekt verfälscht. Sowohl die Bezeichnung – „Immortal Time Bias“ – als auch der zugrundeliegende Mechanismus sind zu komplex, um sie hier zu erläutern.

Kürzlich habe ich in einer Studie zu einem Covid-Impfstoff in Katar gezeigt , wie sich der sogenannte „Immortal Time Bias“ auswirkt. Die Beseitigung dieses Bias durch Einbeziehung der frühen Ereignisse hat die Wirksamkeitsschätzungen drastisch verändert und die Werte teilweise halbiert. Würde dieser Bias auch in der Studie zum Grippeimpfstoff beseitigt, könnten die Wirksamkeitsschätzungen von 30 bis 40 % auf 20 % oder weniger sinken.

Wie viele frühe Ereignisse wurden ausgeschlossen? Vermutlich viele, die genaue Zahl ist jedoch nicht bekannt. Laut einem Flussdiagramm wurden fast 2,000 ambulante Behandlungen ausgeschlossen, weil die Impfung 1–13 Tage vor dem Stichtag erfolgte oder der Impfstatus unbekannt war. Eine detaillierte Aufschlüsselung liegt nicht vor.

Wie viel der geschätzten Wirksamkeit im VISION-Netzwerk ist auf die Kombination aus dem Immortal-Time-Bias und der Verfälschung durch zeitliche Trends im Hintergrundrisiko zurückzuführen? Ich kann keine quantitative Antwort geben, aber es ist sicherlich ein großer, wenn nicht sogar der gesamte Zusammenhang. An anderer Stelle habe ich durch die Reanalyse von Daten einer Kohortenstudie, die eine Wirksamkeit sowohl gegen symptomatische als auch gegen asymptomatische Infektionen berichtete, eine Wirksamkeit von null für die Grippeimpfung in dieser Saison nachgewiesen.

Die Studie enthält noch weitere fragwürdige Ergebnisse, die im weiteren Verlauf des Beitrags besprochen werden.

Geringere Wirksamkeit gegen Krankenhausaufenthalte?

Die Tabelle unten zeigt unbereinigte und bereinigte Schätzungen der Impfstoffwirksamkeit im Vergleich zu einer ambulanten Behandlung (links) und einem Krankenhausaufenthalt (rechts), insgesamt und in verschiedenen Schichten.

Die adjustierten Schätzwerte für Krankenhausaufenthalte (Spalte D) waren fast immer niedriger als die adjustierten Schätzwerte für ambulante Behandlungen (Spalte B). Das ist ungewöhnlich. Wir erwarten ähnliche oder stärkere Effekte bei zunehmendem Schweregrad (ambulant zu stationär), da jeder Schritt einen weiteren Risikofaktor (≤1) aus zwei Sequenzen bedingter Wahrscheinlichkeiten hinzufügt. Wie lässt sich das erklären? Was sagen die Autoren dazu?

Zunächst schreiben sie, dass sie „ähnliche VE innerhalb derselben Gesundheitssysteme sowohl im ambulanten als auch im stationären Bereich festgestellt haben“.

Ähnlich? Ist eine durchweg geringere, manchmal sogar deutlich geringere Wirksamkeit zutreffend als „ähnlich“ zu bezeichnen?

Zweitens erkennen sie an, dass etwas unerwartet ist, und bemühen sich, (wenig überzeugende) Erklärungen zu liefern.

Der „Gesunde-Impf-Bias“

In den meisten Analysen ambulanter Behandlungen und in allen Analysen stationärer Aufenthalte war die geschätzte Wirksamkeit nach der Bereinigung geringer (Spalten A vs. B; Spalten C vs. D). Dies lässt sich durch Störfaktoren erklären. Die Geimpften waren gesünder als die Ungeimpften, daher spiegelt zumindest ein Teil des unbereinigten Zusammenhangs den besseren Gesundheitszustand der Geimpften wider, der einen gewissen Schutz bot.

Der sogenannte „Healthy-Impfee-Bias“ ist wohlbekannt. (Ich habe diesem Thema im Zusammenhang mit den Covid-Impfstoffen viele Beiträge gewidmet .) Leider lässt er sich durch Regressionsmodelle, egal wie ausgefeilt sie sind, nicht vollständig beseitigen. Bestimmte Aspekte des Gesundheitszustands werden durch die gemessenen Variablen nicht erfasst. Die sogenannten adjustierten Schätzwerte sind daher immer noch verzerrt.

Welche Art von Modellen?

Die Autoren schreiben:

Die Modelle wurden um vorab festgelegte Störfaktoren wie Alter, Studienort und Kalenderzeit sowie um alle Kovariablen mit einem standardisierten mittleren Differenzwert (SMD) > 0.20 bereinigt. Alter und Kalenderzeit wurden als natürliche kubische Spline-Variablen modelliert. Zusätzlich wurden inverse Impfbereitschaftsgewichte (IPVWs) mittels generalisierter geboosteter Regressionsbäume geschätzt und in logistischen Regressionsmodellen verwendet, um weitere Ungleichgewichte zwischen geimpften und ungeimpften Gruppen zu berücksichtigen.

Die Autoren verwendeten ungewöhnlich komplexe Modelle, die klassische Kovariaten (teilweise in nichtlinearer Form) sowie die inverse Wahrscheinlichkeitsgewichtung (IPTW) zur Berücksichtigung eines „zusätzlichen Ungleichgewichts“ umfassten. Es ist unklar, wie dieses „zusätzliche Ungleichgewicht“ ermittelt wurde und welche Variablen zur Berechnung der Gewichte herangezogen wurden. Selbst mit den vollständigen Daten wäre es niemandem möglich gewesen, die Analyse anhand dieser Beschreibung zu reproduzieren.

Höhere Effektivität bei älteren Menschen?

Nachfolgend werden weitere fragwürdige Ergebnisse aufgeführt. Dies wurde bereits in der Zusammenfassung erwähnt.

Wir erwarten üblicherweise eine geringere Wirksamkeit bei älteren Menschen aufgrund der mit dem Alter abnehmenden Immunantwort. Tatsächlich beobachten wir eine etwas geringere Wirksamkeit gegen ambulante Behandlungen bei älteren Menschen (41 % vs. 45 %). Unerwarteterweise ist die Wirksamkeit gegen Krankenhausaufenthalte bei älteren Menschen jedoch deutlich höher (41 % vs. 23 %). Ein verlässliches Ergebnis?

Offenbar bemerkten die Autoren die ungewöhnlichen Ergebnisse und argumentieren, dass „die Impfstoffwirksamkeit nach Altersgruppen nicht direkt verglichen werden kann, da die meisten jungen Erwachsenen inaktivierte Standarddosis-Impfstoffe erhielten und die meisten älteren Erwachsenen verbesserte Produkte wie inaktivierte Hochdosis-Impfstoffe oder adjuvantierte Impfstoffe erhielten.“

Diese Erklärung verdeutlicht jedoch nicht, warum der bemerkenswerte Nutzen der „verbesserten Impfstoffe“ nur bei Krankenhausaufenthalten beobachtet wurde. Die Autoren räumen selbst ein: „Obwohl die meisten geimpften älteren Erwachsenen verbesserte Impfstoffe erhielten, war die Impfstoffwirksamkeit [bei ambulanten Behandlungen] vergleichbar mit der von jüngeren Erwachsenen, die überwiegend inaktivierte Standardimpfstoffe erhielten.“

Kurz gesagt, diese Ergebnisse bleiben ungeklärt. Ihnen kann nicht vertraut werden.

Der Krankheitsverlauf von stationär behandelten Grippepatienten

Obwohl nicht explizit erwähnt, präsentieren die Autoren eine Reihe von Ergebnissen aus einem verschachtelten Kohortendesign.

Sie schreiben:

„Als sekundäres Ziel untersuchten wir, ob sich die Patientenmerkmale und die Behandlungsergebnisse im Krankenhaus zwischen geimpften und ungeimpften Influenza-positiven Fällen unterschieden. Dazu verglichen wir die Anteile der Patienten mit schwereren klinischen Verläufen nach ihrem Influenza-Impfstatus, stratifiziert nach Alter (18–64 Jahre, ≥65 Jahre)…“

Anders formuliert verglichen sie die Behandlungsergebnisse, einschließlich der Todesfälle, von Grippepatienten im Krankenhaus in Abhängigkeit von ihrem Impfstatus. Leider wurden keine Unterschiede in den Ausgangscharakteristika berücksichtigt, weshalb die Aussagekraft der Studie begrenzt ist. Ich werde mich auf die Letalität bei älteren Menschen konzentrieren (fast 70 % aller Todesfälle).

Unter den hospitalisierten älteren Grippepatienten waren die Geimpften älter und kränker als die Ungeimpften, die Unterschiede waren jedoch im Allgemeinen gering. Die Sterblichkeit war bei den Geimpften um 50 % höher: Risikoverhältnis = 4.0/2.7 = 1.5. Obwohl keine formale Anpassung möglich ist, können wir einige hypothetische Beispiele betrachten.

Angenommen, die Impfung wäre hilfreich und der tatsächliche Effekt läge bei einem Risikoverhältnis von 0.5 bis 0.75 (50 % bis 25 % Wirksamkeit gegen Tod), wenn eine ältere Person aufgrund einer Grippe ins Krankenhaus eingeliefert wird. Dann hätte eine Störwirkung das Risikoverhältnis von 0.75 (tatsächlich) bzw. 0.5 (tatsächlich) auf 1.5 (verzerrt) verändern müssen, was einer Verdopplung (1.5/0.75) bzw. Verdreifachung (1.5/0.5) auf der Risikoskala entspricht. Falls dies zutrifft, handelt es sich um eine extreme Störwirkung, möglicherweise stärker als aufgrund der berichteten Unterschiede im Alter und einigen Ausgangsmerkmalen zu erwarten wäre. Hat die Grippeimpfung diesen Patienten überhaupt Schutz geboten?

Es ist interessant, die Darstellung dieser Daten durch die Autoren zu lesen. Sie schreiben:

„Die demografischen Ausgangsmerkmale und die zugrunde liegenden Erkrankungen waren in dieser Altersgruppe zwischen geimpften und ungeimpften Gruppen ähnlich… Der Prozentsatz derjenigen, bei denen es zu schweren klinischen Ereignissen im Krankenhaus kam, einschließlich Aufnahme auf die Intensivstation, Erhalt einer invasiven Beatmung oder Tod, war in allen Impfgruppen ähnlich.“

Sie behaupten nicht einmal einen versteckten Nutzen. Sie gehen davon aus, dass keine relevanten Störfaktoren vorliegen, betrachten die unterschiedliche Sterblichkeitsrate (4.0 % vs. 2.7 %) aber als „ähnlich“. Folgt man ihrer Argumentation, könnte man sich fragen, ob die Impfung das Sterberisiko bei diesen Patienten erhöht hat.

Epilog

Ich habe mich dafür entschieden, eine einzelne Studie genauer zu untersuchen, anstatt die allgemeine Methodik zu kritisieren, da diese Studie eine Reihe von Problemen aufzeigte, von denen einige auch in anderen CDC-basierten Studien zum Grippeimpfstoff auftreten.

Da randomisierte Studien nicht durchgeführt werden können, sollten andere Studiendesigns in Betracht gezogen werden. In früheren Beiträgen habe ich zwei Möglichkeiten erwähnt: 1) Eine Kohortenstudie mit zwei Endpunkten: symptomatische und asymptomatische Infektion; 2) ein Regressionsdiskontinuitätsdesign . Bislang hat keines der beiden Designs vielversprechende Effekte der jährlichen Grippeschutzimpfung gezeigt.

Ursprünglich veröffentlicht auf Medium