Modellfehlspezifikation und stark überhöhte Schätzungen der geretteten Leben

In einer kürzlich in The Lancet Infectious Diseases veröffentlichten Studie schätzen Watson et al. mithilfe mathematischer Modellierung, dass die Massenimpfungen gegen COVID-19 im ersten Jahr des Impfprogramms weltweit zwischen 14 und 20 Millionen Leben retteten . Frühere Artikel von Horst und Raman in Brownstone wiesen bereits auf mehrere fehlerhafte Annahmen der Studie hinsichtlich der Dauer der durch Infektion bzw. Impfung erworbenen Immunität hin. Zudem wurde bemängelt, dass Nebenwirkungen der Impfung und das Gesamtmortalitätsrisiko nicht berücksichtigt wurden.

Hier fasse ich die Mechanik zusammen, wie die Autoren zu ihren Schätzungen der durch Massenimpfungen abgewendeten Todesfälle kamen. Anschließend erläutere ich, wie fehlerhafte Annahmen im Modell zu stark überhöhten Schätzungen der abgewendeten Todesfälle führen können, was den Mangel an scheinbarer Validität und interner Konsistenz der Studie erklären könnte.

Die Studie verwendet ein generatives Modell der COVID-19-Übertragungs-, Infektions- und Sterblichkeitsdynamik, das 20-25 angenommene Parameter auf der Grundlage ausgewählter Literatur umfasst (z. B. Wirksamkeit des Impfstoffs gegen Übertragung, Infektion und Tod, Altersmischungen der einzelnen Länder, Altersstratifizierung). Infektionssterblichkeitsraten usw.), die an gemeldete Todesfälle angepasst wird, um auf die zeitliche Übertragbarkeit von Viren in 185 Ländern zu schließen (aber nicht zu validieren). 

Die Studie vergleicht die tatsächlichen übermäßigen Todesfälle im Jahr 2021 mit Simulationen (Kontrafaktualien), die den Verlauf der übermäßigen Todesfälle in jedem Land vorhersagen sollen, wenn keine Impfstoffe eingeführt worden wären (dh durch Ausführen mehrerer Simulationen der oben angepassten Modelle nach dem Entfernen der Auswirkungen von Impfstoffen). Die Differenz zwischen diesen kontrafaktischen Kurven und den tatsächlichen überschüssigen Todesfällen führt zu den geschätzten Todesfällen, die aufgrund der Impfung abgewendet wurden.

Die Modelle der Autoren scheinen die Entwicklung der Infektiosität oder Letalität des Virus nicht zu berücksichtigen, abgesehen von der expliziten Modellierung eines Anstiegs der Krankenhausaufenthaltsraten aufgrund der Delta-Variante (siehe Abschnitt 1.2.3 Besorgniserregende Varianten im Anhang). Die Hauptannahme in den kontrafaktischen Simulationen ist, dass übermäßige Todesfälle durch die „natürliche“ Entwicklung des Virus erklärt werden, die sich in seiner zeitlich variierenden Übertragbarkeit widerspiegelt, die nur gefolgert (angepasst) und nicht validiert werden kann. 

Wenn die Modelle Parameter annehmen, die die Wirksamkeit von Impfstoffen gegen Übertragung, Infektion und Tod sowie die Dauer des Impfschutzes über- oder falsch einschätzen, während andere Ursachen pandemiebedingter Übersterblichkeit unberücksichtigt bleiben, führt dies zu einer Über- oder Fehleinschätzung der zeitlich variierenden Virusübertragbarkeit, um eine gute Übereinstimmung mit den Kurven der Übersterblichkeit in den einzelnen Ländern zu erzielen. Dies wiederum würde die geschätzten Übersterblichkeitszahlen künstlich erhöhen, wenn die Auswirkungen der Impfung nachträglich aus den kontrafaktischen Simulationen entfernt werden. Wir gehen im Folgenden näher auf diese Punkte ein.

Die Modelle in Watson et al. verlassen sich auf unrealistische Annahmen über impfstoffbedingte Immunität

Es ist unklar, ob die Autoren die nachlassende Wirksamkeit des Impfstoffs in ihren Modellen berücksichtigen. Offenbar gingen alle ihre Modelle von einem konstanten Impfschutz über den gesamten einjährigen Studienzeitraum aus, obwohl Studien nahelegen, dass dieser zwischen drei und sechs Monaten liegt . Das von ihnen zitierte Modell (Hogan et al. 2021) geht standardmäßig von einem „langfristigen“ (d. h. länger als ein Jahr) Impfschutz aus (siehe Tabelle 1 in Hogan et al. 2021 ).

Darüber hinaus werden in nahezu allen Studien zur Wirksamkeit von Impfstoffen symptomatische Fälle innerhalb von 21 Tagen nach der ersten oder innerhalb von 14 Tagen nach der zweiten Dosis entweder ausgeschlossen oder mit den ungeimpften Vergleichsgruppen zusammengefasst. Dies ist problematisch, da die Infektiosität von COVID-19 in der ersten Woche nach der Impfung um fast das Dreifache ansteigen kann (siehe Abbildung 1 in unserem Kommentar zur Studie ). Dies deutet darauf hin, dass die berichteten Schätzungen zur Impfstoffwirksamkeit, die auf niedrigeren Fallzahlen basieren, die mehr als sechs Wochen nach der Impfung beobachtet wurden, (zumindest teilweise) auf eine durch die Infektion selbst und nicht durch die Impfung hervorgerufene Immunität zurückzuführen sein könnten. Diese Immunität entsteht durch den kurzfristigen Anstieg der COVID-19-Infektiosität unmittelbar nach der Impfung.

Während die Modelle in Watson et al. eine Latenzzeit zwischen der Impfung und dem Einsetzen des Schutzes beinhalten, berücksichtigen sie nicht einen potenziellen Anstieg der durch den Impfstoff verursachten Infektiosität und Übertragbarkeit während dieser Zeit. Eine Nichtberücksichtigung dieses Effekts in den Modellen würde die sich natürlich entwickelnde und zeitvariable Virusübertragbarkeit überschätzen und somit die Zahl der Todesfälle in den kontrafaktischen Simulationen, die Impfeffekte ausschließen, aufblähen.

Schließlich untersuchten die Autoren die Auswirkungen der Immunumgehung durch eine infektionsbedingte Immunität, indem sie eine Sensitivitätsanalyse durchführten, um die Todesfälle abzuschätzen, die durch Impfungen mit unterschiedlichen Prozentsätzen der Immunflucht im Bereich von 0 % bis 80 % abgewendet wurden (siehe ergänzende Abbildung 4 im Originalartikel). In diesen Modellen machen die Autoren deutlich, dass sie von einem konstanten (nicht abnehmenden) Impfschutz ausgehen, was eine unrealistische Annahme ist (siehe oben). Die Autoren scheinen jedoch keine ähnliche Sensitivitätsanalyse der Immunumgehung einer impfstoffbasierten Immunität durchzuführen, was angesichts des im obigen Absatz angesprochenen Punktes wichtig ist. 

Modelle ignorieren übermäßige Todesfälle aufgrund anderer Faktoren als COVID-19

Die angepassten Modelle und ihre Kontrafakten gehen davon aus, dass die Übersterblichkeit in den einzelnen Ländern ausschließlich durch ein natürlich evolvierendes COVID-19-Virus und dessen (modellbasierte) zeitlich variable Übertragbarkeit erklärt wird. Die Modelle berücksichtigen keine Übersterblichkeit, die durch andere pandemiebedingte Faktoren verursacht wird, beispielsweise durch die Impfstoffe selbst oder andere nicht-pharmazeutische, verpflichtende Maßnahmen. Die CDC gibt ein allgemeines impfstoffbedingtes Sterberisiko von 0.0026 % pro Dosis an , basierend auf dem Meldesystem für unerwünschte Ereignisse nach Impfungen (VAERS). VAERS ist ein passives Meldesystem und erfasst möglicherweise nur etwa 1 % aller impfstoffbedingten Nebenwirkungen.

Neuere unabhängige Studien, die VAERS und plausible Annahmen zu Untererfassungsfaktoren sowie ökologische Regressionsanalysen öffentlich zugänglicher Impf- und Gesamtmortalitätsdaten nutzen , legen nahe, dass VAERS nur etwa 5 % aller impfbedingten Todesfälle erfasst. Zudem berücksichtigen die Modelle keine zusätzlichen Todesfälle, die durch andere Faktoren wie etwa durch Lockdowns bedingte „Verzweiflungstode“ verursacht werden.

Durch das Ignorieren anderer potenzieller Quellen für pandemiebedingte übermäßige Todesfälle in ihren Modellen werden die angepassten Modelle die Auswirkungen der natürlichen, zeitlich variierenden Virusübertragbarkeit über- und/oder falsch einschätzen, um eine gute Modellanpassung an die gemeldeten übermäßigen Todesfälle zu erreichen, was in wiederum würde in ihren kontrafaktischen Simulationen zu überhöhten Todeszahlen führen.

Mangel an Gesichtsvalidität

Laut den länderspezifischen Schätzungen der Autoren konnten in den USA bei einer Impfquote von 61 % 1.9 Millionen Todesfälle verhindert werden (siehe Ergänzungstabelle 3 in der Originalstudie). Im ersten Jahr der Pandemie, als noch keine Impfstoffe verfügbar waren (2020), gab es in den USA 351,039 COVID-1.9-Todesfälle . Die Modelle der Autoren legen daher nahe, dass 1,9 Mio. / 350.000 = etwa 5.5-mal so viele COVID-19-Todesfälle in den USA im Jahr 2021 (gegenüber 2020) aufgetreten wären, wenn keine Impfstoffe eingeführt worden wären (siehe Abbildung 2 in unserem Kommentar zur Studie ). Dies ist höchst unwahrscheinlich, da es kaum Anlass zu der Annahme gibt, dass sich das Virus auf natürlichem Wege so stark in Richtung einer derart höheren Ansteckungsfähigkeit, Ansteckungsfähigkeit und Letalität entwickelt hätte.

Die Autoren deuten auf eine höhere Übertragbarkeit im Jahr 2021 hin, die auf die Lockerung bzw. Aufhebung von Maßnahmen und Beschränkungen im Bereich der öffentlichen Gesundheit (Lockdowns, Reisebeschränkungen, Maskenpflicht usw.) zurückzuführen ist. Die Annahme, dass dies einen mehr als fünffachen Anstieg der COVID-Todesfälle im Jahr 2021 erklären könnte, widerspricht jedoch über 400 Studien , die zu dem Schluss gekommen sind, dass diese Maßnahmen kaum oder gar keinen Nutzen für die öffentliche Gesundheit hinsichtlich der Reduzierung von COVID-Fällen hatten.

Darüber hinaus gab es im Jahr 2021 (nach Einführung der Impfung) in den USA 474,890 COVID-19-Todesfälle . Dies entspricht einem Anstieg von etwa 35 % gegenüber 2021 und deutet auf erste Hinweise hin, dass Massenimpfungen den Verlauf von COVID-19 insgesamt verschlimmert haben könnten . Dies deckt sich mit Beobachtungen einer erhöhten Infektiosität vor Eintritt des Impfschutzes (siehe erster Punkt oben) und Bedenken hinsichtlich einer durch die Impfstoffe verursachten Verschlimmerung der COVID-19-Erkrankung, die auf präklinischen Studien beruhen.

Fazit

Während generative Modelle oft ein nützliches Werkzeug sind, um Szenarien zu simulieren, die nicht eingetreten sind, können ungenaue Annahmen über Modellparameter leicht zu einer Fehlspezifikation des Modells führen. Im Fall von Watson et al. 2022, können sie zu kontrafaktischen Simulationen führen, die die Schätzungen der durch Massenimpfungen abgewendeten Todesfälle stark aufblähen. 

Da solch komplexe Modellierungen übermäßig empfindlich auf Eingangsparameter reagieren, zu Überanpassung neigen und Ergebnisse liefern, die schwer oder gar nicht validierbar sind, sollten sie nicht zur Gestaltung von Richtlinien und Maßnahmen im Bereich der öffentlichen Gesundheit herangezogen werden. Quantitative Risiko-Nutzen-Analysen, die Daten aus klinischen Studien oder der realen Welt nutzen , um die Risiken spezifischer Ergebnisse zu vergleichen, wie beispielsweise die Gesamtmortalität oder Myoperikarditis nach Impfung und Coronavirus-Infektion, sind in dieser Hinsicht wesentlich aussagekräftiger und nützlicher.

Hinweis: Ich habe eine Version dieses Artikels inklusive Abbildungen und Literaturverzeichnis auf ResearchGate veröffentlicht und den Kommentar den ursprünglichen Autoren der Studie auf Twitter zugesandt, um eine Antwort und Gegendarstellung zu erhalten. Außerdem habe ich eine gekürzte Fassung des Artikels als 250 Wörter umfassenden Leserbrief an The Lancet Infectious Diseases geschickt und warte auf deren Antwort. Der Autor dankt Hervé Seligmann für seine hilfreichen Anmerkungen und sein Feedback zum Artikel.