War meine Arbeit über Grippeimpfstoffstudien ein „heikles Thema“ für die Redakteure?

Ich denke, die Antwort lautet „ja“, aber hier ist die Geschichte, damit Sie selbst urteilen können.

Die CDC veröffentlicht jedes Jahr Schätzungen zur Wirksamkeit des Grippeimpfstoffs in der vorangegangenen Saison. Diese von verschiedenen Mediennetzwerken verbreiteten Schätzungen basieren auf einem Forschungsdesign, das als testnegative Fall-Kontroll-Studie bezeichnet wird.

Über die Jahre hinweg verfolgten die verschiedenen Autoren eine ähnliche analytische Strategie: Frühe respiratorische Ereignisse wurden anders bewertet als spätere (unter der Annahme, dass bis zum Aufbau der Immunität keine Auswirkungen zu erwarten sind). Als „früh“ galten typischerweise die ersten zwei Wochen nach der Impfung.

Vor einigen Monaten wurde mir bewusst, dass diese besondere Behandlung früher Ereignisse eine Verzerrung darstellt, die als „unsterbliche Zeit“ bezeichnet wird. Um diese Verzerrung aufzudecken, verwendete ich Kausaldiagramme, formal „gerichtete azyklische Graphen (DAGs)“ genannt. DAGs wurden in wegweisenden Publikationen der 1990er Jahre eingeführt und sind in der Epidemiologie als methodisches Werkzeug weithin anerkannt.

Ich verfasste eine kurze Abhandlung mit dem beunruhigenden Titel: „Verzerrung durch unsterbliche Zeit in Studien mit negativen Testergebnissen zur Grippeimpfung“. Ich veranschaulichte diese Verzerrung anhand zweier einfacher gerichteter azyklischer Graphen (DAGs), die die in den CDC-Studien beschriebenen analytischen Ansätze kodierten. Die Abhandlung lässt sich in drei Punkten zusammenfassen:

• Die Annahme einer unsterblichen Zeit ist ein übersehener Bias in testnegativen Fall-Kontroll-Studien zur Grippeimpfung.
• Die Kausalstruktur entspricht einer Fehlklassifizierungsverzerrung oder einer Selektionsverzerrung, je nachdem, wie frühe Ereignisse behandelt wurden.
• Diese Verzerrung lässt sich vermeiden, indem man alle Ereignisse berücksichtigt und die aufgebaute Impfstoffwirksamkeit anhand aufeinanderfolgender Tage nach der Impfung schätzt.

Ich habe den Artikel nacheinander bei drei renommierten epidemiologischen Fachzeitschriften eingereicht. Überraschenderweise lehnten die Chefredakteure aller drei Zeitschriften den Artikel innerhalb einer Woche mit einer Standardantwort ab. Er wurde nicht einmal einem Peer-Review unterzogen. Warum?

Es gibt drei mögliche Gründe:

1. Die Botschaft war nicht wichtig genug.
2. Der Artikel war schlecht geschrieben.
3. Eine Begutachtung durch Fachkollegen war nicht erforderlich. Der Herausgeber entschied, dass keine Voreingenommenheit vorlag. 

Den ersten Grund kann ich schnell ausschließen. Die Aufdeckung tief verwurzelter Voreingenommenheit in Studien zur jährlichen Grippeimpfung ist von größter Wichtigkeit. Ich musste nicht mit irgendwelchen „wichtigeren“ Arbeiten konkurrieren.

Lag es vielleicht an schlechtem Schreibstil? Ich habe zahlreiche wissenschaftliche Artikel und zwei Bücher veröffentlicht. Ich bin kein Neuling in der Epidemiologie und war sogar als Mitherausgeber für eine der drei Fachzeitschriften tätig. Daran lag es also nicht.

Bleibt noch der dritte Grund. Drei Redakteure (möglicherweise mehrere interne) entschieden, dass meine Analyse offensichtlich falsch sei. Sie hielten keine externe Begutachtung für nötig. Stimmt das wirklich? Wie wahrscheinlich ist es, dass drei Redakteure ohne externe Begutachtung zu einem einstimmigen, unabhängigen Urteil über meine Analyse gelangten?

Ich hätte eine ganze Seite über meine Expertise im Bereich kausaler Diagramme und Verzerrungen schreiben können, aber hier eine Kurzfassung meiner Arbeit. Ich habe eine neue Taxonomie von Verzerrungen auf Basis von DAGs vorgeschlagen und neue Verzerrungstypen identifiziert. Ich habe etwa 20 Publikationen zum Thema DAGs verfasst, darunter ein Buchkapitel . (Einige meiner Artikel wurden in der Publikation zitiert.) Meine methodische Analyse war sicherlich nicht „offensichtlich falsch“. Vielmehr war sie höchstwahrscheinlich richtig.

Warum wurde meine Arbeit ohne Peer-Review abgelehnt? Darf ich Vermutungen anstellen?

Diese Studie enthält eine brisante Aussage, die die CDC diskreditiert. Alle Studien zur Wirksamkeit der jährlichen Grippeimpfung beruhten auf einem analytischen Fehler. Die veröffentlichten Schätzwerte sind verzerrt. Wäre meine Studie publiziert worden, hätten sie womöglich einige Journalisten aufgegriffen. Man kann sich die Schlagzeilen vorstellen.

Die Herausgeber standen vor einer heiklen Situation. Sie wollten nicht riskieren, dass die Gutachter den Artikel befürworten und sie somit zur Veröffentlichung zwingen würden. Eine sofortige Ablehnung war der sicherste Ausweg.

Ich versuchte es noch einmal. Meine vierte Einreichung bei einer Fachzeitschrift für Epidemiologie enthielt folgendes Anschreiben:

„Sehr geehrter Herr/Sehr geehrte Frau Redakteur/in,

Diese kurze Abhandlung befasst sich mit der zeitlich unbegrenzten Beobachtungszeit in Studien mit negativen Grippeimpfstoffen. Zwei gängige Ansätze zum Umgang mit frühen Ereignissen nach der Impfung werden anhand von Kausaldiagrammen dargestellt, um eine mögliche Fehlerquelle zu identifizieren und zu klassifizieren. Abschließend wird erläutert, wie diese Fehlerquelle vermieden werden kann.

Meines Wissens ist die Aussage neuartig und relevant für zukünftige Studien, die das Test-Negativ-Design zur Abschätzung der Impfstoffwirksamkeit verwenden. Daher bin ich der Ansicht, dass die Arbeit eine Begutachtung durch Fachkollegen verdient.

Diesmal dauerte es etwas länger, bis ich eine Antwort erhielt. Vielleicht waren die Redakteure beschäftigt oder überlegten, wie sie mit dem heiklen Thema umgehen sollten. Es gab jedoch keine Überraschung. Etwa drei Wochen später landete eine Standardnachricht in meinem Posteingang. Zwei Absätze sind unten eingefügt:

„Ihr Manuskript wurde von zwei Mitgliedern der Redaktion geprüft. Leider muss ich Ihnen mitteilen, dass die Prioritätseinstufung nicht hoch genug war, um eine Annahme zur Veröffentlichung zu rechtfertigen. Die Prioritätseinstufung erfolgt unter Berücksichtigung der Vielzahl anderer eingereichter Manuskripte und unseres begrenzten Platzes. Daher müssen wir gelegentlich auch informative Beiträge ablehnen. Diese Vorprüfung wird bei allen Manuskripten durchgeführt, damit Autoren im Falle einer Ablehnung schnell eine Rückmeldung erhalten. Aus diesem Grund können wir Ihnen keine Kommentare der Gutachter weiterleiten.“

Dann fügten sie freundlicherweise hinzu: 

„Weitere Gründe für die Ablehnung Ihres Manuskripts sind: Nach einer ersten redaktionellen Prüfung haben wir entschieden, das Manuskript nicht zur externen Begutachtung weiterzuleiten. Obwohl das Thema von Interesse ist, entspricht das Manuskript nicht ausreichend dem Format der Zeitschrift.“

Was meinen Sie also, was war es: eine Prioritätsbewertung, die Übereinstimmung mit dem Zeitschriftenformat oder ein heikles Thema?

Ich gab auf und veröffentlichte die Arbeit als Preprint . Sie ist nun öffentlich zugänglich, wird aber wohl kaum jemand lesen. Sie wurde nicht von Fachkollegen begutachtet. Und die CDC wird weiterhin jährliche Schätzungen zur Impfstoffwirksamkeit aus Studien veröffentlichen, die diese Verzerrung enthalten ( übrigens nicht die einzige ).

Alle Herausgeber, die meine Arbeit abgelehnt haben, und alle Autoren der CDC-Veröffentlichungen zum Grippeimpfstoff erhalten die Vorabversion per E-Mail. Ich werde auch versuchen, Mitglieder des Redaktionsausschusses und andere Beteiligte zu erreichen. Sollte jemand meine Analyse für fehlerhaft halten, werde ich vielleicht darauf reagieren. Ansonsten erwarte ich, dass mein Posteingang leer bleibt. Für mich ist das ausreichend. Für die öffentliche Gesundheit weniger.

Die Freiheit wissenschaftlicher Kritik besteht nach wie vor, wenn auch mit einigen Ausnahmen.