[Dieser Artikel wurde in Zusammenarbeit mit Michael R. Jenkins, einem Assistenzprofessor für Marketing an der Mississippi State University, verfasst.]
In der Wissenschaft herrscht zunehmend Einigkeit darüber, dass das Peer-Review-System – einst das Rückgrat wissenschaftlicher Arbeit – gescheitert ist. Doch ist es irreparabel? Womöglich. Zumindest lohnt es sich, die Schwächen des aktuellen Systems genauer zu untersuchen. Anstatt das gesamte Vorhaben aufzugeben, glauben wir jedoch, eine neue Lösung gefunden zu haben. Zunächst wollen wir aber analysieren, wo das System versagt hat.
Im Mittelalter wurden die meisten wissenschaftlichen Arbeiten im Selbstverlag veröffentlicht, da Gelehrte ihre Erkenntnisse untereinander austauschten. Mit dem Wachstum des Berufsstandes erwies sich dies jedoch als unpraktisch, und die wissenschaftliche Zeitschrift entstand als Mittel zur Verbreitung von Informationen. Ein Gelehrter hatte eine Idee, untersuchte sie, fasste seine Ergebnisse zusammen und reichte das Manuskript bei einer Zeitschrift ein. Dort prüften die Herausgeber den Beitrag und entschieden, ob er unverändert veröffentlicht, überarbeitet oder ganz abgelehnt werden sollte. Im Laufe der Zeit, als die Zahl der Gelehrten stetig wuchs und alle unter zunehmendem Publikationsdruck standen – um angestellt zu werden, eine Festanstellung zu erhalten und Fördermittel zu bekommen –, wurde die Aufgabe der Zeitschriftenherausgeber überfordernd. Es gab einfach zu viele Einreichungen, um allen eine angemessene Prüfung zu ermöglichen.
So entstand die Idee, die Begutachtung der eingereichten Manuskripte an Teams unbezahlter Gutachter auszulagern – andere Wissenschaftler desselben oder eines verwandten Fachgebiets, die (zumindest theoretisch) qualifiziert waren, die Qualität der eingereichten Forschung zu beurteilen. Dies sollte die Herausgeber entlasten und dem fertigen Produkt zusätzliche Legitimität verleihen. Ob eine wissenschaftliche Arbeit der Veröffentlichung würdig war, sollte nicht mehr von ein oder zwei Personen, sondern von einer Gruppe unabhängiger Experten entschieden werden. Daher wurde das Label „Peer-Review“ zum Goldstandard für wissenschaftliche Forschung. Eine Veröffentlichung in einer „Peer-Review-Zeitschrift“ gilt seit Langem als nahezu unanfechtbar, sodass Politiker und Medienschaffende scheinbar überzeugt sind, jede Diskussion allein durch den Verweis auf eine „Peer-Review-Studie“ gewinnen zu können.
Es war anfangs ein recht gutes System und funktionierte lange Zeit einigermaßen gut. Doch nun scheint es an seine Grenzen gestoßen zu sein. Die Anforderungen für eine Festanstellung sind quantitativer geworden. Das Internet hat die Hürden für die Einreichung von Artikeln gesenkt und mehr Wissenschaftler dazu ermutigt, mehr Artikel bei mehr Fachzeitschriften einzureichen. Die Zahl der Einreichungen von Universitäten aus Asien, Afrika und dem Nahen Osten ist explosionsartig angestiegen. Trotz mehr Fachzeitschriften und mehr Gutachtern ist das System – wie alle großen, komplexen Systeme – irgendwann zusammengebrochen. Wir wissen dies aufgrund eines Problems, das vor 20 Jahren von dem Stanford-Wissenschaftler John Ioannidis erstmals identifiziert wurde und seither als „Replikationskrise“ bekannt ist.
Eines der Kennzeichen guter Wissenschaft ist die Reproduzierbarkeit eines Experiments – das heißt, ein anderer Forscher, der dieselbe Methodik anwendet, wird zum selben Ergebnis gelangen, was bedeutet, dass die Ergebnisse sowohl gültig als auch konsistent sind. Doch was Ioannidis in seinem wegweisenden Artikel von 2005 argumentierte: „Warum die meisten veröffentlichten Forschungsergebnisse falsch sind(Aktualisiert 2022) besagte, dass die meisten veröffentlichten Forschungsergebnisse fehlerhaft sind. Die Experimente lassen sich nicht wiederholen, was ihre Gültigkeit in Frage stellt.
Andere Wissenschaftler haben Ioannidis' These seither kritisiert, insbesondere seine Verwendung des Wortes „meistens“. Vor allem Sozialwissenschaftler argumentieren, dass Experimente mit menschlichen Probanden oft nicht reproduzierbar sind, gerade weil Menschen selbst inkonsistent handeln. Dennoch herrscht unter Wissenschaftlern weitgehend Einigkeit darüber, dass die Replikationskrise real ist, wenn auch nicht ganz so weit verbreitet, wie Ioannidis annimmt.
Was hat das mit Peer-Review zu tun? Wenn das System wie vorgesehen funktionieren würde, mit Teams von anerkannten Experten, die die Arbeit der anderen sorgfältig prüfen, könnten wir erwarten, dass nur sehr wenige fehlerhafte Studien durchrutschen. Anders ausgedrückt: Es gäbe keine Replikationskrise, wenn Peer-Review tatsächlich funktionieren würde.
Leider ist die Genauigkeit des Systems nicht einmal das größte Problem. Wie viele Institutionen hat es sich zu einer stark politisierten Echokammer entwickelt. Anstatt ein Mechanismus zur Ermittlung und Verbreitung von Wahrheit durch ein System wissenschaftlicher Kontrollmechanismen zu sein, ist das Peer-Review-Verfahren zu einem Instrument zur Förderung und Durchsetzung von Orthodoxien geworden. Aus einer Gemeinschaft von Wissenschaftlern, die die Hypothesen der anderen rigoros, aber kollegial prüfen, sind Zeitschriftenherausgeber und Gutachter geworden, die sich selbst zu Gatekeepern ernannt haben. Nur wer die richtigen Zugangsdaten kennt, wird zugelassen.
Nehmen wir beispielsweise die Klimaforschung. Seit mindestens zwei Jahrzehnten herrscht in der Wissenschaft Einigkeit darüber, dass der vom Menschen verursachte Klimawandel eine existenzielle Bedrohung für die Menschheit darstellt. Wer diese etablierte Lehrmeinung infrage stellt, hat es – unabhängig von der Qualität seiner Forschung oder der Logik seiner Argumente – äußerst schwer, seine Ergebnisse in führenden Fachzeitschriften zu veröffentlichen. Die Gutachter lassen es schlichtweg nicht zu.
Oder wie steht es mit der Transgender-Ideologie? Schon bevor bekannt wurde, dass die World Professional Association for Transgender Health (WPATH) ihre Daten verheimlichte und manipulierte, warum hinterfragten so wenige Wissenschaftler die Behauptung, dass soziale, medizinische oder chirurgische Transitionen bei Minderjährigen deren Leiden linderten? Die Antwort liegt auf der Hand: Sie wussten, dass sie ihre Karrieren gefährden würden. Selbst heute noch riskieren wir unsere berufliche Laufbahn, indem wir darauf hinweisen. Das ist keine Wissenschaft, die die Suche nach der Wahrheit vorantreibt; es ist Politik, die sie behindert.
Ehrlich gesagt, ist es leicht zu verstehen, warum das passiert. Wir behaupten nicht einmal, dass es gänzlich verwerflich ist. Es liegt einfach in der menschlichen Natur. Ideen, die die etablierte Denkweise infrage stellen, waren schon immer unbeliebt bei denen, die sie vorgaben – angefangen bei Kopernikus und Martin Luther. Neue Erkenntnisse und die daraus entstehenden Theorien drohen, die Theorien der vorherigen Gelehrtengeneration zu diskreditieren – und raten Sie mal, wer hauptsächlich als Gutachter fungiert? Wenn wir von „Politik“ sprechen, meinen wir das nicht unbedingt im parteipolitischen Sinne, sondern eher im persönlichen: Wessen Interessen werden hier verletzt?
Aber natürlich spielen auch Parteipolitik – und insbesondere Ideologie – oft eine Rolle. Selbst in Disziplinen, die nicht so politisch brisant sind wie Klimatologie oder Gender Studies – etwa Rechnungswesen oder Marketing – müssen sich Nachwuchswissenschaftler den ideologischen Vorstellungen ihrer Vorgänger unterwerfen. Sie müssen Konzepten wie „Diversität, Gleichstellung und Inklusion“, „Weißsein“ und „marginalisierten Bevölkerungsgruppen“ huldigen, selbst wenn diese Konzepte nichts mit ihrer Forschung zu tun haben oder, schlimmer noch, durch ihre Ergebnisse nicht gestützt werden. Und natürlich finden sie, wenn sie wirklich publizieren wollen, einen Weg, ihre Ergebnisse mit dem aktuellen politischen Zeitgeist zu verknüpfen. Daher erhalten wir Artikel mit Titeln wie „Wie Branding für Weiße BIPoC-Konsumenten benachteiligt“ oder „Die Berücksichtigung marginalisierter Bevölkerungsgruppen in der Managementforschung“. (Einer dieser Titel ist echt; den anderen haben wir erfunden. Können Sie den Unterschied erkennen?)
Und nun? Wir glauben, es ist an der Zeit, zum mittelalterlichen Modell der Gelehrtengemeinschaft zurückzukehren – modernisiert für das 21. Jahrhundert. Sicher, in den meisten Disziplinen ist es nahezu unmöglich, alle Wissenschaftler zusammenzubringen, um Manuskripte auszutauschen (wie jeder bestätigen kann, der schon einmal an einer Konferenz teilgenommen hat). Doch dank moderner Technologie können Wissenschaftler ihre Manuskripte tatsächlich austauschen und ihre laufenden Arbeiten mit Kollegen aus dem ganzen Land und der ganzen Welt teilen.
Unsere Idee sieht die Einrichtung offizieller Online-Foren für jede Disziplin vor. Dort können Wissenschaftler:innen in jeder Forschungsphase Essays zu ihren Ideen veröffentlichen, den theoretischen Hintergrund darlegen, Hypothesen aufstellen, Forschungsergebnisse (einschließlich Methodik) präsentieren und Implikationen oder Prognosen ableiten. Andere Forschende der Community können diese Essays kommentieren, Kritik üben, fehlende Informationen ergänzen und neue Forschungsrichtungen vorschlagen. Sie können die Experimente auch selbst durchführen, um zu prüfen, ob sie zu gleichen oder ähnlichen Ergebnissen gelangen, und der Gruppe darüber berichten. Die ursprünglichen Autor:innen können diese Informationen dann für ihre weitere Forschung nutzen.
Ein Vorteil dieses Ansatzes liegt in seiner iterativen Natur: Jeder Wissenschaftler baut auf den Erkenntnissen seiner Vorgänger auf. Ein weiterer Vorteil ist, dass Wissenschaftler unabhängig von ihren Ergebnissen publizieren können. Ein häufiger Kritikpunkt am aktuellen Peer-Review-System ist, dass Wissenschaftler nur bei positiven Ergebnissen veröffentlichen dürfen. Doch auch negative Ergebnisse sind Ergebnisse und tragen auf ihre Weise zum Wissensfortschritt bei. Genauso wie Wissenschaftler wissen müssen, was sich als wahr erwiesen hat, um auf diesem Fortschritt aufzubauen, müssen sie auch wissen, was sich als falsch erwiesen hat, um dieselben Fehler zu vermeiden.
Beiträge in den Foren würden mit einem Zeitstempel versehen, sodass Autoren ihre Ideen leicht nachweisen könnten. Die Beiträge könnten verlinkt werden, um weiterführende Recherchen und Zitate schnell und einfach zu gestalten. Um Missbrauch zu verhindern, gäbe es keine Anonymität für Beitragende und Kommentatoren. Die Foren würden moderiert, um sicherzustellen, dass die Beiträge wissenschaftlichen Standards, angemessenem Stil, Höflichkeit und korrekter Quellenangabe entsprechen. Alle Ideen wären jedoch willkommen. Es gäbe keine Zensur. Stattdessen würde die Community sich selbst regulieren und „schlechte“ Ideen bewerten (um den Begriff aus den sozialen Medien zu verwenden), anstatt sie zu zensieren.
Damit dieses System letztendlich das derzeitige Peer-Review-System ersetzen kann, müssten die Universitäten es natürlich annehmen und herausfinden, wie sie die Produktivität der Wissenschaftler im Hinblick auf die Vergabe einer unbefristeten Professur und Ähnliches bewerten können – vielleicht anhand der Anzahl der Beiträge und der Reaktionen der Community darauf.
Wir sind jedoch überzeugt, dass die Entwicklung in diese Richtung geht, und Universitäten, Fachbereiche und wissenschaftliche Gesellschaften täten gut daran, sich diesem Trend anzuschließen. Das gegenwärtige System hat seinen Zweck erfüllt und ist zu einem Hindernis für die Wahrheitssuche geworden, anstatt sie zu fördern.
Tritt dem Gespräch bei:
Veröffentlicht unter a Creative Commons Namensnennung 4.0 Internationale Lizenz
Für Nachdrucke setzen Sie bitte den kanonischen Link wieder auf das Original zurück Brownstone-Institut Artikel und Autor.
