Eine Frau mit weißem Kittel und Schutzbrille sitzt an einem Mikroskop in einem Labor.
Viele Forscher veröffentlichten ihre Ergebnisse vor der Publikation in einem Fachjournal auf einem Preprint-Server. (Symbolfoto) Bildrechte: imago images/YAY Images

Forschungsergebnisse Corona-Preprint-Studien: Wie gut sind wissenschaftliche Vorab-Veröffentlichungen?

02. Februar 2022, 15:51 Uhr

Preprints sind vorab veröffentlichte Forschungsergebnisse, die noch nicht von unabhängigen Experten begutachtet wurden. Zwei Forschungsteams haben jetzt untersucht, wie gut diese wissenschaftlichen Vorab-Veröffentlichungen sind – im Vergleich mit den nach dem sogenannten Peer-Review veröffentlichten Studien.

Gerade während der Corona-Pandemie haben sogenannte Preprints eine große Bedeutung erlangt. Forschungsteams haben ihre Ergebnisse zum Sars-Coronavirus-2, den Virusvarianten und den Krankheitsverläufen der Covid-19 auf Servern veröffentlichen, bevor die Ergebnisse von unabhängigen Wissenschaftlern geprüft und Korrekturen angemerkt wurden. So standen die Daten schnell der Öffentlichkeit und anderen Forschern zur Verfügung. Dabei könne es leicht zu Missverständnissen und Fehlern kommen, wenn die Daten nicht richtig eingeordnet oder manche Formulierungen nicht entschärft würden, hatten einige Forscher wie der Virologe Christian Drosten öffentlich zu bedenken geben.

Preprints werden im Peer-Review-Prozess offenbar kaum verändert

Jetzt aber zeigen zwei neue Studien: Die Prüfung und Korrektur der Studienmanuskripte im Peer-Review-Verfahren führt meist zu eher kleinen Veränderungen in der später in Fachjournalen veröffentlichten Version. Im Fachjournal PLOS Biology berichten zwei Forscherteams vom Vergleich der auf den Servern bioRxiv und medRxiv veröffentlichten Preprints mit den späteren Publikationen.

Forschende um Jonathon Coates von der Queen Mary Universität London und David Nicholson von der Universität von Pensylvania in den USA haben zwei unterschiedliche Ansätze verfolgt. Coates und sein Team verglichen rund 180 Preprint-Manuskripte händisch mit den später in Journalen veröffentlichen Versionen. Sie konzentrierten sich dabei auf Studien, die in den ersten vier Monaten von 2020, also zu Beginn der Pandemie, erschienen waren. 83 Prozent der Studien zu Covid-19 und 93 Prozent der Studien zu anderen Themen hätten demnach keine Veränderung zwischen dem Preprint und der final veröffentlichten Version gezeigt, so die Forscher.

David Nicholson und sein Team haben insgesamt 18.000 Preprintstudien und ihre späteren, begutachteten Versionen verglichen. Dazu nutzten sie Algorithmen zur automatischen Sprachverarbeitung mit Hilfe von künstlicher Intelligenz. Dabei seien vor allem typografische Änderungen, also Rechtschreibkorrekturen und ähnliches aufgefallen, so die Autoren. Zudem enthielten die finalen Versionen oft zusätzliche Anhänge. Inhaltliche Formulierungen seien aber oft nur moderat angepasst worden.

Preprints zuverlässig oder Peer-Review mangelhaft?

Casey Greene, eine Co-Autorin aus dem Team von David Nicholson schließt aus den Ergebnissen: "Unsere beiden Arbeiten liefern deutliche Argumente dafür, dass Preprints verlässlich sind, in der Pandemie aber auch generell für wissenschaftliche Veröffentlichungen." Sie hofft auf eine Debatte über die Bedeutung des Peer-Review-Prozesses.

In der Diskussion ihrer Studie schreiben Coates und Kollegen allerdings auch, dass manche Preprints bereits vor ihrer Veröffentlichung von Wissenschaftlern begutachtet wurden, eine genaue Einschätzung der im Peer-Review-Prozess erfolgten Änderungen daher schwierig sei. Zudem habe auch der Vergleich der Arbeiten beider Forschungsteams gezeigt, dass künstliche Intelligenz manche bedeutende inhaltliche Änderung übersehe, wenn die verwendeten Begriffe und Längen der Formulierungen gleich blieben. Umgekehrt habe die KI Änderungen hervorgehoben, die sich bei näherer Analyse als eher marginal herausgestellt hätten.

(ens)

4 Kommentare

Denkschnecke am 04.02.2022

P.S. " das Herausfiltern von Schlechten" - deshalb habe ich ja auch "AUSRÄUMBARE Zweifel an den Daten" geschrieben. Bei nicht ausräumbaren Zweifeln darf es nicht zur Veröffentlichung kommen.

goffman am 02.02.2022

Na ja, das Wichtige am Peer-Review-Prozess, sind ja nicht die Änderung an guten Arbeiten, sondern das Herausfiltern von Schlechten.

Interessant ist für mich weniger der Unterschied zwischen Vorabveröffentlichung und finalem Text, sondern der Unterschied zwischen Studien, die in Fachzeitschriften mit Peer-Review-Prozess erscheinen und Arbeiten, die einen solchen Prozess gar nicht erst durchlaufen, oder die an diesem Prozess komplett scheitern.

Denkschnecke am 02.02.2022

Eigene Erfahrung: Es gibt selten ausräumbare Zweifel an den Daten selbst, häufiger jedoch an deren Interpretation. Da können sich Blickwinkel durchaus relevant ändern. Gerade wenn wie im Moment Studien sehr direkt in de Öffentlichkeit gehen ist die Meinung von (i.a. mindestens zwei) fachkundigen Gutachtern nicht immer angenehm, aber meist ein hilfreiches Korrektiv.