Qualitätsmängel der Forschung

„Die riesige Datenflut wird zum Problem“

Von Joachim Müller-Jung
04.06.2020
, 10:49
Zwingt die Pandemie die Wissenschaft in die Knie? Die Massenproduktion von „unfertigem Wissen“ wächst sich zur Qualitätskrise aus und könnte am Ende alle überfordern, warnt der Mainzer Mediziner Klaus Lieb im Interview.

Die Corona-Pandemie erschüttert wissenschaftliche Normen. Tausende sogenannter Preprints – Vorveröffentlichungen – in wenigen Monaten erzeugen etwas, was in politischen Kreisen inzwischen fast hilflos als „unfertiges Wissen“ bezeichnet wird. Unser Gespräch dazu mit Klaus Lieb, dem Direktor der Klinik für Psychiatrie und Psychotherapie an der Universitätsmedizin Mainz und Leiter des Leibniz-Instituts für Resilienzforschung. Er fordert, den aktuellen Kurs zu korrigieren.

Seit Beginn der Corona-Krise kommunizieren Wissenschaftler anders, und es wird auch öffentlich plötzlich über Befunde gesprochen, die wissenschaftlich noch gar nicht begutachtet sind und damit eigentlich noch gar nicht reif für eine Fachpublikation – auch in Ihrem Fach. Wie problematisch ist das?

Wir haben zurzeit eine einmalige Konstellation. Da ist zum einen die hohe gesellschaftliche Erwartung an die Wissenschaft und auch eine fast beispiellose Wissenschaftsgläubigkeit. Es wird erwartet, dass die Wissenschaft schnell Daten liefert, die gleichzeitig auch so zuverlässig sein sollen, dass sie möglichst schnell zu einem Impfstoff und zu Medikamenten führen und gleichzeitig auch zu belastbaren Empfehlungen, etwa wie die Menschen in der Pandemie miteinander umgehen und wann Quarantänen nötig sein sollen. Das sind Zielkonflikte. Schnelle und zuverlässige Daten sind schon ein Widerspruch in sich. Gute, zuverlässige Daten erfordern Sorgfalt und die Einhaltung der wissenschaftlichen Standards und auch einen guten Diskussionsprozess innerhalb der Wissenschaft, im Idealfall ein Peer-Review-Verfahren.

Schnell zurück also zu der Vor-Corona-Welt?

Die Probleme sind jedenfalls unübersehbar. Es gibt aktuelle Entwicklungen, die zumindest das Risiko mit sich bringen, dass Studienergebnisse voreilig, also zu schnell und mit falschen Schlussfolgerungen, veröffentlicht werden.

Wie hat es dazu kommen können, ist es allein die Nachfrage nach schnellen Ergebnissen?

Wir haben plötzlich auch sehr viel Geld im System. Das gab es in der Weise auch fast noch nie. Dass man auf einen Schlag Forschungsmittel zur Verfügung stellt, um mit dreistelligen Millionenbeträgen etwa Forschungsnetze der Universitätsklinika oder die Impfstoffentwicklung zu fördern, das hat es so noch nicht gegeben. Und auch die Verlage reagieren. Open-Access-Publikationen sind leichter möglich, die Verlage verzichten sogar auf die Gelder, und die großen Journale machen Covid-19-Publikationen für alle verfügbar. Dazu beobachten wir Kollaborationen von bisher konkurrierenden Gruppen, die zusätzlich Forschungsaktivitäten mobilisieren. Sogar die Zulassungsverfahren für Medikamente sind jetzt beschleunigt, und die Ethikkommissionen arbeiten schneller. Es ist schon unglaublich viel Energie im System, das spüren wir alle.

Ist das schnelle, Sie sagen, voreilige Publizieren dann der einzige Nachteil dieser Beschleunigung?

Keineswegs. Eine der negativen Begleiterscheinungen ist, dass plötzlich alle auf ein Thema springen. Viele wissenschaftlich arbeitenden Mediziner, die bisher nur entfernt oder nichts mit einer Virus-Pandemie zu tun hatten, richten ihre Forschung auf einmal stark am Thema Covid-19 aus. Das ist grundsätzlich auch positiv, bringt aber das Risiko mit sich, dass andere mindestens so relevante Themen wie beispielsweise Malaria auf der Strecke bleiben. Und dazu kommt, dass es auch Forscher gab, die wegen des Lockdown ihre sorgfältig geplanten Tierversuche oder ihre Studien mit Patienten unterbrechen und nicht mehr zu Ende führen konnten. Das hat gerade Nachwuchswissenschaftler sehr getroffen.

Die Qualitätsdebatte wird derzeit vor allem an den Vorveröffentlichungen festgemacht, die ohne Begutachtung quasi direkt nach Niederschreiben auf einer öffentlichen digitalen Plattform erscheinen können. Es gibt intensive Auseinandersetzungen, welche Bedeutung diesen Preprints zukommen soll. Kommt da die Sorge zum Ausdruck, dass die Flut an Preprints die Seriosität der Wissenschaft insgesamt bedrohen könnte?

Mein Eindruck ist, dass die Herausgeber von seriösen Journalen ihre Standards an Publikationen nicht aufgeben wollen. Der Peer-Review-Prozess ist offenkundig beschleunigt, man stellt auch schneller die Artikel online, und trotzdem versuchen sie bei den hochrangigen Journalen, bei der Qualität keine Abstriche zu machen. Vielleicht ist man bei den guten Zeitschriften mit den Manuskripten sogar noch kritischer geworden. Das größere Problem ist tatsächlich die Flut an Preprints, das ist schon ein halber Tsunami. Wir können inzwischen schon beobachten, dass solche Vorveröffentlichungen bereits in reguläre Übersichtsarbeiten einfließen.

Haben Sie Beispiele?

In unserem Bereich werden derzeit viele Studien etwa zur psychischen Belastung von Krankenhauspersonal als Preprints publiziert. Einige davon wandern schon in Reviews ein, als wären es in einem Peer-Review-Verfahren begutachtete Publikationen. Hier werden aus Zeitdruck unsere wissenschaftlichen Standards nicht mehr eingehalten.

Die Datenlage ist dünn, aber angeblich sollen es fast zwei Drittel der Preprints etwa bei „bioRxiv“ in Journale schaffen. Könnte nicht also genau das zur neuen Normalität werden, dass Preprint-Veröffentlichungen Standard werden? Manche stellen sich auf den Standpunkt, dass Wissenschaftler auch schon im Preprint gute von schlechter Wissenschaft unterscheiden können.

Das wäre irrwitzig. Wir haben ja schon in den Peer-Review-Journalen eine Flut von Publikationen, die völlig unübersichtlich ist. Unsere Leute haben keine Zeit mehr, das alles zu lesen. Wie soll man da zusätzlich noch die Qualität von Publikationen detailliert untersuchen können? Es ist schon jetzt ein unglaublicher Zeitaufwand, wenn wir etwa unsere Cochrane Reviews erstellen, um die Evidenz der Studien herauszuarbeiten. Dass der einzelne Wissenschaftler oder Arzt beim Lesen die Spreu vom Weizen trennen können soll, halte ich kaum möglich. Wir müssen die Standards erhalten. Die ganzen Konsequenzen und Verzerrungen der Preprint-Flut werden wir wahrscheinlich erst in einem Jahr sehen.

Die Dinge also nicht geschehen lassen, sondern die Krise zum Nachdenken nutzen?

In der Tat ist die Krise unsere Chance, die riesigen Datenfluten und Datenpublikationen in Frage zu stellen. Stattdessen sollten wir einen Prozess initiieren, der es uns ermöglicht, weniger zu publizieren und sicherere Daten abzuliefern. Das wäre meine Hoffnung. Die Schwächen des derzeitigen Wissenschaftssystems sind für jeden erkennbar.

Auf der anderen Seite klagen Wissenschaftler, die als Gutachter ja immer auch ehrenamtlich tätig sind, über den wahnsinnigen Aufwand des Peer Review. Könnte es sie vielleicht sogar entlasten, wenn auf dem Preprint-Server oder bei Twitter, womit viele Preprints rasch verbreitet werden, entscheidende Schwächen und Lücken diskutiert werden, die man dann bis zur Veröffentlichung korrigiert?

Nein, das löst nichts. Twitter springt auf Sensationen, die bei genauerem Hinsehen oft keine mehr sind. Wir müssen die Qualität, die Methodik und die saubere Durchführung der Studien mehr belohnen, nicht die Schnelligkeit und Anzahl der Studien.

Wie soll man da hinkommen?

Ich wünsche mir, dass zukünftig alle Studien präregistriert werden, das heißt, dass die Studien erst nach sorgfältiger Planung und Registrierung durchgeführt und veröffentlicht werden – und dass alle Ergebnisse dieser sorgfältigen Studien veröffentlicht werden, egal, ob sie positiv oder negativ, sensationell oder unerwünscht sind.

In einigen Bereichen wird die Registrierung etwa von klinischen Studien ja heute schon gefordert. Soll sie zur allgemeinen Pflicht werden?

Davon sind wir leider weit entfernt. Aber natürlich könnten sich Wissenschaftler grundsätzlich dazu verpflichten. Wer heute eine Pharmastudie macht, muss diese in einem Trial-Register registrieren. Da muss man hinterlegen, was die Hypothese ist, was der primäre Endpunkt ist, wie meine Fallzahl ist, welches die Behandlungsgruppen sind und wie ich die Studie durchführe. Das wird alles vorher beschrieben, auch die statistischen Verfahren. Erst nach der Registrierung führe ich die Studie durch. Und dieses Vorgehen verhindert, dass man nachher nicht alles plötzlich ganz anders interpretieren kann, wenn die Ergebnisse erst einmal da sind. Das Rosinenpicken bei den Resultaten wird mit der Registrierung unterbunden. Und wenn eben ein Negativergebnis herauskommt, kann man das so auch publizieren. Das ist für Nachwuchswissenschaftler ganz wichtig. Wir haben bisher einen eklatanten Bias mit positiven Resultaten in der Wissenschaft. Alle veröffentlichen ihre gelungenen Versuche, mit negativen Ergebnissen muss man sich als armer Schlucker fühlen. Wir brauchen aber die Falsifizierung, die auch hochwertig publiziert wird. Zuverlässigere Daten aus besser geplanten Studien, das muss die Zukunft sein.

Aber auch dafür könnte man mit Preprints einiges gewinnen, wie die aktuelle Krise zeigt. Hydroxychloroquin wurde von höchster politischer Stelle ohne ausreichende Evidenz als Covid-19-Therapie propagiert, und die negativen Preprint-Studienergebnisse haben doch sehr schnell klargemacht, dass das Malaria-Mittel als Covid-19-Mittel und Prophylaxe sogar gefährlich sein kann.

Trotzdem dürfen wir gerade bei Medikamentenstudien die Standards nicht lockern. Auch Negativbefunde können falsch negativ sein, wenn die Studie nicht gut gemacht wurde. Selbstverständlich könnte aber darin eine Zukunft von Preprints liegen: In Bereichen mit sehr hoher gesellschaftlicher Bedeutung wie einer Pandemie könnte man Preprints für eng umschriebene, zentrale Fragen einsetzen. Allerdings auch nur in Kombination mit einer schnellen Einreichung in ein entsprechendes Journal.

Preprints sind schneller und bekommen schneller Öffentlichkeit, beispielsweise durch die Medien, auch das lernen wir jetzt in Corona-Zeiten. Steigert das den Druck für die Redaktionen in den Fachverlagen, ein Paper anzunehmen?

Bei der medialen Verbreitung von solchen Ergebnissen tun alle gut daran, offen mitzuteilen, dass es sich um ein noch nicht begutachtetes Ergebnis handelt. Dass sich die großen renommierten Journale von populären Vorberichten beeindrucken lassen, kann natürlich sein, aber das halte ich nicht für sehr wahrscheinlich. Der Wettbewerb und die Beschleunigung, die mit Covid-19 entstanden sind, sind nachvollziehbar und bei einer solchen immensen Bedeutung auch richtig, aber gleichzeitig sind sie für mich auch als Risiko für die Zuverlässigkeit der Wissenschaft offensichtlich. Wir haben jetzt durch diese Zuspitzung der Publikationsflut gleichzeitig die Chance, zu erkennen, dass es in der Medizin zu viele nicht methodisch abgesicherte, nicht zu Ende gedachte und voreilige Publikationen gibt. Das ist beispielsweise in der Physik ganz anders. Da wird an hochwertigen Veröffentlichungen mitunter über Jahre in großen Teams gearbeitet. In der Medizin dagegen herrscht ein Anreiz-System, dem auch ich mich nur schwer entziehen kann, das nämlich dazu führt, dass zu viel publiziert wird, mit Salamitaktik in kleinen Scheibchen und in möglichst vielen Journalen. Das Ergebnis ist, dass wir ohne Ende unsichere Daten haben und keiner mehr hinterherkommt.

Quelle: F.A.Z.
Joachim Müller-Jung- Portraitaufnahme für das Blaue Buch "Die Redaktion stellt sich vor" der Frankfurter Allgemeinen Zeitung
Joachim Müller-Jung
Redakteur im Feuilleton, zuständig für das Ressort „Natur und Wissenschaft“.
Twitter
  Zur Startseite
Verlagsangebot
Verlagsangebot