Ein Artikel aus dem reatch-Blog vom 11. November 2020. Den Original-Text gibt es hier zu lesen.

---

Jedes wissenschaftliche Resultat kann nützlich sein. Wenn man denn davon erfährt. Doch viele wissenschaftliche Resultate in der biomedizinischen Forschung werden gar nie publiziert. Nicht weil irgendwelche dunklen Mächte das verhindern würden oder weil Forschende kein Interesse an einer Publikation hätten, sondern weil auch der wissenschaftliche Publikationsbetrieb einer gewissen «News-Logik» folgt: Wer seine Forschung in renommierten Fachmagazinen wie «Nature» oder «Science» publizieren möchte, braucht bahnbrechende, irritierende oder zumindest sehr erstaunliche Resultate. Mit sogenannten «negativen» Resultaten, die nicht das zeigen, was sich die Forschenden (oder die Redakteure eines Fachmagazins) erhofft haben oder die «nicht signifikant» sind, lockt man hingegen keinen Hund hinter dem Ofen hervor.

Das führt zu einem sogenannten «Publikations-Bias», d.h. einer systematischen Verzerrung der publizierten wissenschaftlichen Literatur zugunsten von überraschenden und neuen Ergebnissen. Akzentuiert wird diese Verzerrung, wenn der Publikationsentscheid wesentlich von dekontextualisierten Statistiken wie dem sogennanten «p-Wert» [0] und weniger vom Studiendesign und der methodischen Qualität der Forschung abhängt. Es gibt Methoden, um diese Verzerrungen zu erkennen und zu korrigieren (ich habe hier [1] einige davon zusammengetragen), aber sie alle kranken daran, dass sie von bestimmten Annahmen abhängen, die sich nur dann überprüfen lassen, wenn man zumindest Anhaltspunkte dafür hat, wie gravierend das Problem des Publikations-Bias tatsächlich ist.

Umso bedeutender sind deshalb Studien wie jene von Mira van der Naald et al. (2020) [2]. Die niederländischen Forschenden haben eine Auswahl von 67 Tierversuchsprojekten am «University Medical Center Utrecht» von der Bewilligung durch die Tierethikkommission bis zur Publikation in einem Fachmagazin oder einer Fachkonferenz verfolgt, um herauszufinden, wie viele der bewilligten Projekte innerhalb von sieben Jahren publiziert wurden.

Das Resultat: 60% der bewilligten Anträge haben mindestens eine wissenschaftliche Publikation ergeben (71 Publikationen basierend auf 67 Anträgen). Jedoch haben van der Naald et al. (2020) nur 26% der im Rahmen der Experimente verwendeten Tiere in den Publikationen wiedergefunden (1471 von 5590 Tieren). Anders gesagt: Die Resultate von 74% aller im Rahmen der untersuchten Experimente eingesetzten Tiere sind nicht publiziert worden. Das heisst: Die Fachwelt weiss nicht, ob und welche wissenschaftlichen Ergebnisse sich daraus ergeben haben.

Als häufigste Gründe für die Nicht-Publikation haben die an den 67 Projekten involvierten Forschenden angegeben, dass die Ergebnisse «statistisch nicht signifikant» gewesen seien, dass es sich um Pilotstudien gehandelt habe oder dass es technische Probleme mit dem Tiermodell gegeben habe. Grundsätzlich wären wohl auch Pilotstudien und technische Probleme publikationswürdig – nur schon um andere Forschende davor zu bewahren, in die gleichen Probleme hineinzulaufen. Aber da van der Naald et al. (2020) keine zusätzlichen Informationen darüber geliefert haben, welche Art von Pilotstudien und welche Probleme konkret gemeint waren, ist ein Urteil darüber schwierig.

Was hingegen die Nicht-Publikation aufgrund fehlender statistischer Signifikanz anbelangt, so ist der Fall ziemlich klar: Das ist wissenschaftlicher Unsinn und Verschwendung. Es ist Unsinn, weil «statistische Signifikanz» allein nicht viel über die Bedeutung eines wissenschaftlichen Ergebnisses aussagt und deshalb nur eines von vielen Kriterien bei der Beurteilung von Forschungsresultaten sein sollte. Und es ist Verschwendung, weil auch statistisch nicht-signifikante Ergebnisse wertvolle wissenschaftliche Einsichten liefern können.

Dennoch kann ich Forschende verstehen, die sich nicht die Mühe machen, «nicht signifikante» Ergebnisse in einen Fachartikel zu verwandeln. Wieso den aufwändigen Publikationsprozess durchlaufen, wenn die Magazine ohnehin kein Interesse an «negativen» Resultaten haben? Denn wie eingangs erwähnt unterliegen auch wissenschaftliche Fachmagazine aufmerksamkeitsökonomischen Zwängen und publizieren vornehmlich Resultate, von denen sie sich viel Resonanz erhoffen können.

Um das Problem der fehlenden Veröffentlichung von Resultaten aus Tierversuchen anzugehen, schlagen van der Naald et al. (2020) vor, dass präklinische Versuche vor der Durchführung registriert werden sollen – beispielsweise auf «Preclinicaltrials.eu» [3] oder im «Animal Study Registry» [4] – , um die Resultate nach Abschluss der Studie am gleichen Ort publizieren zu können. Neben einer grösseren Reichweite der Resultate hat eine solche «Präregistrierung» von Studien den Vorteil, dass andere Forschende sehen können, woran bereits geforscht wird. Das schafft potenziell wertvolle Synergien – zum Beispiel, indem Forschende aus verschiedenen Gruppen zusammenspannen und Versuche gemeinsam durchführen können. Ebenso wären die Daten aus Tierversuchen einfacher zugänglich und könnten so von anderen Forschenden und erbsenzählenden Biostatistikern wie mir besser weiterverwendet und ausgewertet werden.

In den Niederlanden mehren sich deshalb die Stimmen, die eine obligatorische Präregistrierung von Tierversuchen fordern. Das niederländische Parlament hat 2018 eine entsprechende Motion überwiesen [5] und auch bei wissenschaftlichen Organisationen und Geldgebern ist die Problematik laut van der Naald et al. (2020) mittlerweile angekommen.

Die Schweiz hätte optimale Ausgangsbedingungen, sich hier ebenfalls als Vorreiterin zu positionieren – und zwar ohne zusätzliche Bürokratie. De facto kennt die Schweiz nämlich bereits eine Präregistrierungspflicht: Alle Tierversuche müssen von den kantonalen Behörden bewilligt werden, die entsprechenden Anträge enthalten detaillierte Beschreibungen der geplanten Versuchsanordnungen und die Forschenden sind verpflichtet, über die Ergebnisse ihrer Versuche Bericht zu erstatten. Viele rechtliche und organisatorische Voraussetzungen für eine schweizweite Präregistrierung wären also bereits vorhanden. Wieso diese Voraussetzungen nicht als Grundlage nehmen, um in der Schweiz die Präregistrierung von Tierversuchen voranzutreiben und mehr biomedizinische Forschungsergebnisse öffentlich zugänglich zu machen?

Relevante Interessenbindungen

Ich arbeite als Biostatistiker am Institut für Mathematik der Universität Zürich und forsche zur Reproduzierbarkeit von Tierversuchen. Ich bin Mitglied der Tierversuchskommission des Kantons Zürich. Ich bin Vorstandsmitglied von «reatch - research and technology in switzerland» und der «Basel Declaration Society». Ich bin Mitglied der Schweizerischen Gesellschaft für Versuchstierkunde.

Referenzen

[0] Grüninger, Servan L. (25. März 2016), Der P(roblem)-Wert, Neue Zürcher Zeitung (https://www.servangrueninger.ch/blogcomplete/der-problem-wert, abgerufen am 19. Oktober 2020).

[1] Grüninger, Servan L. (2019), Weight of Statistical Evidence, EPFL Master Thesis (Grüninger, Servan L. (2019), Weight of Statistical Evidence, EPFL Master Thesis, abgerufen am 19. Oktober 2020).

[2] van der Naald M, Wenker S, Doevendans PA, et al. (2020). Publication rate in preclinical research: a plea for preregistration, BMJ Open Science (https://openscience.bmj.com/content/4/1/e100051, abgerufen am 19. Oktober 2020).

[3] https://preclinicaltrials.eu (abgerufen am 19. Oktober 2020).

[4] https://www.animalstudyregistry.org (abgerufen am 19. Oktober 2020).

[5] 32336, nr. 78 - Motie De Groot c.s. over het registreren van alle individuele dierproeven - Dierproeven (https://www.parlementairemonitor.nl/9353000/1/j9vvij5epmj1ey0/vkplj72d0hzz, aberufen am 19. Oktober 2020).