Menu

GBS Schweiz

  • de
  • en

Publication Bias: Ungeschick oder Absicht?

on März 3. 2013

Der Publication Bias liegt vor, wenn unliebsame oder uninteressante Studienergebnisse nicht veröffentlicht oder gar unter den Tisch gekehrt werden. Sowohl die Reviewer als auch die Leserschaft erliegen der Gefahr, falsche Schlüsse zu ziehen, weil nicht die Gesamtheit aller durchgeführten Studien öffentlich zugänglich ist. In manchen Fällen kann dies dramatische Folgen haben, wenn z.B. eine ineffektive oder gefährliche Behandlungsmethode fälschlicherweise gutgeheissen wird1.

Als Daryl Bems Studie zum Nachweis von Präkognition publiziert wurde, erstellte der Psychologe Richard Wisemen eine Datenbank. Diese diente dazu, Versuche zur Replikation der Studie im Voraus anzukündigen. Eine Datenbank für Replikationen schützt vor dem Publication Bias. Bisweilen sind mindestens fünf Versuchswiederholungen registriert, welche Bems Resultate allesamt nicht replizieren können. Dennoch lehnten es JPSP und andere Highend-Psychologie-Journals ab2, die Replikationen zu veröffentlichen, da blosse Replikationen uninteressant seien. Sie priorisieren neue Resultate, neue Studien.

Aus Sicht der Journals ergibt dieser Grundsatz durchaus Sinn: Kühne Behauptungen werden tendenziell öfter zitiert und erhöhen den Impact Factor des Journals (der von der Anzahl Zitierungen pro Artikel abhängt). Dies führt dazu, dass trotz hoher statistischer Signifikanz viele neue Befunde falsch sind. Folglich schaffen die grossen Journals den WissenschaftlerInnen Anreize, ihre Daten so zu zurechtzubiegen, dass sie falsche, aber bahnbrechende Resultate veröffentlichen können. Vernünftiger wäre es, wenn die Anreize in die umgekehrte Richtung gesetzt würden, so dass WissenschaftlerInnen falsche Behauptungen anfechten müssten. Der Publication Bias kann aber auch auf der Ebene der Studienautoren auftrete. Bei der Tendenz, dass Autoren aufgrund negativer oder uneindeutiger Ergebnisse ihre Studie gar nicht erst zu veröffentlichen versuchen, spricht man vom „File Drawer Problem„.

Der Publication Bias kann auch mit Absicht erfolgen. Der Fall des entzündungshemmenden Schmerzmedikaments Rofecoxib (Vioxx) ist einer der schwerwiegendsten Fälle: Das Arzneimittel wurde 80 Millionen PatientInnen verschrieben. Später wurde bekannt, dass der Produzent Merck der Öffentlichkeit Studien zu Risiken des Wirkstoffes vorenthalten hatte. Merck war in der Folge gezwungen, das Medikament zurückzuziehen – es hatte allerdings bereits zwischen 88’000 und 144’000 Fälle schwerwiegender Herz-Kreislauferkrankungen verursacht. Ein aktuelles Beispiel in diesem Zusammenhang liefert auch das Grippemedikament Tamiflu.

Im Rahmen einer Metaanalyse lässt sich mit dem statistischen Tool „Funnel Plot“ der Verdacht auf einen Publication Bias überprüfen. Dabei untersucht man die Streuung von Studienergebnissen. Es wird angenommen, dass sich grössere und damit genauere Studien näher um den Mittelwert scharen als kleinere. Eine Abweichung von diesem Muster kann auf unveröffentliche Resultate und somit auf den Bias hinweisen.

Ein für Journals effektiver Weg, den Publication Bias zu vermeiden, besteht darin, nur Experimente anzunehmen, welche vor Experimentbeginn in einer öffentlichen Datenbank registriert wurden. So wird ersichtlich, welche Experimente durchgeführt, aber nicht veröffentlicht wurden. Ein entscheidendes Kriterium stellt dabei die Bestimmung des primären Endpunktes der Studie dar, da andernfalls bei registrierten Studien ohne Endpunktdefinition die untersuchte Hypothese den Resultaten angepasst werden könnte. Mehrere wichtige medizinische Journals – The Lancet, New England Journal of Medicine, Annals of Internal Medicine, and JAMA machten 2004 eine entsprechende Ankündigung – gehen nach diesem Prinzip vor. Leider wird die Anforderung einer korrekten Registrierung von vielen grossen Journals nach wie vor nicht durchgesetzt.

Aus dem Englischen von Michael Moor. Originalartikel auf lesswrong.com

Referenzen:

1. Shulman Carl (2011): Follow-up on ESP study: „We don’t publish replications“
2. Wilson Andrew (2011): Failing to Replicate Bem’s Ability to Get Published in a Major Journal
3. Rothstein et al. (2005): Publication Bias in Meta-Analysis: Prevention, Assessment and Adjustments