Im ersten Teil dieser Reihe haben wir uns damit befasst, wie sich die wissenschaftliche Methode seit den Anfängen der modernen Wissenschaft entwickelt hat, und was wissenschaftlicher Konsens eigentlich bedeutet: Dass die schonungslose Kritik an bisheriger Erkenntnis Teil des wissenschaftlichen Arbeitens ist, und dass die Wissenschaft sich dadurch automatisch ständig korrigiert und verbessert. In diesem Teil wollte ich nun darüber schreiben, wie oft durch das Berufen auf vorgeblich wissenschaftliche Fakten versucht wird, Desinformation zu verbreiten. Während ich noch auf der Suche nach einem anschaulichen Beispiel war, lieferten die aktuellen Nachrichten prompt eines auf dem Silbertablett. Wir betrachten also heute anhand eines Fallbeispiels, wie auch leider oft die Medien spektakulär klingende “Wissenschafts”-News verbreiten, obwohl beim näheren Hinsehen nur heiße Luft dahinter steckt. Außerdem untersuchen wir, ob ein “NASA-Wissenschaftler den Warpantrieb erfunden hat”.

Für Laien ist es oftmals schwierig, die Aussagekraft einer Studie einzuschätzen, vor allem, wenn es an die fachlichen Aspekte geht. Studien sind eben für Fachpublikum gemacht, und das Problem ist ja, dass es in der öffentlichen Diskussion in den sozialen Netzwerken die oft zitierte Schwarmintelligenz von 80 Millionen Expertisen zu jedem passenden Thema findet – von Virologie über Wirtschaft bis hin zum Fußball. Die Verwirrung und fruchtlosen Diskussionen mit oftmals gefährlichem Halbwissen kennen wir sicher alle zu gut.

Dem Journalismus, besonders dem Fachjournalismus, wenn es um wissenschaftliche Publikationen geht, kommt also eine besondere Rolle zu: Kommunikation. Die schwerfällige, komplexe Fachsprache zu übersetzen, zu erklären, Hintergrundwissen nachzuliefern, wo dieses benötigt wird. Eine Publikation im Kontext einzuordnen, Reaktionen aus der Fachwelt wiederzugeben und dem Publikum die Sachlage greifbar, verständlich zu machen.

Kommen wir zu dem anfangs erwähnten Beispiel: Eine Publikation, die von manchen Medien unkommentiert weitergegeben, von manchen leicht relativiert und von anderen konsequent als das bezeichnet wird, was sie ist: ein quasi Lehrbuchbeispiel an unwissenschaftlichem Arbeiten, das man auch als solches erkennen kann, wenn man von der Materie an sich keine Ahnung hat.

Die “JHU-Studie” zur Wirksamkeit von Lockdowns

Anfang Februar 2022 veröffentlichen Ökonomen der Johns-Hopkins-Universität eine Studie, nach der Lockdowns in der Pandemie kaum Auswirkung gehabt hätten. Wie man sicherlich vermuten kann, stieß diese Meldung in Kreisen von Kritikern der Maßnahmen bis hin zu verschwörungsgläubigen Personen auf entsprechende Begeisterung. Eine renommierte Universität, die in der Pandemie besonders durch ihr Covid-19 Dashboard des Centers for Systems Science and Engineering (CSSE) bekannt geworden ist – also auch gefühlt eine Instanz, wenn es um Daten rund um die Pandemie geht, veröffentlicht eine Studie, die das bestätigt, was sie schon immer geglaubt haben: Lockdowns waren wirkungslos, man hat es ja schon immer gewusst.

Waren sie das wirklich? Was müssen wir wissen, um das beurteilen zu können, um die Studie einordnen zu können? Erinnern wir uns an den ersten Artikel dieser Serie und fangen wir einmal an:

• Was hat die Studie genau untersucht?
• Welche Daten liegen zugrunde?
• Wer hat diese Studie publiziert?
• In welchem Journal ist sie erschienen und ist sie bereits einem Peer-Review unterzogen worden?
• Gibt es bereits Reaktionen aus der Fachwelt? Einschätzungen? Kritik?

Wenn man sich die Publikation näher anschaut, kann man zu diesen Fragen zusammenfassend sagen:

Die Wissenschaftler haben eine sogenannte Meta-Analyse durchgeführt. Sie haben also existierende Studien zu einem Thema begutachtet und die Ergebnisse zusammengefasst und ausgewertet. Zunächst eine sinnvolle Herangehensweise an eine solche Fragestellung. Aber dann wird es seltsam, wenn man sich die Auswahl der Studien anschaut: Aus über 18.000 Studien wählten sie letztenendes lediglich 24 aus, die dann auch noch unterschiedlich gewichtet wurden. Manche von ihnen gingen mit dem Faktor 3 in die Auswertung ein, andere mit einem Faktor über 100 – und zwar besonders die Einzelstudien, nach denen die Wirksamkeit von Lockdowns eher fraglich war. Studien, die nicht von Sozialwissenschaftlern verfasst wurden, gingen grundsätzlich mit einer niedrigen Gewichtung ein, egal wie methodisch gut die Studien selbst waren. Es wurde also auf eine schon fast bizarre Weise ausgesiebt, was letztendlich untersucht wurde.

Diese Daten, die dann mit den ausgewählten Studien zugrunde lagen, betrafen dann am Ende fast nur den Anfang der Pandemie. Die Studie benutzt zudem den Covid-Stringency-Index der Universität Oxford, eine zwar sehr umfassende Datenbasis, die aber nicht ohne methodische Probleme ist, mit denen man wissen muss, umzugehen. Wir haben also bisher eine sehr einseitige Datenauswahl und problematischen Index. Schaut man sich dann an, wie diese Daten weiterverarbeitet und ausgewertet werden, findet man dazu die Aussage der Biostatistikerin Sabine Hoffmann, derzeit Professorin an der LMU München, die vor allem kritisiert, dass fast ausschließlich Studien ausgewählt wurden, die Berechnungen anstellen, die für Infektionskrankheiten nicht geeignet seien.

Außerdem ist ein weiterer Punkt der Studie ungewöhnlich: Sie bewertet die Wirksamkeit der Lockdown-Maßnahmen anhand der Todesfälle. Diese zu verhindern war allerdings nie primäres Ziel der Maßnahmen. Es ging um die Überlastung des Gesundheitssystems. Studien, die sehr gut zeigten, dass das wunderbar funktioniert hat, wurden gar nicht erst betrachtet, weil sie über die Todesfälle keine Aussage trafen.

Dann zu der Punkten, wer diese Studie wo publiziert hat: Jonas Herby, Lars Jonung und Steve Hanke sind Wirtschaftswissenschaftler. Herby ist Sonderberater am Zentrum für politische Studien in Kopenhagen, Jonung emeritierter Professor für Wirtschaftswissenschaften an der Universität Lund in Schweden und Hanke Professor für Angewandte Wirtschaftswissenschaften an der US-amerikanischen Johns-Hopkins-Universität. Die Studie erschien in keinem Journal, sondern wurde von Professor Steve Hanke auf der Webseite seines eigenen Instituts privat veröffentlicht.

Bei den aufmerksam Mitlesenden dürfte jetzt die Frage nach dem Peer-Review auftauchen. Welchem Peer-Review? Wir erinnern uns an diese immens wichtige Instanz der Qualitätssicherung in der Wissenschaft, die zwar nicht für Richtigkeit garantiert, aber zumindest den “groben Unfug” aussortiert. Eben dieser Review findet natürlich nicht statt, wenn man auf seiner eigenen Webseite publiziert. Schaut man dann noch einmal auf die ausgewählten Studien, fällt auf, dass von diesen einige ebenfalls noch keinem Peer-Review unterzogen wurden. Die Datenbasis selbst ist also auch noch keiner Prüfung unterzogen worden, auch hier haben wir ein großes Fragezeichen. Spätestens hier sollte man die Ergebnisse nur noch mit äußerster Vorsicht genießen.

Schaut man dann noch auf die Historie einer der Autoren, so fällt auf, dass dieser bereits in der Vergangenheit die Coronamaßnahmen mit dem Faschismus verglichen hatte. Dies alles in den Kontext gesetzt lässt also zusätzlich eine Befangenheit mindestens einer der Autoren erkennen.

Die Medien

Diese Umstände, die man zum großen alleine durch eine Betrachtung der Studie ohne tiefergehenden Fachkenntnisse hätte erkennen können, führten zum Glück auch bei einer ganzen Reihe von Redaktionen zu entsprechenden Artikeln. So schreibt der BR beispielsweise:

Andreas Peichl, Professor für Volkswirtschaftslehre an der LMU München hält die Arbeit für nicht nachvollziehbar: “Einen viel größeren methodischen Quatsch kann man nicht machen”, sagt Peichl im Gespräch mit dem Bayerischen Rundfunk. “Eine Bachelorarbeit hätte man mit der Studie nicht bestanden.” Der Leiter des ifo Zentrums für Makroökonomik und Befragungen wirft den Autoren vor, dass das Studienergebnis bereits von vorneherein festgestanden habe. “Die Studie wurde passend dazu gemacht.”

Auch beim ZDF und Deutschlandfunk findet man klare Worte, was sehr zu begrüßen ist. Andere Medien, wie SWR3 dasding gaben die Ergebnisse unkommentiert und unreflektiert wieder. Manche Tabloid-Presse im Ausland gibt der Meldung sogar noch ordentlich Schwung: “Johns Hopkins professor blasts his OWN college and the mainstream media […]”. Hilfreich ist dies sicherlich nicht, aber auch nicht anders zu erwarten. Hier ist Medienkompetenz gefragt, man muss sich mit den verschiedenen Medien auseinandersetzen, vergleichen, was sie schreiben, auf wen sie sich berufen, wen sie fragen. Und wie reißerisch oder wie sachlich wird das Ganze präsentiert?

Fazit

Wir haben also eine diffuse Studie eines zweifelhaften Autors mit offensichtlichen, bekannten Fehlern, die vollkommen ungeprüft privat veröffentlicht wurde. Wir haben deutliche Kritik von Expertinnen und Experten aus relevanten Fachbereichen.

Zudem haben wir eine Anzahl von wirklich qualitativ guten Studien, die diese Frage auch untersucht haben, beispielsweise diese hier:

Effectiveness of non-pharmaceutical public health interventions against COVID-19: A systematic review and meta-analysis: https://pubmed.ncbi.nlm.nih.gov/34813628/

Effectiveness of public health measures in reducing the incidence of covid-19, SARS-CoV-2 transmission, and covid-19 mortality: systematic review and meta-analysis: https://www.bmj.com/content/375/bmj-2021-068302

Systematic review of empirical studies comparing the effectiveness of non-pharmaceutical interventions against COVID-19: https://pubmed.ncbi.nlm.nih.gov/34161818/

Weitere Meta-Analysen und Reviews kann man gerne mit Spannung erwarten, und diese werden sicherlich auch noch folgen. Diese spezielle Publikation von Hanke et. al. sollte man allerdings wirklich ignorieren. Es gibt eben gewisse Grundsätze, die für die Qualität von wissenschaftlichen Erkenntnissen sorgen, und diese kommen nicht von ungefähr, sondern aus den ganzen Jahrhunderten seit den ersten Publikationen der Royal Society und des Journal des Sçavans bis heute. Diese Grundsätze haben dafür gesorgt, dass die Menschheit sich technisch und wissenschaftlich bis zum heutigen Punkt weiterentwickeln konnte. Man tut gut daran, sie nicht zu missachten.

Bahnbrechende Erfindungen und Pseudowissenschaft

Ein anderes passendes Beispiel, was zufällig dieser Tage die Runde macht, ist die “unglaubliche” Meldung, dass ein “NASA-Wissenschaftler” den Warp-Antrieb erfunden habe, also überlichtschnelles Reisen damit möglich geworden wäre. Das ist natürlich eine ordentliche Behauptung, aber was steckt genau dahinter?

Zunächst handelt es sich genauergesagt um einen ehemaligen NASA-Ingenieur, der diese Behauptung aufgestellt hat. Es ist Harold “Sonny” White, der bereits in der Vergangenheit mit spektakulären, jedoch unbelegten Behauptungen von sich hat reden machen, die später widerlegt wurden.

Das “Debunking” dieses Artikels ist ungleich komplexer als die Studienbetrachtung des ersten Beispiels, und würde den Rahmen hier sprengen, daher hier ein Link zu einem detaillierten Artikel des Astrophysikers Erich Siegel, der alles auch relativ verständlich und anschaulich erklärt.

Die Hauptbotschaft, die man aus dieser Anekdote definitiv mitnehmen sollte, ist die, dass echte, bahnbrechende wissenschaftliche Erkenntnisse nicht unbedingt auf Seiten von Kaffeefabrikanten publiziert werden.

…und noch eine Studie

…und ein weiteres unterhaltsames Beispiel, das zeigt, wie wichtig wissenschaftliche Grundsätze und Methodik sind, um eben zu verhindern, dass man sich seine eigenen Studien zu den gewünschten Erkenntnissen baut.

Im Rahmen der Verleihung des goldenen Aluhut 2021 führten die Gesellschaft zur wissenschaftlichen Untersuchung von Parawissenschaften (GWUP) und das Informationsnetzwerk Homöopathie (INH) eine coronabedingt an unser Showprogram angeschlossene Preisverleihung durch. Aufgabenstellung war die Analyse einer Studie, die die Wirksamkeit von Homöpathie bei Schlafstörungen zeigen soll. Hier zum entspannten Abschluss für euch die Präsentation des ersten Preises durch den Gewinner selbst, David Ghasemi.

Für dich zum Speichern und Teilen:

Zum ersten Teil dieser Artikelreihe

Dir hat der Artikel gefallen?
Zur Durchführung von „The Facts Project“ erhalten wir keine Förderung oder Gelder aus öffentlichen Mitteln. Druckkosten, Honorare und Dienstleistungen der Medienschaffenden müssen mit den bestehenden Geldern der Organisation finanziert werden. Wir sind daher auf eure Spenden angewiesen.

„Der goldene Aluhut“ ist eine gemeinnützige Organisation.
Um uns zu unterstützen, und uns somit die Aufrechterhaltung unserer Arbeit zu ermöglichen, nutze bitte unser PayPal-Spendenkonto (oder sende deine Spende direkt an: spenden@dergoldenealuhut.de).

Spenden bis 200€ bedürfen keiner Spendenquittung. Bei Beträgen ab 200€ kontaktiert uns bitte für eine Spendenquittung.

Ihr könnt uns auch mit einer Steadymitgliedschaft unterstützen:
https://steadyhq.com/de/aluhut/

Für Steadymitgliedschaften können keine Spendenquittungen ausgestellt werden.