Harald J. Hamre, Klaus von Ammon, Anja Glockmann, Helmut Kiene

20.02.2024

--> PDF
 

Im Oktober 2023 publizierten wir ein systematisches Review (SR) zu Meta-Analysen von Placebo-kontrollierten randomisierten Homöopathiestudien für jegliche Indikation [1]. Das Ergebnis zeigte eine positive Gesamtevidenz für Wirksamkeit der Homöopathie über Placebo hinaus. 

Bei der offenen Begutachtung in der renommierten Fachzeitschrift Systematic Reviews wurde kommentiert: „This is an extremely detailed and well written systematic review of meta-analyses of trials in homeopathy“ (ReviewerReport_V0_R2) und “The author's research is rigorous and has strong data analysis skills” (ReviewerReport_V0_R1). Die Gutachter hatten in Hinblick auf die Haupt-Aspekte des Reviews (Objective, Design, Execution, Statistics, Interpretation, Overall manuscript potential) keinen einzigen Einwand, wir mussten lediglich Texte aus dem Hauptdokument in Additional Files verschieben.

Das Informationsnetzwerk Homöopathie (INH) versucht nun, polemische Kritik gegen das SR vorzubringen („Quark“, „Heuhaufen“, „Daten-Sibirsk“, „Nebel“, „Strafkolonie“, „Rosinenpicken“ u.v.m.) [2]. Jeder der fünf vorgebrachten Kritikpunkte beruht aber auf Unkenntnis bzw. Fehleinschätzung der Methodik unseres SRs:

1. „Rosinenpicken“ beim Einschluss der Meta-Analysen? – Falsch

Systematische Reviews (SR) sollen eine Datensynthese enthalten. Für SRs zu klinischen Studien ohne Meta-Analysen werden die Ergebnisse der einzelnen Studien tabellarisch zusammengestellt, die Datensynthese lautet etwa „X von Y Studien zeigten eine signifikante Überlegenheit von A im Vergleich zu B“. Für SRs mit Meta-Analysen gibt es außerdem eine zusammenfassende Effektschätzung. Diese ist aussagekräftiger als „X von Y“, weil Fallzahl, Effektgröße und Streuung der Einzelstudien berücksichtigt werden.

Unsere erste Forschungsfrage ([1], Seite 2) war: Hat Homöopathie positive Effekte über Placebo hinaus? Für diese Fragestellung sind zusammenfassende Effektschätzungen von Placebo-kontrollierten randomisierten Studien die sicherste Grundlage. Wir haben uns deshalb auf diesbezügliche Meta-Analysen beschränkt. INH versucht zu kritisieren, dass wir fünf andere systematische Reviews [3] nicht aufgenommen haben; dies sei „Rosinenpicken“ und werde „nicht erläutert“. Das ist falsch: Von diesen fünf SRs sind drei ([4-6]) keine Meta-Analysen und zwei SRs mit Meta-Analysen betreffen nur Studien ohne Placebo-Kontrollgruppen ([7, 8]). Daher erfüllten diese fünf SRs unsere Aufnahmekriterien nicht (vgl. [1] Tabelle 1), was INH anscheinend nicht versteht. 

2. „Multiplikationsergebnis“ bei den Analysen? – Falsch

INH glaubt irrtümlich, wir hätten eine neue zusammenfassende Effektschätzung der Studien der sechs Meta-Analysen mit „[Auswertung der] Einzelstudien“ durchgeführt und fantasiert von einem „schwerwiegenden methodischen Fehler“ mit einem „Multiplikationsergebnis“, was es aber nicht gab:

Unser SR zu den 6 Meta-Analysen enthält keine Meta-Analyse, wir haben keine neuen zusammenfassenden Effektschätzungen vorgenommen, sondern die Ergebnisse der einzelnen Meta-Analysen tabellarisch zusammengestellt. Dementsprechend lautete unsere Datensynthese, analog zu Pkt. 1, „X von Y Meta-Analysen zeigten eine signifikante Überlegenheit von Homöopathie im Vergleich zu Placebo“. Bei Einbezug aller Studien in jeder Meta-Analyse waren es 5 von 5 Meta-Analysen, bei Beschränkung auf Studien von höherer methodischer Qualität waren es 3 von 4 Meta-Analysen. Die Methodik besteht aus Klassifizierung (Überlegenheit ja/nein + Signifikanz ja/nein), Addition („X“) und Division („von Y“). 

3. „Enthält [das systematische Review] nichts Neues“? – Doch, ganz viel

INH meint fälschlicherweise, unser SR „enthält nichts Neues, sondern es werden lediglich schon längst abgehakte Untersuchungen wiedergekäut.“ Dies ist jedoch die überhaupt erste Zusammenschau der 6 Meta-Analysen mit Kriterien-basierter Bewertung in einem SR nach heutigen Standards:

• Inhalt und Struktur eines SR sind durch den PRISMA-Standard (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) vorgegeben. Unser vorab registriertes (PROSPERO CRD209661) Analyseprotokoll [9] richtet sich nach dem PRISMA-P-Standard [10], mit Registrierung in PROSPERO. Die PRISMA-2020-Checkliste [11] listet 28 Themen mit 42 Detailpunkten auf, die in der Publikation unseres SR [1] der Reihe nach behandelt werden.
• Zu einem SR gehört eine Bewertung der methodischen Qualität bzw. des Verzerrungsrisikos der eingeschlossenen Primärarbeiten (hier der sechs Meta-Analysen). Hierfür haben wir ROBIS (Risk Of Bias In Systematic reviews) mit 29 Bewertungen [12] verwendet, ergänzt durch drei Bewertungen aus AMSTAR-2 (A MeaSurement Tool to Assess systematic Reviews [13]). Ergebnisse sind in Tabelle 10 (ROBIS) und Tabelle 11 (AMSTAR) zusammengefasst; detaillierte Begründungen für die ROBIS-Bewertungen im Additional File 1.
• Ein zentraler Bestandteil eines kompletten SR ist die Bewertung der Qualität der Gesamtevidenz (nach GRADE, mehr dazu unter Pkt. 4 unten).
• Es wird heute empfohlen (PRISMA, Pkt. 27), alle erhobenen Daten zu veröffentlichen, damit nichts den Lesern vorenthalten wird und kundige Leser sehen können, worauf die Analysen und Schlussfolgerungen beruhen [14]. Dem sind wir nachgekommen.

INH scheint diese Standards nicht zu kennen und zu verstehen. Man vermisst eine Darstellung „wofür diese Erhebungen relevant sein sollen, oder was man damit belegen will.“ Daher sei die Lektüre der langen Arbeit „Arbeit für eine Strafkolonie“. Die Länge ergibt sich aus der Befolgung der genannten Standards und ist für SRs und die hierauf spezialisierte Zeitschrift Systematic Reviews nicht unüblich. 

4. „Fehlt… ein critical appraisal“? Nein, keineswegs

INH bemängelt das vermeintliche Fehlen „eine[r] kritische[n] Bewertung der gefundenen Ergebnisse, ein critical appraisal, wie Cochrane das nennt, das Kernelement zusammenfassender Betrachtungen.“

Falsch: Diese Bewertung („Confidence in cumulative evidence“ genannt) wird in unserem SR auf S. 20 kurz referiert und in Additional File 3 detailliert dargestellt. Für solche Bewertungen sind die Empfehlungen der GRADE-Gruppe (Grading of Recommendations Assessment, Development and Evaluation) maßgebend [15]. Von den mittlerweile über 20 Publikationen der GRADE-Gruppe waren für unsere o.g. Fragestellung sechs Publikationen zu je einem Thema im Fokus: Risk of bias of individual trials [16], Inconsistency/heterogeneity [17], Risk of publication bias/small study bias [18], Imprecision [19], Indirectness [20] und Occasions for rating up the quality of evidence [21].

5. Sind Kommentare der Autoren der Meta-Analysen über Studienqualität relevant? Nein

Beim Thema Risk of bias of individual trials, also Verzerrungsrisiko bzw. umgekehrt ausgedrückt: methodische Qualität der Studien, verrät das INH einen Mangel an Kenntnissen. Das INH glaubt, für eine solche Bewertung wären die Kommentare der Autoren der zu bewertenden Arbeiten (hier: der Meta-Analysen) über die Studienqualität relevant, und bemängelt die „durchweg hervorgehobene schlechte Qualität der Studien“. 

Jedoch sind zusammenfassenden Kommentare der Autoren der jeweiligen Meta-Analysen zur Studienqualität subjektiv, Kontext-abhängig und hier nicht relevant, weil es zuverlässigeres Material gibt:

Wichtig ist die technische Erhebung der Studienqualität (u.a. wie viele und welche Kriterien? vgl. [1] Tabelle 5) und ihre Einstufung (Tabelle 8) durch die Autoren der jeweiligen Meta-Analyse. Hinzu kommen die Effektschätzungen bei den jeweiligen Untergruppen von Studien mit höherer Qualität (Pkt. 2), einschließlich Effektgrößen, Signifikanz und statistischen Streuungen. Alle diese Daten sind sodann in unsere Bewertung der Qualität der Gesamtevidenz (Pkt. 4) mit eingeflossen. 

Um diese Qualitätsbewertungen im Kontext der gegenwärtigen klinischen Forschung einzuordnen, können sie mit Bewertungen anderer Studien oder Reviews verglichen werden, sofern die Bewertungen anhand derselben Instrumente vorgenommen wurden. Bei solchen Vergleichen von methodischer Studienqualität ([1] S. 13) bzw. Qualität der Gesamtevidenz ([1] S. 22) hat die Homöopathie teils ähnlich, teils besser abgeschnitten. 

Schlussfolgerung

Das INH, ein „Zusammenschluss von über 60 Experten“, will über „wissenschaftlich belegten Fakten“ informieren [22]. Bezüglich der Methodik von Meta-Analysen und SRs hierzu verrät jedoch das INH wiederholt mangelhafte bis fehlende Kenntnisse. Der INH-Text bleibt (mit Shakespeare) “full of sound and fury — signifying nothing”. 

Diese traurige Bilanz kommt nicht ganz überraschend: Bei einem SR zu Homöopathie mit einer INH-Sprecherin als Letztautorin [23] gab es keine formulierte Forschungsfrage, kein verfügbares Analyseprotokoll, keine sichtliche Orientierung an PRISMA, keine Datensynthese und keine Kriterien-basierte Bewertung der Qualität der Gesamtevidenz. — Gemessen an diesen Texten scheint das Informationsnetzwerk Homöopathie unfähig, zuverlässige wissenschaftsbasierte Informationen über Homöopathie zu liefern.

Referenzen

1. Hamre HJ, Glockmann A, von Ammon K, Riley DS, Kiene H. Efficacy of homeopathic treatment: Systematic review of meta-analyses of randomised placebo-controlled homeopathy trials for any indication. Syst Rev. 2023;12:191. https://doi.org/10.1186/s13643-023-02313-2.
2. Im Datennebel – ein neuer Review zur Homöopathie. Informationsnetzwerk Homöopathie [Internet]. 2024. Available from: https://netzwerk-homoeopathie.info/im-datennebel-ein-neuer-review-zur-homoeopathie/.
3. Systematische Reviews zur Homöopathie - Übersicht. Homöopedia, Informationsnetzwerk Homöopathie [Internet]. 2019 06.02.2024. Available from: https://www.xn--homopedia-27a.eu/index.php?title=Artikel:Systematische_Reviews_zur_Hom%C3%B6opathie_-_%C3%9Cbersicht.
4. Kleijnen J, Knipschild P, ter Riet G. Clinical trials of homoeopathy. BMJ. 1991;302(6772):316-23. https://doi.org/10.1136/bmj.302.6772.316.
5. NHMRC Information Paper: Evidence on the effectiveness of homeopathy for treating health conditions. Canberra: National Health and Medical Research Council; 2015.  Contract No.: CAM02A.
6. Antonelli M, Donelli D. Reinterpreting homoeopathy in the light of placebo effects to manage patients who seek homoeopathic care: A systematic review. Health & social care in the community. 2019;27(4):824-47. https://doi.org/10.1111/hsc.12681.
7. Mathie RT, Ulbrich-Zürni S, Viksveen P, Roberts ER, Baitson ES, Legg LA, Davidson JRT. Systematic review and meta-analysis of randomised, other-than-placebo controlled, trials of individualised homeopathic treatment. Homeopathy. 2018;107(04):229-43. https://doi.org/10.1055/s-0038-1667129.
8. Mathie RT, Fok YYY, Viksveen P, To AKL, Davidson JRT. Systematic review and meta-analysis of randomised, other-than-placebo controlled, trials of non-individualised homeopathic treatment. Homeopathy. 2019;108(2):88-101. https://doi.org/10.1055/s-0038-1677481.
9. Hamre HJ, Glockmann A, von Ammon K, Riley DS, Kienle GS, Kiene H. Efficacy of homeopathic treatment: Systematic review of meta-analyses of randomised placebo-controlled homeopathy trials for any indication (SMAP-HOM). Protocol. Freiburg: Institute for Applied Epistemology and Medical Methodology at the Witten/Herdecke University (IFAEMM), Freiburg, Germany; 2020. Available from: https://www.ifaemm.de/wp-content/uploads/go-x/u/05713cbb-ad71-4504-9a67-5e184c858b60/SMAP-HOM_Protocol_2020_11_25.pdf.
10. Moher D, Shamseer L, Clarke M, Ghersi D, Liberati A, Petticrew M, et al. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Syst Rev. 2015;4. https://doi.org/10.1186/2046-4053-4-1.
11. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021;372:n71. https://doi.org/10.1136/bmj.n71.
12. Whiting P, Savovic J, Higgins JP, Caldwell DM, Reeves BC, Shea B, et al. ROBIS: A new tool to assess risk of bias in systematic reviews was developed. J Clin Epidemiol. 2016;69:225-34. https://doi.org/10.1016/j.jclinepi.2015.06.005.
13. Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;358:j4008. http://dx.doi.org/10.1136/bmj.j4008.
14. Page MJ, Moher D, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews. BMJ. 2021;372:n160. https://doi.org/10.1136/bmj.n160.
15. Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J, et al. GRADE guidelines: 1. Introduction - GRADE evidence profiles and summary of findings tables. J Clin Epidemiol. 2011;64(4):383-94. https://doi.org/10.1016/j.jclinepi.2010.04.026.
16. Guyatt GH, Oxman AD, Vist G, Kunz R, Brozek J, Alonso-Coello P, et al. GRADE guidelines: 4. Rating the quality of evidence - study limitations (risk of bias). J Clin Epidemiol. 2011;64(4):407-15. https://doi.org/10.1016/j.jclinepi.2010.07.017.
17. Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, et al. GRADE guidelines: 7. Rating the quality of evidence - inconsistency. J Clin Epidemiol. 2011;64(12):1294-302. https://doi.org/10.1016/j.jclinepi.2011.03.017.
18. Guyatt GH, Oxman AD, Montori V, Vist G, Kunz R, Brozek J, et al. GRADE guidelines: 5. Rating the quality of evidence - publication bias. J Clin Epidemiol. 2011;64(12):1277-82. https://doi.org/10.1016/j.jclinepi.2011.01.011.
19. Guyatt GH, Oxman AD, Kunz R, Brozek J, Alonso-Coello P, Rind D, et al. GRADE guidelines: 6. Rating the quality of evidence - imprecision. J Clin Epidemiol. 2011;64(12):1283-93. https://doi.org/10.1016/j.jclinepi.2011.01.012.
20. Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, et al. GRADE guidelines: 8. Rating the quality of evidence - indirectness. J Clin Epidemiol. 2011;64(12):1303-10. https://doi.org/10.1016/j.jclinepi.2011.04.014.
21. Guyatt GH, Oxman AD, Sultan S, Glasziou P, Akl EA, Alonso-Coello P, et al. GRADE guidelines: 9. Rating up the quality of evidence. J Clin Epidemiol. 2011;64(12):1311-6. https://doi.org/10.1016/j.jclinepi.2011.06.004.
22. Hübner J, Aust N, Lübbers CW, Endruscheit U. Über uns – wer wir sind, was wir anstreben. Informationsnetzwerk Homöopathie [Internet]. 2024 12.2.2024. Available from: https://netzwerk-homoeopathie.info/wer-wir-sind-was-wir-wollen-warum-wir-da-sind/.
23. Wagenknecht A, Dörfler J, Freuding M, Josfeld L, Hübner J. Homeopathy effects in patients during oncological treatment: a systematic review. J Cancer Res Clin Oncol. 2022. https://doi.org/10.1007/s00432-022-04054-6.