Gibt es irgendeine Forschung/Studie/Umfrage/…, die versucht hat, abzuschätzen, wie viele Paper-Abstracts medizinische Forscher lesen, wenn sie ein klinisches systematisches Review erstellen?
Auch wenn dies nur eine Teilantwort sein wird, könnte es helfen, “den Prozess der Erstellung systematischer Übersichten besser zu verstehen”, wie in den Kommentaren angegeben.
Eine offensichtliche Antwort, die man hier geben kann, ist: Es müssen alle Abstracts gelesen werden, wenn die Papers im Rahmen der (Re-)Suchstrategie für die Literatur “positiv” auftauchen. Schließlich müssen sie für den Einschluss oder Ausschluss bewertet werden.
Wenn die ursprüngliche Frage nach der durchschnittlichen Anzahl der tatsächlich verwendeten Studien, also einer harten Anzahl von in den Review eingeschlossenen Papers, fragen soll, dann lautet die Antwort ganz anders:
Aus Terri Pigott: Advances in Meta-Analysis, Springer, 2012:
Eine weitere häufige Frage ist: Wie viele Studien brauche ich für eine Meta-Analyse? Obwohl meine Kollegen und ich oft mit “zwei” geantwortet haben Valentine et al. 2010 ), liegt die vollständigere Antwort im Verständnis der Macht der statistischen Tests in der Meta-Analyse. Ich vertrete in diesem Buch den Ansatz, dass die Mächtigkeit von Tests in Meta-Analysen wie die Mächtigkeit jedes statistischen Tests a priori berechnet werden muss, unter Verwendung von Annahmen über die Größe eines wichtigen Effekts in einem gegebenen Kontext und die typischen Stichprobengrößen, die in einem gegebenen Feld verwendet werden. Auch hier ist eine tiefe inhaltliche Kenntnis der Forschungsliteratur für einen Gutachter entscheidend, um vernünftige Annahmen über die für die Power benötigten Parameter treffen zu können.
Es hängt also davon ab, wie gut untersucht und erforscht ein Feld oder eine Forschungsfrage ist, aus der die begutachteten Arbeiten ausgewählt werden. Bei hochaktuellen Themen, die kontrovers diskutiert werden, werden Hunderte oder Tausende zur Auswahl stehen, bei Nischeninteressen und unrentablen Gebieten vielleicht nur einige wenige. Eine Statistik über all diese Bereiche klinischer systematischer Reviews anzufordern, ist durchaus möglich. Aber eines der Probleme, die mit Meta-Analysen verbunden sind, ist das so genannte Garbage-in-Garbage-out-Problem: Ein solches Unterfangen - nicht nur zu schätzen, wie viele Paper-Abstracts medizinische Forscher bei der Erstellung einer klinischen systematischen Übersichtsarbeit lesen, sondern diese Zahl sogar genau zu berechnen - könnte in der Gefahr stehen, bedeutungslose Zahlen zu produzieren, die nur für Journalisten oder Politiker nützlich sind.
Ein Artikel, der genau eine solche Meta-Meta-Analyse liefert, listet eine solche Zahl, wie in der Frage gefordert, für das Teilgebiet der Psychologie auf: 51 (Bereich 5-81). (doi: 10.1080/0027317100368018 A Meta-Meta-Analysis: Empirische Überprüfung der statistischen Power, Typ-I-Fehlerraten, Effektgrößen und Modellauswahl von in der Psychologie veröffentlichten Meta-Analysen. ) Es zeigt aber auch sehr schön die Probleme auf, die mit einem solchen Ansatz verbunden sind:
- Effect Sizes and Heterogeneity in Meta-Analysis
- Model Choice: Fixed-Effects-Modelle wurden sehr viel häufiger verwendet als Random-Effects-Modelle, oft ohne dass dies explizit angegeben wurde. Auf der anderen Seite wurden Modelle mit zufälligen Effekten mit zunehmender Häufigkeit im Laufe der Zeit verwendet. Zukünftige Studien sollten Modelle mit zufälligen Effekten routinemäßiger implementieren, da sie vom Standpunkt der Inferenz aus gesehen eine größere Validität besitzen.
Schließlich ist es wichtig zu berücksichtigen, dass die Verwendung von Random-Effects-Modellen in den meisten Fällen die Power für Signifikanztests verringert (d.h. wenn die Varianz zwischen den Studien größer als Null ist).
Generell sollten wir uns vor blindem Vertrauen in Reviews oder Meta-Analysen im Allgemeinen hüten. Derzeit bemüht sich die Medizin, ihr Wissen auf einer evidenzbasierten Grundlage aufzubauen, was natürlich sehr zu begrüßen ist. Aber bei der Verfolgung dieses Ziels mit einer allzu zuversichtlichen Konzentration auf quantitative Daten und mathematische Modelle könnte ein Kind in der Badewanne zu Schaden kommen. Die Benennung, Verwendung oder der bloße Glaube an einen wie auch immer gearteten “Goldstandard” (oder verschiedentlich auch Platin) ist zu sehr auf der einen Seite des Extrems. Das stellt sich wie folgt dar:
Das größte Problem bei diesem Bild ist, dass “der Filter” ziemlich schlecht definiert ist und regelmäßig Studien mit höherer statistischer Aussagekraft oder größerer Signifikanz ausgewählt werden, um eingeschlossen zu werden. Das klingt zwar zunächst logisch, verstößt aber prinzipiell gegen philosophische Prinzipien wie Carnaps Prinzip der Totalevidenz “. Diese mechanistische Argumentation führt daher eine eigene Reihe von systematischen Verzerrungen ein.
Um einige dieser bekannten Gefahren, Fallstricke und Unzulänglichkeiten zu adressieren, ist das PRISMA-Statement eine Initiative , um zumindest die Ansätze zu standardisieren und die gewählte Vorgehensweise für diese Art von Analysen transparent zu dokumentieren.
Weitere erkenntnistheoretische Probleme werden in Stegenga: "Is meta-analysis the platinum standard of evidence?” (2011):
[…] meta-analyses fail to adquately constrain intersubjective assessments of hypotheses. Dies liegt daran, dass die zahlreichen Entscheidungen, die beim Design und der Durchführung einer Meta-Analyse getroffen werden müssen, persönliches Urteilsvermögen und Fachwissen erfordern und persönliche Voreingenommenheiten und Idiosynkrasien der Gutachter das Ergebnis der Meta-Analyse beeinflussen können. Das Versagen von Objektivität erklärt zumindest teilweise das Scheitern von Constraint: Das heißt, die für Meta-Analysen erforderliche Subjektivität erklärt, wie mehrere Meta-Analysen derselben primären Evidenz zu widersprüchlichen Schlussfolgerungen bezüglich derselben Hypothese kommen können. […] Meine Diskussion der vielen besonderen Entscheidungen, die bei der Durchführung einer Meta-Analyse getroffen werden müssen, legt jedoch nahe, dass solche Verbesserungen nur so weit gehen können.
Zumindest bei einigen dieser Entscheidungen ist die Wahl zwischen den verfügbaren Optionen völlig willkürlich; die verschiedenen Vorschläge zur Verbesserung der Transparenz der Berichterstattung über Meta-Analysen sind prinzipiell nicht in der Lage, zwischen diesen willkürlichen Wahlmöglichkeiten zu entscheiden. Allgemeiner ausgedrückt: Diese Erwiderung der Verteidiger der Meta-Analyse - dass wir die Technik nicht gänzlich verwerfen sollten - unterschlägt die Stärke der Schlussfolgerung, für die ich argumentiert habe, nämlich nicht, dass die Meta-Analyse generell eine schlechte Methode zur Zusammenführung von Evidenz ist, sondern vielmehr, dass die Meta-Analyse nicht als die beste Art von Evidenz für die Bewertung von Kausalhypothesen in der Medizin und den Sozialwissenschaften angesehen werden sollte. Ich habe nicht behauptet, dass die Meta-Analyse keine zwingenden Beweise liefern kann, sondern ich habe im Gegensatz zur Standardansicht argumentiert, dass die Meta-Analyse nicht der Platinstandard der Evidenz ist.
