Ich habe diesen Post erst kürzlich entdeckt. Hier meine Antwort von damals. Sie wurde nicht veröffentlicht. Aust fand sie unflätig.
[*QUOTE*]
----------------------------------------------------------------------------------------
Ich freue mich, daß tatsächlich mal jemand antwortet auf eine Kritik. Das ist in Skeptikerkreisen keineswegs so selbstverständlich, wie man annehmen sollte, wenn man bedenkt, daß Skeptiker das Wort „Wissenschaft“ in sämtlichen seinen Formen und Zusamensetzungen ständig im Munde führen und Kritik und Gegenkritik zum Wesen der Wissenschaft gehören.
Mit Kritik habe ich übrigens kein Problem - im Gegenteil. Meist hilft sie. Es würde den Diskurs jedoch merklich vereinfachen, wenn Begründungen dabei stehen.
Literaturangaben
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „Alle Studien, die ich bespreche, sind frei zugänglich, viele im vollen Wortlaut im Internet vorhanden.“
----------------------------------------------------------------------------------------
[***/QUOTE***]
Ich bin nicht ungeschickt in der Suche nach bestimmten Informationen im Internet. Wenn dort eine Studie (im Volltext) kostenfrei verfügbar ist, dann finde ich sie. Bei einigen von denen, die Sie besprechen ist mir das nicht gelungen.
Aber das ist doch ganz einfach: setzen Sie einfach einen Link, und Sie ersparen Ihrem interessierten Leser, sich auf dieselbe Suche begeben zu müssen, bei der Sie schon längst fündig geworden sind. Ich schlage vor, Sie fangen gleich mal an mit der „Meta-Analyse“ von Hahn und Cucharat.
Oder wie gesagt: Zitieren. Sowas ist keine Urheberrechtsverletzung.
Statistikfehler
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „Da hätten Sie vielleicht vorher in den Originalarbeiten nachsehen sollen, was die Autoren dort mit den Zahlen so alles anstellen.“
----------------------------------------------------------------------------------------
[***/QUOTE***]
Meinen Ausführungen können Sie ganz zwanglos entnehmen, daß ich das getan habe. Sie wollen aber nicht sagen, daß Fehler in Ordnung gehen, solange Homöopathen sie in ihren „Originalarbeiten“ selber auch machen?
Wirkung vs. Wirksamkeit
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „Halten Sie wirklich das bei den Patienten verzeichnete subjektive Empfinden einer Wirksamkeit für einen ausreichenden Nachweis?“
----------------------------------------------------------------------------------------
[***/QUOTE***]
Sie haben nicht richtig hingehört. Ich habe nichts dergleichen gesagt. Ich habe lediglich darauf aufmerksam gemacht, daß Wirkung und Wirksamkeit zwei verschiedene Dinge sind, die es auseinander zu halten gilt. Und ich denke, was ich dazu gesagt habe stimmt.
Mit Wortklauberei meinerseits hat das übrigens nicht das Geringste zu tun. Mit mangelnder Sachkenntnis und Genauigkeit Ihrerseits schon eher.
Ein kurzer Text zur Abgrenzung der Begriffe „Wirkung“ („effect“), „Wirksamkeit“ und “Nutzen“ sowie der ebenso gebräuchlichen, aber nicht ganz bedeutungsgleichen englischen Begriffe „efficacy“ und „effectiveness“ (von J. Windeler und G. Antes) findet sich auf den Seiten des EBM-Netzwerks. Wer die hier genannten Begriffe mal googelt, findet noch mehr Informationen zum Thema. Hätten Sie vielleicht mal machen sollen.
„Subjektive“ Wirksamkeitskriterien, Lebensqualität
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „...dann hätten Sie doch sicher verstanden, dass meine Kritik nicht in die Richtung ging, wie die Lebensqualität und andere subjektive Merkmale gemessen wurde, sondern dass sie als einzige als Maßstab für den Erfolg herangezogen wurden.“
----------------------------------------------------------------------------------------
[***/QUOTE***]
Ich habe das verstanden. Sonst hätte ich es schwerlich bemängeln können. Was ich dagegen nicht verstanden habe und auch nicht verstehen kann, solange Sie Ihre Kritik nicht begründen, ist warum Sie das kritisieren.
Das ist nun mal Gegenstand der Untersuchung. Ob eine Krebsbehandlung die Lebensqualität verbessert ist eine durchaus berechtigte und für die Betroffenen alles andere als unwichtige Frage. Lebensqualität ist nun mal subjektiv - eben ein objektiv messbares, subjektives Kriterium.
Ob diese Studie den Beweis dafür liefert, daß die untersuchte Behandlung (Klassische Homöopathische Behandlung) das (Verbesserung der Lebensqualitlät) auch leistet, ist eine ganz andere Frage. Damit beschäftigen Sie sich aber gar nicht, wenn Sie ihr die Berechtigung absprechen, das überhaupt untersuchen zu wollen. Es gibt ziemlich viel zu bemängeln an dieser Studie, aber das ist nun wirklich nichts, was man ihr als Fehler ankreiden kann.
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „... die Alternativmedizin hat keine einzige wirksame Krebstherapie, aber unterstützende Behandlung kann durchaus sinnvoll sein. Da gibt es einiges, was die Lebensqualität verbessert.“
(Interview mit Edzard Ernst: „Schätze in der Pflanzenmedizin“, Spiegel Online, 12.11.2013 (http://www.spiegel.de/spiegelwissen/alternative-heilmethoden-edzard-ernst-ueber-die-wirkung-von-globuli-a-934517.html))
----------------------------------------------------------------------------------------
[***/QUOTE***]
Wenn schon das Argument nicht überzeugt, vielleicht tut’s ja die „Autorität“?
Fehlende Daten, ITT
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „Einen Teil der Patienten nicht in die Betrachtung einzubeziehen ist bei allen Vergleichen ein Problem, nicht nur bei solchen, die auf einer Randomisierung beruhen.“
----------------------------------------------------------------------------------------
[***/QUOTE***]
Kommt drauf an.
Es gibt keine Studie ohne das „Problem“ der „Missing data“. Und es gibt viele verschiedene Methoden, damit umzugehen. Schließlich steckt in den Studien viel Geld und Arbeit. Die wird man nicht so gern alle in die Tonne treten wollen, nur weil die Daten nicht vollständig sind.
Das schon gleich in der Planungsphase beim Studiendesign zu berücksichtigen ist nur eine davon - die wichtigste. Im übrigen kommt es - wie so oft - vor allem darauf an, diejenige Methode zu finden, die für die jeweilige Situation am besten geeignet ist. Dabei gilt es, viele Faktoren zu berücksichtigen: Ausmaß, Art, Verteilung und Gründe des Datenverlusts - zufällig oder systematisch z.B. - , sowie Studientyp und Analyseverfahren.
Die „Intention-to-Treat“- oder „As-randomized“-Methode ist also keineswegs die einzig richtige. Wie bereits gesagt: sie wird - von einigen, ganz wenigen und sehr speziellen Ausnahmen abgesehen - bei randomisierten Studien eingesetzt. Alle Studienteilnehmer auszuwerten unabhängig davon, ob sie tatsächlich behandelt wurden führt ja auch zu Verzerrungen. Nur zu anderen eben. Die „As treated“-Analyse, die offenbar - zumindest teilweise - in der vorliegenden Studie angewendet worden ist, wird von den US-Zulassungsbehörden bei einer bestimmten Form von Zulassungsstudien (Non-inferiority trials) sogar ausdrücklich gefordert.
Weiter gibt es eine ganze Reihe von Methoden - manche schon als Softwarepakete - fehlende Daten so zu extrapolieren, daß das Ergebnis nicht oder möglichst wenig verzerrt wird und ggf. eingeschätzt werden kann, wie sehr und in welche Richtung es beeinflußt werden könnte.
Wenn Sie so sicher sind, daß ich falsch liege: suchen Sie doch mal ein paar Beispiele für methodisch saubere Kohortenstudien heraus, bei denen die „Intention-to-treat“-Analyse zum Einsatz gekommen ist.
Im übrigen ist das - auch das sagte ich bereits - bei der vorliegenden Studienkonzeption unerheblich. Die Gruppen, die da verglichen werden, sind nicht vergleichbar. Das vor allem ist der Grund, warum die Studie nicht beweist was zu beweisen sie behauptet. Und daran würde sich rein gar nichts ändern, selbst wenn kein einziger Wert fehlen würde.
Positiv/Negativ, Metaanalysen
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „... dass Sie offensichtlich der Erste sind, der Schwierigkeiten damit hat, zu verstehen, was unter einem positiven Nachweis, einer positiven und einer erfolgreichen Studie zu verstehen ist.“
----------------------------------------------------------------------------------------
[***/QUOTE***]
Sie verwechseln da was. Ich verstehe schon, was Sie sagen. Ich find’s nur nicht richtig. Das ist was anderes.
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „Nur um es auch für Sie verständlich zu sagen: Darunter sind Studien zu verstehen, bei denen die Autoren davon ausgehen, dass sie einen Nachweis für die Wirksamkeit der homöopathischen Therapie oder des homöopathischen Medikaments gefunden haben.“
----------------------------------------------------------------------------------------
[***/QUOTE***]
Danke für den Nachhilfeunterricht. Na - das ist ja mal eine eigenwillige Definition. Habe ich noch nie gehört. Wo steht die? Wer hat die wann, wie und warum festgelegt? Gibt’s eine Quelle? Ist wohl selbst gemacht? Es wundert mich allerdings schon, daß Sie ausgerechnet hier mit sowas wie „subjektivem Empfinden“ daher kommen.
Daß eine Studie „positiv“ ist - oder auch „negativ“, das ist doch eine „Nullaussage“! Weiß ich, was „Ja“ bedeutet, wenn ich die Frage nicht kenne, die so beantwortet wird? Grob vereinfacht wirft ein Forscher eine Frage (Hypothese) auf und sucht nach Belegen dafür, ob die wohl stimmen kann oder nicht. Wenn er die findet, ist seine Studie „positiv“.
Das Mindeste, was Sie über „positiv/negativ“ hinaus wissen müssen ist doch, welche Frage eigentlich gestellt und entweder „positiv“ beantwortet wurde oder nicht. Sonst kann das alles heißen und nichts. Ganz abgesehen mal davon, daß es ja noch ein paar andere Faktoren gibt, die das Ergebnis beeinflussen: angemessenes Studiendesign mit den richtigen Zielparametern, Stichprobengröße, Beobachtungsdauer, ...
Shang hat im übrigen in seiner Studie die Wirksamkeit - oder meinetwegen auch Nicht-Wirksamkeit - der Homöopathie gar nicht untersucht.
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „We emphasise that our study, and the trials we examined, exclusively addressed the narrow question of whether homoeopathic remedies have specific effects.“ (Shang et al., Lancet, 2005)
----------------------------------------------------------------------------------------
[***/QUOTE***]
Und er hat Aussagen diesbezüglich über einzelne Studien dazu - wie sich das gehört - nur im Rahmen seiner Studie gemacht.
Die sind nicht Gegenstand einer Meta-Analyse - ein Begriff, der oft falsch verwendet wird. Dieser Studientyp hat seine eigene Methodik. Das ist was anderes als eine Zusammenstellung von Kritiken einzelner Studien. Die Daten aus verschiedenen Studien werden „gepoolt“ - sprich: zu einer Studie zusammengeschmissen. Drum kann man die auch nicht nach Belieben für die Analyse berücksichtigen oder auch nicht, so nach dem Motto: „Lassen wir doch mal die ein oder andere weg, und sehen wir, was dann dabei herauskommt.“
Also ich kenne außer Ihnen nur noch einen (Verein), der so oft von positiven/negativen Studien/Ergebnissen spricht wie Sie: Homöopathen.
Was ist denn eines der häufigsten Argumente, das die ins Feld führen wenn sie darauf beharren, Homöopathie sei eine Methode, deren Wirksamkeit bei vielen verschiedenen Indikationen zweifelsfrei erwiesen sei? Es gibt sooo viele sooo pooositive Studien!
Und wenn „Metastudien“ zu einem anderen Ergebnis kommen? Na - ist doch klar. Die wollen die Homöopathie schlecht machen. Drum berücksichtigen sie zu viele „negative“ und zu wenig „positive“ Studien bei ihrer Analyse.
Daß Homöopathie-Befürworter offenbar für die wichtigsten Argumente halten, die sie für ihre Studien ins Feld zu führen wissen: wie viele es davon gibt und ob die „positiv“ und „negativ“ sind - allein das sollte Ihnen zu denken geben.
Was ist, was beweist eine „positive Studie“? Oder eine „negative“? Dieser Begriff steht so in keinem EBM-Glossar und kommt in wissenschaftlichen Publikationen eher selten vor. „P < 0,05“ - die Welt ist rund? Nicht nur „positiv“ - nein sogar „signifikant positiv“? Haben sie denn recht, wenn sie die Gleichung „positiv = Beweis“ aufstellen?
Bei der Lektüre Ihres Artikels über „Metaanalysen“ könnte man meinen, Sie machen sich diese Sichtweise zueigen. Da werden Studien gezählt und in „positive“ und „negative“ eingeteilt. Rauf und runter wird rumgerechnet, wie viele „positive“ und wie viele „negative“ Studien bei den „Metaanalysen“ mal rein- oder rausgenommen wurden und ob eine oder ein paar mehr oder weniger nun eher für ein „positives“ oder „negatives“ „Gesamtergebnis“ sorgen oder eher nicht - man mag’s gar nicht genau verfolgen. Man weiß auch nie so recht, ob eigentlich Sie das sind, der so rechnet oder der Autor, auf den Sie sich gerade beziehen, oder gar der Autor, auf den sich der Autor bezieht ...
Wie dem auch sei: zum guten Schluß leuchtet Ihnen sogar ein, daß die Homöopathie in den Metastudien schlechter wegkommt als sie ist. Dabei sind nämlich offenbar vor allem kleinere Studien unter den Tisch gefallen. Und die sind ja bekanntlich öfter als große „positiv“. Und was kommt dabei raus, wenn „positiv“ wegfällt? Na - „negativ“ natürlich. Und zwar falsch „negativ“.
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „... dass Hahn nachvollziehbare und nicht einfach zu verwerfende Kritik an der Methodik der Metaanalysen äußert. Zumindest bei den beiden Studien, der von Cucherat und der von Shang, erscheint mir die Kritik durchaus begründet.“
----------------------------------------------------------------------------------------
[***/QUOTE***]
Ganz beiläufig erfinden Sie dabei noch ein paar einigermaßen - sagen wir mal: kreative - Theorien über den Zusammenhang von Studiengröße, Effektstärke und „Positivität“ von Studien. Wie üblich ohne Angabe von Quellen oder anderen Belegen. Sie scheinen der Ansicht zu sein, daß es dem Leser reichen muß, wenn Sie sagen, daß es so ist.
Nicht nur widersprechen Sie damit der gängigen Lehrmeinung, daß kleinere Studien häufig falsch positiv sind und bei Meta-Analysen gern das Ergebnis in die entsprechende Richtung - hin zu „positiv“ - verfälschen („small study bias“). Sie ignorieren auch so ziemlich alles, womit die Autoren ausführlichst begründen, warum sie genau so und nicht anders vorgehen.
Aber nun wissen wir ja schon längst alle, daß Homöopathie eine Luftnummer ist. Da wird sich doch noch ein Grund finden, warum Hahn mit seiner Metastudie letzten Endes doch nicht recht hat. Wie Sie diese Kurve kratzen ist bemerkenswert.
In den Metastudien werden nicht die richtigen Maßstäbe für Qualität angelegt. Der allgemein gebräuchliche Jadad-Score bringt’s nämlich nicht. In der Tat ist der nicht ganz unumstritten - nur nicht aus den Gründen, die Sie nennen. Sie merken das nämlich vor allem daran, daß Studien, deren Qualität Sie höchstselbst „positiv“ - oder hoch? - bewerten, in den Metaanalysen gar nicht erst enthalten sind.
Folglich kann mit dem Qualitätsmaßstab was nicht stimmen - ist doch logisch. Und Sie wissen auch, was: Wer in seinem Text die richtigen Codewörter nicht richtig verwendet, fällt durch das Raster und seine Studie wird als untauglich bewertet.
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „Die Qualität ist unerschütterlich hoch, wenn man die richtigen Codewörter im Text erwähnt hat – egal welchen Unsinn man sonst so anstellt. Letztendlich läuft die Beurteilung der Studienqualität bisher auf die Suche nach bestimmten Codewörtern im Text der Studie hinaus – und wenn ein Autor eines dieser Codewörter vor lauter Begeisterung über seine tollen Ergebnisse vergisst zu erwähnen – Pech. Die Studie taugt nichts.“
----------------------------------------------------------------------------------------
[***/QUOTE***]
Ein Grund mehr für Sie, sich die (13 von 21) Studien mal selber vorzuknöpfen, die - so verstehe ich das - bei Shang zwar als von guter Qualität - also wohl „positiv“ - bezeichnet wurden, aber wegen zu geringer Größe - angeblich - durchgefallen sind. Und siehe da - bei Ihrer Analyse ist der größte Teil von denen „negativ“, „eine Sammlung von Mess- und Auswertefehlern“.
Tja - schau nach bei Aust, und Du braucht keine Metaanalyse. Der bewertet jede Studie einzeln. Ist doch viel genauer - oder?
Pech für Shang - der schlechte Studien als gut einstuft. In Zukunft sollte er sich vielleicht besser vorher bei Herrn Aust danach erkundigen, wie der das sieht. Und natürlich für Hahn. Es waren also doch die schlechten Studien, die rausgefallen sind aus der Analyse. Und was kommt dabei raus, wenn „negativ“ wegfällt? Na - „positiv“ natürlich. Und zwar falsch „positiv“. Noch Fragen?
[***QUOTE***]
----------------------------------------------------------------------------------------
>> „Austs Fazit: ‘Auch wenn man Hahns Kritik an Metaanalysen akzeptiert – das, was die Homöopathen aus der Arbeit herauslesen, steht aber ganz offensichtlich nicht drin.’“
(Meta-Analysen in der Homöopathen-Zauberwelt, GWUP-Blog, 4. Februar 2014 in Blogs & Medien (http://blog.gwup.net/2014/02/04/meta-analysen-und-die-zauberwelt-der-homoopathen/))
----------------------------------------------------------------------------------------
[***/QUOTE***]
----------------------------------------------------------------------------------------
[*/QUOTE*]
[Aus Sicherheitsgründen sind im TG-1 die in Foren leider üblichen Zitatmarkierungen deaktiviert.
Zitatee bitte mit Sternchen machen! Sonst sind sie unsichtbar. Hilfslinien tragen zur besseren Lesbarkeit bei, vor allem bei vielen Zitaten in einem Post. ama]