Station 6: Wie würde das Resultat solcher „Tests“ aussehen Teil 2?
Hier geht es zum Teil 1.
Jetzt aber zu den theoretischen Möglichkeiten die auftreten, wenn wir uns die Homöopathie ansehen. Ich will mir zuerst die extrem effektiven Fälle durchdenken und dann in Richtung wirkungslos gehen. Variiert wird die Effektivität, d.h. bei wie vielen Patienten wirkt die Homöopathie und wie Stärke ist die Wirkung, also wie stark ist der Effekt der Auftritt wenn eine Wirkung eintritt. Zudem will ich sowohl negative Effekte als auch positive Effekte betrachten und bei den positiven Effekten sowohl den Wirkungsnachweis, als auch die Arzneimittelprüfung.
Also jetzt nach der langen Rede ab in das Vergnügen:
Ich werde mir also jeweils drei Aspekte ansehen: Zuerst einen negativen Effekt (sozusagen eine Nebenwirkung), dann den Effekt der „Heilung“ und den Effekt der „Arzneimittelprüfung“. Es ist nicht gesagt, dass die drei potentiell möglichen Wirkungen, wenn sie real vorliegen in den gleichen Fällen liegen. Etwa könnte die Wirkung gering sein, die Nebenwirkung sehr gering und die Arzneimittelprüfung extrem stark.
Beginnen will ich mit dem starken Effekt und dann bis zu keinem Effekt gehen.
1. Extrem Effektiv, und extrem Stark
Extrem effektiv bedeutet einmal, dass wir annehmen, dass (praktisch) jede Anwendung der Homöopathie wirksam ist, also einen Effekt zeigt. Extrem stark bedeutet, dass der Effekt der Homöopathie stark ist, also etwa die definierten Symptome deutlich zu Tage treten. Damit können wir also jetzt überlegen, was dies in den drei Kategorien bedeutet:
i) Negativ:
Wenn der Effekt bei jeder Gabe eines Homöopathikums stark negativ wäre, dann würde dies für die Untersuchungen bedeuten: Praktisch jede Untersuchung, egal ob gute oder schlechte Qualität würde sich ein deutlich negatives Bild der Homöopathie abzeichnen. Maximal gäbe es bei sehr kleinen Studien, vor allem wenn diese auch nicht verblindet sind, einige, bei denen der negative Charakter nicht sicher ist, oder sich sogar ein positiver Effekt zeigt. Dies kommt daher, da bei einer kleinen Teilnehmerzahl die zufällige Schwankung sehr groß sein kann und damit selbst bei einem klaren Effekt manchmal ein unerwartetes Ergebnis herauskommen kann. Wenn es dann entweder keine Verblindung, oder vielleicht sogar keine Kontollgruppe gibt (reine Outcome-Studien) dann kann dies den realen Effekt im Ergebnis umdrehen, da ja die Patienten und vor allem die Ärzte einen positiven Effekt erwarten und damit auch finden (Beispiel: Aderlaß). Doch selbst eine Studie mit einem eher schlechten Design und geringer Power, sollte schon deutlich das richtige Ergebnis zeigen, wenn bei Planung und dem Personal zumindest die Möglichkeit akzeptiert wird, dass das Resultat nicht positiv ist. Wenn es zumindest eine Kontollgruppe und Verblindung gibt, sollten praktisch alle Studien negativ sein, also eine Verschlechterung bei den homöopathisch Behandelten gegenüber der Kontrollgruppe zeigen.
ii) Arzneimittelbildbestimmung
Praktisch kann ich hier nur das wiederholen was im vorigen Abschnitt steht. Also will ich hier nur das ausführen, was einen Unterschied zu dem vorigen Abschnitt darstellt. Wir erwarten hier keine allein negative Reaktion, sondern das die beobachteten Symptome bei allen Testpersonen auftreten (was natürlich sehr negativ sein kann). Da es bei (praktisch) allen Teilnehmern auftritt und zudem die Symptome stark sind, ist die Bestimmung der Arneimittelsymptome leicht und sicher. Selbst kleine Gruppen an Teilnehmern und das Fehlen der Kontrollgruppen kann die Sicherheit der Arzneimittelbilder nicht gefährden. Wenn die Qualität der Untersuchung dagegen hoch ist, dann sollte die Signifikanz sehr hoch sein und auch zwischen den Wiederholungen immer das gleiche Arzneimittelbild liefern, egal wie streng die Kontrolle auch ist.
Man sollte nicht vergessen zu erwähnen, dass dies die Standardannahme der Homöopathen ist. Denn wie wir in Station 1 gesehen haben, erwarten Homöopathen, dass ALLE Symptome die nach Mitteleinnahme auftreten durch dieses hervorgerufen werden und dass weder eine Kontrollgruppe noch Verbindung zwingend vorgeschrieben sind. Dies macht nur dann Sinn, wenn man annimmt, dass ein hoch potenziertes Mittel sehr effektiv und stark ist (siehe später).
iii) Heilende Effekte
Bei kleinen und schlechten Studien gibt es einige (wenige) Ergebnisse, die unklar sind. Eventuell vor allen dann, wenn homöopathisch „Unfug“ betrieben wird, also alle Teilnehmer immer mit dem gleichen Mittel behandeln, selbst wenn die Symptome sich deutlich unterschieden. Bei validen Studien mit einer großen Anzahl an Teilnehmern kommen praktisch nie unsichere Ergebnisse zustande, selbst dann wenn etwa die Mittelvergabe nicht korrekt durchgeführt wurde. Schließlich selbst wenn ein Mittel nur bei 10% Teilnehmer korrekt ist, wird es dann sicher zu einer signifikanten Verbesserung kommen. Man kann also zusammenfassen, dass man keine negativen und unsicheren Studien findet, aber unzählige positive.
2. Wenig Effektiv, und extrem Stark
Wir haben es hier also mit dem Fall zu tun, dass ein Effekt zwar stark ist, aber nur selten auftritt. Dies ist in der Realität ein plausibler Fall, auch wenn etwa der vorige Fall (sehr effektiv und stark) gilt. Wenn etwa die Patienten dem Therapeuten nicht alle Symptome erzählen, oder dieser die Symptome falsch gewichtet, so führt dies zu falschem Mittel. Das senkt die reale Effektivität.
i) Negativ
Bei kleinen Studien und ohne Kontollgruppe sollte man ganz unterschiedliche Ergebnisse erwarten. Von extrem negativ, bis neutral. Da ja die Anzahl an Fällen die wirken selten auftreten, wird man in kleinen Studien unter Umständen gar keine antreffen, oder durch das Fehlen einer Kontrollgruppe/Verblindung nicht so wahrnehmen. Bei größeren Studien sollte aber immer ein klar negativer Effekt auftreten, selbst wenn das sonstige Design mangelhaft ist.
ii) Arzneimittelbildbestimmung
Wie bei den negativen Effekten sind Arzneibilder dann nicht verlässlich, wenn Sie in zu kleinen Gruppen durchgeführt wurden und besonders, wenn dort auf Kontrolle verzichtet wurde. Bei großen Gruppen lassen sich die Arzneimittelbilder aber immer wiederholen, egal wie streng die Kontrolle/Verblindung ist. Wir finden also mehr signifikante und wiederholbare Studien wenn diese nur groß genug sind.
iii) Heilende Effekte
Wir finden auch hier wieder, dass kleine Studien zu einem breiten Spektrum an Ergebnissen führt, also von Unwirksam bis deutlich wirksam. Je größer die Studien sind, desto stabiler bilden sich deutlich signifikante Werte ab. Wieder gilt, dass bei hochqualitativen Studien sich immer das gleiche Ergebnis zeigt und sich Studien generell wiederholen lassen.
3. Sehr Effektiv, und schwache Wirkung
Hier gilt das umgekehrte zu vorhin. Fast jede Behandlung ist zeigt einen Effekt, aber dieser ist eher schwach. Etwa tritt eine Besserung nur langsam ein und Krankheit dauert mit Behandlung nur wenig kürzer, als ohne. Eventuell sind aber die weniger extreme Formen der Krankheit zu erwarten, ….
Dies ist für viele Medikamente und Behandlungen sicher der Standardfall.
i) Negativ
In der Praxis würde trotz der negativen Wirkung es immer positive Berichte geben und wenn ein Verfahren treue Anhänger hat auch verteidigt werden. Kleine Studien vor allem ohne Kontrollen werden Ergebnisse von positiv bis negativ zeigen. In Summe würden aber selbst kleine Studien mit einer gewissen Kontrolle eher negativ ausfallen. Je besser eine Studie ist, desto deutlicher (also desto signifikanter) wird der negative Effekt. Die Wiederholbarkeit ist kein Problem und es sollte auch keinen Zweifel an der negativen Wirkung geben. Wenn die Randomisierung schlecht ist, oder gar nicht durchgeführt wurden werden die Ergebnisse durchaus eine breite Spanne zeigen WIE stark der Effekt ist.
Dieses Szenario ist etwa bei der Praxis des Aderlassens zu beachten gewesen und das führte sowohl zur Gründung der wissenschaftlichen Medizin, als auch der Homöopathie.
ii) Arzneimittelbildbestimmung
Arzneibilder, die mit nur wenigen Menschen ermittelt wurden, sind praktisch wertlos. Erst größere Gruppen und Wiederholdung liefern sichere Arzneimittelbilder. Wieder gilt, dass jedes Arzneimittelbild mit guten Studien signifikante Werte liefert und sich auch wiederholen lässt, also ist die der Arzneimittelbilder klar. Doch selbst bei Arzneimittelbildern mit valider Datenlage ist immer eine Unsicherheit zu erwarten (der Effekt ist ja Schwach). Vor allem bei Symptomen die seltener auftreten ist es fraglich, welche sich rein zufällig wiederholten und welche vom Mittel ausgelöst werden.
iii) Heilende Effekte
Wieder gilt das vorher gesagte. Placeboeffekte liefern einen starken Teil der Ergebnisse wenn man sich nur auf Erfahrung und Erzählungen verlässt, man wird also sehr oft die eigene Erwartung bestätigt finden. Bei kleinen Studien mit Kontrollen ist das Ergebnis zwar breit gestreut – von wirkungslos bis gut wirksam ist alles vertreten –, aber in Summe kommt ein positives Bild heraus. Wenn man größere Studien macht kommt immer ein positives Ergebnis heraus und große Studien lassen sich gut wiederholen. Mittels Studien von guter Qualität lässt sich die Wirksamkeit von Homöopathie leicht belegen.
4. Wenig Effektiv, und schwache Wirkung
In diesem Fall tritt eine Wirkung nur selten auf, und wenn ist sie schwach. Hier können gerade Nebenwirkungen etwa sich extrem auswirken, wenn diese in eine der vorigen Klassen fallen. Solche Medikamente werden durchaus verwendet, aber eher für Spezialfälle und als letzter Ausweg (etwa in der Krebstherapie). Ebenso wird der Placeboeffekt weite Teile der Studien und Anwendungen dominieren.
i) Negativ
Was wir hier finden ist so, dass ein Mittel selten leicht negative Aspekte zeigt. Viele Nebenwirkungen von Medikamenten fallen darunter. Wenn Homöopathika sich so verhalten würden, dann gäbe es wohl einige Gruppen die Homöopathie als gefährlich ablehnen, und andere die sie als wirksam einstufen. Man würde wohl in der bisherigen Form keinen Grund finden Homöopathie nicht anzuwenden. Positive Plazeboeffekte würden die realen negativen Effekte überwiegen. Erst wenn man Studien macht könnten sich negative Effekte zeigen. Selbst kleine und kontrollfreie Studien würden gelegentlich negative signifikant sein, ansonsten würde man meist neutrale und leicht signifikante Effekte finden. Erst wenn die Studien größer und mit guter Verblindung gemacht werden, dann verschwinden langsam die positiven Effekte und auch die neutralen Ergebnisse, bis nur mehr wiederholbar negative Resultate zu finden sind.
ii) Arzneimittelbildbestimmung
Die Arzneimittelbestimmung ist das große Problem in diesem Fall. Es ist nicht sehr wahrscheinlich, dass man für Mittel die diesem Fall unterliegen vor doppelverblindeten Studien überhaupt brauchbare Arzneimittelbilder finden kann. Da ja Plazeboeffekte extrem stark sind werden diese die „richtigen“ Effekte überwiegen. Also sind die Arzneimittelbilder von kleinen und nicht kontrollierten Studien willkürlich. Diese sind von verblindeten Studien nicht zu wiederholen. Generell gilt dass erst große und gute Studien wiederholbare Arzneimittelbilder liefern. Auch diese sind aber nur für „Leitsymptome“ sicher. Weniger häufige Symptome sind schwer von zufälligen Ergebnissen zu unterscheiden und sollten nicht berücksichtigt werden.
iii) Heilende Effekte
Heilende Effekte haben es schwer. Wenn man überhaupt brauchbare Arzneimittelbilder hat und damit Homöopathie anwenden kann, wird die beobachtbare Heilwirkung gering sein. Ohne Studien ist es keinem Behandler möglich festzustellen ob ein Mittel wirkt oder nicht, ja generell ist die Erfahrung hier wertlos, um die Wirksamkeit der Homöopathie zu beurteilen. Zu sehr werden die berühmten Effekte wie Plazeboeffekt, Selektive Wahrnehmung, Versuchsleitereffekt, … „zuschlagen“ und damit das durchaus vorhandene positive Ergebnis verdecken. Erst gute Studien mit großer Teilnehmerzahl werden hier zu wiederholbar signifikanten Ergebnissen führen. Bei kleinen, aber verblindeten Studien werden wir positive Effekte sehen, aber weit gestreut von neutral bis leicht positiv und von neutral bis signifikant. Wenn die Studien keine Verblindung haben, werden wir natürlich viele positive Ergebnisse finden, aber selbst hier wird die Wiederholbarkeit nicht immer gegeben sein. Das Ergebnis wird immer in einem breiten Bereich streuen.
5. Kein Effekt
Es gibt keine Wirkung, warum auch immer. Daher macht auch die Trennung nach Effektivität und Wirkung keinen Sinn. Der Übergang für diesen Fall kann fließend sein. Wenn etwas sehr ineffektiv ist (1/1000-1/10000) dann werden wir praktisch keine Wirkung mehr feststellen, auch wenn diese sehr stark wäre. Ähnlich ist es, wenn die Wirkung sehr gering ist. Denn wenn etwa ein Mittel eine mittlere Heilung von Minuten bei einer Krankheitsdauer von Tagen hat, dann kann man das gleich als wirkungslos bewerten, auch wenn es korrekt als extrem schwach wirkend zu bezeichnen wäre. Der in dieser Gruppe praktisch zu beobachtende Effekt ist alleine der Plazeboeffekt, mit allen seinen Seitenästen (Versuchsleiterbias, Wahrnehmungsverzerrung, „Freundlichkeitsverzerrung“, … und zum Schluss noch die verstärkte Selbstheilung).
i) Negativ
Es gibt natürlich keine negativen Effekte. Daher wird dieser Punkt hier nicht beschrieben, sondern auf die heilenden Effekte verwiesen.
ii) Arzneimittelbildbestimmung
Die Arzneimittelbilder sind rein willkürlich, da ja die Mittel keine spezifischen Symptome hervorrufen. Erwartungshaltungen sind jetzt sehr stark, also wird man sehr leicht die Symptome bekommen, die man erwartet, aber diese sind vom tatsächlich verwendeten Mittel unabhängig. Wir werden also beobachten, dass bei Studien ohne Kontrolle sich Arzneimittelbilder durchaus wiederholen lassen, und dass bei neuen Mittel oft die Assoziation der Teilnehmer oder der Ersteller einen Ausschlag für das Arzneimittelbild liefert. Bei Studien mit Kontrolle und Verblindung wird es immer wieder dazu kommen, dass sich überproportional die „richtigen“ Symptome zeigen, dies ist aber in beiden Gruppen der Fall. Signifikante Studien sind in diesem Szenario zu erwarten, werden aber meist nur knapp sein und immer seltenen je größer die Teilnehmerzahl und die Qualität ist. Sehr große und gute Studien werden keine Signifikanzen liefern, auch bei Wiederholungen.
iii) Heilende Effekte
Wer bisher gelesen hat weiß, was hier stehen wird. In der Literatur werden vor allem – teils spektakuläre – Fallbeispiele zu finden sein. Die persönliche Erwartung wird stark die Ergebnisse beeinflussen. Wenn jemand sicher ist, dass Homöopathie keinen Effekt hat, wird das bestätigt finden, ebenso wie umgekehrt. Wer Homöopathie negativ gegenübersteht wird sogar überraschend stark negative Effekte erleben. Neutral eingestellte Personen werden eher zu einem positiven Ergebnis kommen, da ja der Plazeboeffekt, wie die anderen Effekte auch eher dazu führen, dass man die Heilung durch eine Behandlung bestätigt.
Wenn man dagegen das Gebiet der Studien betritt, wird man es schon schwerer haben. Selbst schlechte Studien werden nicht immer nur zu einem positiven Ergebnis komme. Von stark positiv bis neutral ist alles zu finden. Wenn die Studien besser werden, wird die Signifikanz immer mehr in Richtung neutral „rutschen“ und daher sind bei kleineren Studien (eventuell mit einer nicht optimalen Kontrollgruppe) werden wir viele neutrale und schwach positive Ergebnisse finden. Was jetzt etwa bei sehr schwacher Wirkung ähnlich erwartet würde. Doch wenn die Studien besser werden, dann werden immer weniger Untersuchungen die Wirksamkeit der Homöopathie bestätigen und es wird keine Wiederholung dieser schwach positiven Daten geben.
Kein Anfang? 