Du scrollst durch die Kommentare unter einer Serum-Werbung: „89,6 Prozent Verbesserung, klinisch bewiesen!”, schreibt jemand, Screenshot der Studie im Anhang. Klingt beeindruckend. Ist es auch, nur nicht so, wie du gerade denkst. Die zitierte Studie hat 48 Teilnehmende, keine Kontrollgruppe, keine Verblindung, und sie wurde vom Hersteller selbst bezahlt. Was so ein Studiendesign wirklich zeigt, und was nicht, steht in den Originaldaten.
Was Colorescience testen ließ
Die Studie stammt von Kimberly Cayce, Dermatologie-Praxis in Columbia, Missouri, Kristen Jacobs, Spa in Glen Carbon, Illinois, und Savanna Boda, Aesthetics-Studio in Southlake, Texas (PMID 41797621). Getestet wurde das „Pep Up Collagen Boost Face & Neck Serum” von Colorescience, ein Zehn-Peptid-Komplex namens Decaplex-10, unter anderem mit Kupfer-Tripeptid-1 (bekannt als GHK-Cu) und den Bausteinen von Matrixyl 3000. Die zehn Peptide verteilen sich auf mehrere Signal-, Carrier- und neurotransmitter-hemmende Typen. 48 Erwachsene, 79 Prozent Frauen, im Schnitt 39 Jahre alt, wurden eingeschlossen und sollten das Serum 12 Wochen lang zweimal täglich auf Gesicht und Hals auftragen. Acht davon schieden im Studienverlauf aus oder gingen verloren.
Die Studie teilte sie in zwei Gruppen ein, aber nicht in eine mit dem echten Serum und eine mit einer wirkstofffreien Attrappe. Gruppe A nutzte aktuell keine verschreibungspflichtigen oder professionellen Hautpflegeprodukte, Gruppe B schon. Beide Gruppen bekamen dasselbe Serum, nur die bisherige Pflegeroutine unterschied sich. Nach 4, 8 und 12 Wochen bewerteten die Prüfer Gesicht und Hals anhand einer vierstufigen Skala von keine, leicht, mittel bis schwer für Kriterien wie Fältchen, Rötung, Porengröße oder Öligkeit, ergänzt um Fotos und einen Fragebogen zur Selbsteinschätzung.
Kein Placebo, keine Verblindung, und am Ende stehen 89,6 Prozent.
Open Label heißt: alle wissen, was sie bekommen
„Open-Label” bedeutet zunächst nur: Teilnehmende und Prüfer wissen jederzeit, welches Produkt verwendet wird, es gibt keine Verblindung der Zuteilung. Das ist ein eigenständiges Merkmal, randomisierte Open-Label-Studien mit Vergleichsarm sind in der Medizin Standard. Diese Studie hat zusätzlich keine Kontrollgruppe und keine Attrappe. Beide fehlenden Eigenschaften zusammen wiegen schwerer als jede für sich. Bei einer Blutdruck-Messung mag fehlende Verblindung allein noch egal sein, ein Messgerät lässt sich nicht durch Erwartung beeinflussen. Bei Hautbild-Bewertungen ist das etwas anderes. Diesen Unterschied erklärt der Grundlagen-Artikel zu RCTs: Verblindung existiert, weil Erwartung Ergebnisse verzerrt, auf beiden Seiten des Studientischs.
In dieser Studie wurde genau das relevant. Neben den Prüfer-Scores gaben die Teilnehmenden selbst an, wie sie ihre Haut wahrnehmen: 96 Prozent fanden, ihre Haut sehe „gesünder” aus, 94 Prozent, sie wirke „jünger”. Beides sind Selbsteinschätzungen von Menschen, die wussten, dass sie ein neues Anti-Aging-Serum benutzten, über drei Monate, mit dreimaliger Nachfrage durch die Praxis. Wer erwartet, dass ein Produkt wirkt, das er täglich aufträgt und für das er sich freiwillig gemeldet hat, sieht oft eher eine Verbesserung. Den Teilnehmenden ist daraus kein Vorwurf zu machen: Das ist der Erwartungseffekt, den eine Kontrollgruppe herausrechnen soll. Hier fehlt sie.
Die fehlende Kontrollgruppe: vier Dinge, die sich jetzt nicht trennen lassen
Bleibt die Frage, woher die Verbesserung kommt. Ohne eine Kontrollgruppe, die das Serum nicht bekommt, lassen sich vier mögliche Erklärungen für jede beobachtete Besserung nicht unterscheiden:
- Wirkstoff-Effekt: die zehn Peptide tun tatsächlich etwas an der Haut.
- Trägerstoff-Effekt: schon die Grundformulierung verbessert das Hautbild, unabhängig vom Peptidgehalt.
- Regression zur Mitte: Haut schwankt über Wochen ohnehin, wer bei schlechtem Hautzustand oder gereizter Haut in eine Studie startet, verbessert sich im Mittel auch ohne Zutun.
- Erwartungseffekt: wer weiß, dass er behandelt wird, bewertet sich selbst günstiger, und auch Prüfer sind vor diesem Effekt nicht immun, gerade bei Kriterien wie „Ausstrahlung” oder „wirkt jünger”, die keine objektive Messgröße haben.
Ein weiterer Störfaktor wiegt hier besonders schwer, die Begleitpflege: Gruppe A bekam vom Hersteller einen Cleanser, eine SPF-50-Sonnenschutzlotion und einen Brush-on-Sonnenschutz, den sie mindestens dreimal täglich nachtragen sollte. Gruppe B trug täglich ihren eigenen Profi-Sonnenschutz auf und setzte ihre bisherigen verschreibungspflichtigen und professionellen Produkte fort. Täglicher UV-Schutz über zwölf Wochen ist für Veränderungen bei Pigmentierung, Rötung und feinen Linien eine plausible Mit-Erklärung, die sich vom Serum-Effekt nicht trennen lässt.
Genau diese vier Faktoren trennt eine Kontrollgruppe in einem RCT voneinander. Cayce, Jacobs und Boda haben an drei Studienorten zwölf Wochen lang gemessen, ob es nachher besser aussieht als vorher, aber nicht, wodurch. Am Ende steht eine einzige Zahl, die aus vier verschiedenen Quellen gespeist worden sein kann, und niemand kann im Nachhinein sagen, in welchem Verhältnis.
89,6 Prozent, wovon eigentlich?
Das klingt nach einem Beweis, ist aber vor allem eine Zahl aus einem eigenen Messinstrument, der Global Improvement Scale. Getrennt von den Einzelparametern bewerteten die Prüfer den Gesamteindruck auf einer fünfstufigen Skala von 0 (schlechter) bis 4 (ausgeprägte Verbesserung), jede Stufe direkt mit Prozentzahl definiert: Stufe 2, leichte Verbesserung, rund 25 Prozent, Stufe 3, moderate Verbesserung, 50 Prozent, Stufe 4, ausgeprägte Verbesserung, 75 Prozent. 89,6 Prozent ist der Anteil, der mindestens Stufe 2 erreichte, also irgendeine „klinische Verbesserung”. Nur 52,1 Prozent erreichten die beiden oberen Stufen, deutlich weniger, als die Schlagzeilen-Zahl nahelegt.
Dass eine minimale Veränderung genauso zählt wie eine deutliche, ist hier nicht das Problem, denn schon die unterste gezählte Stufe ist per Definition mit rund 25 Prozent Verbesserung angesetzt. Das Problem ist, dass die Prüfer diese Prozentzahl schätzen, statt sie an etwas Objektivem zu messen.
Dazu kommt eine zweite Unschärfe: 89,6 Prozent entspricht rechnerisch genau 43 von 48 Personen, der eingeschlossenen Kohorte. Nicht alle 48 haben die Studie beendet: Acht schieden vorzeitig aus oder gingen verloren, und im Methodenteil definiert die Studie ihre Analysepopulation ohne genau diese acht. Die berichteten Prozentwerte, 89,6 Prozent, 52,1 Prozent und auch die übrigen Anteile, ergeben sich trotzdem sauber nur als Bruch von 48, nicht von 40. Die Studie arbeitet also mit zwei verschiedenen Nennern und löst diesen Widerspruch selbst nicht auf.
Bei einzelnen Hautparametern nutzt die Studie ein zweites, unabhängiges Instrument, die Severity-Skala von 0 (keine) bis 3 (schwer). Auch hier geht es immer um die Veränderung des Prüfer-Scores, nicht um einen Messwert an der Haut selbst: Öligkeit minus 75 Prozent, Aknenarben minus 62 Prozent, feine Linien im Gesicht minus 20 Prozent, am Hals minus 32 Prozent (jeweils p < 0,01). Am Hals bewerteten die Prüfer außerdem Rauheit (minus 41 Prozent) und Pigmentflecken (minus 35 Prozent) besser, tiefere Falten, ein eigener Messwert neben den feinen Linien, dagegen nur um 16 Prozent. Rutscht eine Bewertung auf dieser Skala von mittel (2) auf leicht (1), steht in der Auswertung schon ein Minus von 50 Prozent, im Gesicht der Teilnehmenden ist das oft nur eine Nuance. Du liest trotzdem „minus 75 Prozent”.
Signifikant heißt nicht überlegen
Berechnet hat das ein externer Statistiker, Ahmed Kamel von der Universität Kairo, mit einem Friedman-Test, einem Verfahren für wiederholte Messungen an denselben Personen. p < 0,01 heißt: Wäre nur der Zufall am Werk, wäre ein Unterschied mindestens dieser Größe zwischen Woche 0 und Woche 12 in derselben Gruppe sehr unwahrscheinlich. Was es nicht heißt: dass die Veränderung größer ausfällt als bei einer unbehandelten Kontrollgruppe. Ob dieselben Teilnehmenden ohne Serum, nur mit ihrer alten Routine, ähnliche Werte erreicht hätten, bleibt offen.
Zusätzlich verglich ein Mann-Whitney-U-Test, ein Verfahren für zwei unabhängige Gruppen, Gruppe A mit Gruppe B. Laut Studie fielen die Verbesserungsmuster in beiden Gruppen vergleichbar aus. Ein nicht gefundener Unterschied beweist aber keine Gleichheit. Und selbst wenn beide Gruppen gleich abgeschnitten hätten, sagte das nichts über das Serum selbst, denn beide trugen es auf, eine unbehandelte dritte Gruppe fehlt. Ein signifikanter p-Wert innerhalb einer Gruppe ist deshalb kein Beleg für Überlegenheit gegenüber irgendetwas, er zeigt nur: Am Ende der Studie sah die Haut anders aus als am Anfang.
Was der Volltext selbst schon zugibt
Im Limitations-Abschnitt benennen die Autoren zwei der hier beschriebenen Schwächen selbst: das Open-Label-Design und das Fehlen einer Placebogruppe, die die positiven Effekte des Serums nach eigener Einschätzung noch deutlicher hätte zeigen können. Was im Volltext offen dasteht, schafft es nur selten bis in ein Werbe-Zitat.
Auch technisch stand mehr zur Verfügung, als am Ende in die Auswertung einging: Bei jedem Termin lief zusätzlich eine VISIA-Bildgebung mit, ein System zur digitalen Hautbild-Erfassung. Die Bilder dienten laut Methodenteil nur als Hilfe für die Prüferbewertung. Kein einziger VISIA-Messwert wurde berichtet, eine Gerätemessung wie Profilometrie oder Feuchtigkeitsmessung gab es gar nicht. Ausgewertet wurden ausschließlich Prüfer-Scores und der Fragebogen zur Selbsteinschätzung.
Bezahlt vom Hersteller, kein Interessenkonflikt angegeben
Das ist kein Vorwurf. Es ist der Punkt, den du selbst einordnen musst, bevor du die 89,6 Prozent ernst nimmst. Der Hersteller hat die Studie finanziert, wie das Funding-Statement im Volltext ausweist. Das Testprodukt kam ebenfalls von ihm, für Gruppe A außerdem Cleanser und Sonnenschutz. Im Interessenkonflikt-Abschnitt erklären die Autoren dennoch, es gebe keine Interessenkonflikte.
Beides schließt sich formal nicht aus: Sponsoring allein ist noch kein Interessenkonflikt im engen Sinn, wenn etwa niemand aus dem Autorenteam Gehalt oder Anteile vom Hersteller bezieht. Die Danksagung im Volltext nennt zusätzlich einen externen Statistiker und einen Medical-Writing-Dienstleister, der bei der Manuskripterstellung half.
Trotzdem bleibt die Kombination bemerkenswert: eine vom Hersteller finanzierte, unverblindete Studie ohne Kontrollgruppe, durchgeführt in einer Dermatologie-Praxis, einem Spa und einem Aesthetics-Studio ohne akademische Anbindung. Für die Einordnung der 89,6 Prozent ist die Finanzierungsquelle deshalb genauso relevant wie die fehlende Kontrollgruppe.
Wie ein stärkerer Rahmen aussieht
Zum Vergleich: Eine Metaanalyse zu oralen und topischen Peptiden gegen Hautalterung bündelt 19 randomisierte, kontrollierte Studien mit 1.341 Teilnehmenden, also Designs mit Kontrollgruppen, Verblindung und Randomisierung. Auch dort sind nicht alle gemessenen Effekte eindeutig, teils liegt die Heterogenität zwischen den eingeschlossenen Studien so hoch, dass ein gepoolter Mittelwert nur bedingt aussagekräftig ist.
Aber die methodische Grundlage erlaubt überhaupt erst die Frage, ob ein Effekt über den Verlauf ohne Eingriff und die Erwartung hinausgeht. Die hier beschriebene Studie steht auf der untersten Sprosse dieser Leiter, eine unabhängige, placebokontrollierte Wiederholung des Serums selbst wurde bislang nicht veröffentlicht.
Was so ein Design trotzdem wert ist
Die unterste Sprosse ist kein Sonderfall dieser einen Studie, sondern die übliche erste Stufe, mit der neue Kosmetikformulierungen ihre Marktreife belegen, bevor, wenn überhaupt, eine aufwendigere Studie folgt. Wertlos ist die Studie deshalb nicht. Wer nach der Anwendung gerötete oder schuppende Haut bekommt, taucht in der Verträglichkeits-Auswertung auf. Genau dafür taugt ein Design wie dieses: Über 12 Wochen berichteten die Prüfer eine insgesamt gute Verträglichkeit, die meisten produktbezogenen Reaktionen waren mild und selten, am häufigsten Rötung, gefolgt von Trockenheit, Schuppung und leichten Schwellungen. Dieser Baustein ist relevant, bevor ein Hersteller überhaupt in eine aufwendigere, kontrollierte Studie investiert. Ein Open-Label-Design ohne Kontrollgruppe kann außerdem eine Hypothese erzeugen, etwa welche Hautparameter sich am stärksten verändern, und damit den nächsten, methodisch strengeren Schritt vorbereiten. Das ist der legitime Zweck einer solchen Pilotstudie: ein Signal liefern, kein Urteil fällen.
Die EU-Kosmetikverordnung setzt dafür den rechtlichen Rahmen. Art. 20 der Verordnung (EG) Nr. 1223/2009 verbietet Werbeaussagen, die einem Produkt Eigenschaften zuschreiben, die es nicht besitzt. Eine Studie wie diese darf referiert werden, sie darf aber nicht so präsentiert werden, als hätte sie mehr bewiesen, als ihr Design hergibt.
Das nächste Mal, wenn dir jemand 89,6 Prozent unter eine Serum-Werbung schreibt, brauchst du keine Gegenstudie. Es reicht die Rückfrage, womit verglichen wurde. Bleibt sie unbeantwortet, kennst du die Antwort schon.