Czy już nadszedł czas żeby zakładać, że badania nad zdrowiem są fałszywe, dopóki nie zostanie udowodnione, że jest inaczej?
5 Lipiec 2021
Badania nad zdrowiem opierają się na zaufaniu. Pracownicy służby zdrowia i redaktorzy czasopism czytający wyniki badania klinicznego zakładają, że badanie miało miejsce i że wyniki zostały uczciwie przedstawione. Ale w około 20% przypadków, powiedział Ben Mol, profesor położnictwa i ginekologii w Monash Health, byliby w błędzie. Ponieważ od 40 lat martwię się oszustwami w badaniach naukowych. Nie byłem jakoś specjalnie zaskoczony tą liczbą, jak wielu innych ludzi, ale skłoniło mnie to do myślenia, że nadszedł czas, aby przestać zakładać, że badania rzeczywiście miały miejsce i są uczciwie raportowane. Należy raczej zakładać, że badanie jest fałszywe, dopóki nie pojawią się dowody na to, że rzeczywiście miało ono miejsce i zostało uczciwie raportowane. Inicjatywa Cochrane Collaboration która dostarcza „zaufane informacje”, zrobiła teraz krok w tym kierunku.
Surgisphere: badania kliniczne chlorochiny, dr Sapan Desai, medyczne oszustwo.
Przekręty w badaniach klinicznych “szczepionek” na Covid firmy Pfizer-BioNTech – Canadian Covid Care Alliance
Jak opisał na seminarium internetowym w zeszłym tygodniu, Ian Roberts, profesor epidemiologii w London School of Hygiene & Tropical Medicine, zaczął mieć wątpliwości co do rzetelnego raportowania badań po tym, jak kolega zapytał, czy wie, że jego systematyczny przegląd pokazujący, że mannitol zmniejszył o połowę liczbę przypadków zgonów z powodu urazu głowy był oparty na badaniach klinicznych, które nigdy nie miały miejsca. Nie zrobił tego, ale zaczął analizować badania kliniczne i potwierdził, że nigdy się nie wydarzyły. W publikacjach był główny autor, który rzekomo pochodził z instytucji, która nie istniała i który popełnił samobójstwo kilka lat później. Wszystkie badania zostały opublikowane w prestiżowych czasopismach neurochirurgicznych i miały wielu współautorów. Żaden ze współautorów nie wniósł pacjentów do badań, a niektórzy nie wiedzieli, że są współautorami, dopóki badania nie zostały opublikowane. Kiedy Roberts skontaktował się z jednym z czasopism, redaktor odpowiedział, że „nie ufałby tym danym”. To dlaczego w takim razie opublikował wyniki z tych rzekomych badań? Żadne z tych publikacji nie zostało wycofane.
Śmieci na wejściu, śmieci na wyjściu
Następnie Ian Roberts, który kierował jedną z grup Cochrane, dokonał systematycznego przeglądu koloidów w porównaniu z krystaloidami tylko po to, aby ponownie odkryć, że wielu badaniom włączonym do przeglądu nie można ufać. Obecnie jest sceptycznie nastawiony do wszystkich przeglądów systematycznych, szczególnie tych, które są głównie przeglądami wielu małych badań. Porównał pierwotną ideę przeglądów systematycznych jako poszukiwanie diamentów, wiedzy, która była dostępna, gdyby zebrano ją w przeglądach systematycznych; teraz myśli o przeglądzie systematycznym jako przeszukiwaniu śmieci. Zaproponował, aby odrzucić małe, jednoośrodkowe badania, i nie łączyć je w przeglądy systematyczne.
Ben Mol, podobnie jak Ian Roberts, przeprowadzał przeglądy systematyczne tylko po to, by zdać sobie sprawę, że większość włączonych badań była albo badaniami zombie, które były fatalnie wadliwe, albo były niewiarygodne. Zapytał, jaka jest skala problemu? Chociaż liczba retrakcji rośnie, wycofano tylko około 0,04% badań biomedycznych, co sugeruje, że problem jest niewielki. Ale anestezjolog John Carlisle przeanalizował 526 badań zgłoszonych do Anaesthesia i stwierdził, że 73 (14%) miało fałszywe dane, a 43 (8%) zaklasyfikował jako zombie. Kiedy był w stanie przeanalizować indywidualne dane pacjentów w 153 badaniach, 67 (44%) miało niewiarygodne dane, a 40 (26%) było badaniami zombie. Wiele badań klinicznych pochodziło z tych samych krajów (Egipt, Chiny, Indie, Iran, Japonia, Korea Południowa i Turcja), a kiedy John Ioannidis, profesor Uniwersytetu Stanforda, przeanalizował indywidualne dane pacjentów z badań zgłoszonych w tych krajach do znieczulenia w ciągu roku odkrył, że wiele z nich było fałszywych: 100% (7/7) w Egipcie; 75% (3/4) w Iranie; 54% (7/13) w Indiach; 46% (22/48) w Chinach; 40% (2/5) w Turcji; 25% (5/20) w Korei Południowej; i 18% (2/11) w Japonii. Większość tych badań była badaniami typu zombie. John Ioannidis doszedł do wniosku, że w samych tych krajach opublikowano setki tysięcy badań klinicznych typu zombie.
Inni stwierdzili podobne wyniki, a według Bena Mola około 20% badań klinicznych jest fałszywych. Bardzo niewiele z tych artykułów zostało wycofanych.
Od dawna wiemy, że recenzowanie jest nieskuteczne w wykrywaniu oszustw, zwłaszcza jeśli recenzenci zaczynają, jak większość do tej pory, od założenia, że badania są rzetelnie raportowane. Pamiętam, że w latach 90. brałem udział w panelu badającym jeden z najbardziej skandalicznych przypadków oszustwa w Wielkiej Brytanii, kiedy recenzent statystyczny badania powiedział nam, że znalazł wiele problemów z badaniem i miał tylko nadzieję, że zostało to zrobione lepiej, niż zostało zgłoszone. Zapytaliśmy, czy kiedykolwiek uważał, że badanie może być fałszywe, a on odpowiedział, że nie.
Doszliśmy teraz do punktu, w którym osoby przeprowadzające przeglądy systematyczne muszą zacząć od założenia, że badanie które zamierzają uwzględnić jest fałszywe, dopóki nie uzyskają dowodów, że jest inaczej. Niektóre dowody potwierdzające pochodzą z procesu, który został zarejestrowany i zatwierdzony przez komisję etyki. Andrew Grey, profesor nadzwyczajny medycyny na Uniwersytecie w Auckland, i inni opracowali listę kontrolną zawierającą około 40 pozycji, które można wykorzystać jako narzędzie do wykrywania oszustw (listę kontrolną można wyświetlić tutaj). Lista kontrolna REAPPRAISED (Zarządzanie badaniami, Etyka, Autorstwo, Plagiat, Prowadzenie badań, Analizy i Metody, Manipulacja obrazami, Statystyki, Błędy, Manipulacja danymi i raportowanie) obejmują kwestie takie jak „etyczny nadzór i finansowanie, produktywność badawcza i obciążenie badaczy, ważność randomizacji, wiarygodność wyników i raportowanie zduplikowanych danych”. Lista kontrolna została wykorzystana do wykrycia badań, które zostały następnie wycofane, ale nie przeszły pełnej oceny, której można się spodziewać po klinicznym narzędziu przesiewowym. (Ale muszę pogratulować autorom sprytnego akronimu: niektórzy twierdzą, że wymyślenie akronimu dla badania jest najtrudniejszą częścią całego procesu).
Ian Roberts i inni pisali o problemie wielu niewiarygodnych i zombie badań w czasopiśmie BMJ sześć lat temu pod prowokacyjnym tytułem: „System wiedzy, na którym opiera się opieka zdrowotna, nie jest odpowiedni do celu i musi się zmienić [The knowledge system underpinning healthcare is not fit for purpose and must change]”. Chcieli, aby Cochrane Collaboration i wszyscy przeprowadzający przeglądy systematyczne bardzo poważnie potraktowali problem oszustw. Być może był to zbieg okoliczności, ale kilka tygodni przed webinarium Cochrane Collaboration opracowało wytyczne dotyczące recenzowania badań, w których doszło do wycofania, wyrażenia zaniepokojenia lub recenzenci są zaniepokojeni wiarygodnością danych.
Najłatwiej się z nimi uporać, ale są one, jak powiedział Ben Mol, zaledwie ułamkiem badań niewiarygodnych lub badań typu zombie. Artykuł wstępny w Bibliotece Cochrane towarzyszący nowym wytycznym uznaje, że nie ma zgody co do tego, co stanowi niewiarygodne badanie, narzędzia przesiewowe nie są wiarygodne oraz „Błędna klasyfikacja może również prowadzić do utraty reputacji autorów, konsekwencji prawnych i problemów etycznych związanych z uczestnikami biorących udział w badaniach, tylko po to, aby je zdyskontować”. Badacze z Collaboration są ostrożni, ale mogą stracić wiarygodność – i dochody – jeśli świat przestanie ufać przeglądom Cochrane, ponieważ uważa się, że opierają się one na niewiarygodnych badaniach.
Oszustwa badawcze są często postrzegane jako problem „zgniłych jabłek/czarnych owiec”, ale Barbara K. Redman, która przemawiała na webinarium, twierdzi, że nie jest to problem zgniłych jabłek, ale zgniłych beczek, żeby nie powiedzieć, jak to powiedziała, zgniłych lasów lub sadów. W swojej książce Research Misconduct Policy in Biomedicine: Beyond the Bad-Apple Approach argumentuje, że niewłaściwe postępowanie w badaniach jest problemem systemowym — system zapewnia zachęty do publikowania fałszywych badań i nie ma odpowiednich procesów regulacyjnych. Naukowcy robią postępy poprzez publikowanie badań, a ponieważ system publikacji opiera się na zaufaniu i recenzowaniu, nie jest przeznaczony do wykrywania oszustw, łatwo jest publikować fałszywe badania. Model biznesowy czasopism i wydawców opiera się na publikowaniu, najlepiej wielu opracowań jak najtaniej. Mają niewielką motywację do sprawdzania, czy nie doszło do oszustwa, a pozytywny czynnik zniechęcający do utraty reputacji – i prawdopodobnie ryzyka prawnego – w wyniku wycofania badań. Fundatorzy, uniwersytety i inne instytucje badawcze podobnie mają motywację do finansowania i publikowania badań oraz zniechęcają do robienia zamieszania w sprawie fałszywych badań klinicznych, które mogli sfinansować lub podjęli w swojej instytucji – być może przez jednego z ich czołowych badaczy. Organom regulacyjnym często brakuje legitymacji prawnej i zasobów, aby zareagować na to, co jest wyraźnie rozległym oszustwem, uznając, że udowodnienie, że badanie jest fałszywe (w przeciwieństwie do podejrzenia, że jest fałszywe) jest procesem wymagającym umiejętności, złożonym i czasochłonnym. Innym problemem jest to, że badania są coraz bardziej międzynarodowe, a uczestniczą w nich uczestnicy z wielu instytucji w wielu krajach: kto wtedy podejmuje się nie do pozazdroszczenia zadania dochodzenia w sprawie oszustw? Nauka naprawdę potrzebuje globalnego zarządzania.
Wszyscy zyskują na grze publikacyjnej, podsumował Ian Roberts, z wyjątkiem pacjentów, którzy cierpią z powodu leczenia opartego na fałszywych danych.
Stephen Lock, mój poprzednik na stanowisku redaktora czasopisma BMJ, martwił się o oszustwa badawcze w latach 80., ale ludzie uważali jego obawy za ekscentryczne. Autorytety badawcze upierały się, że oszustwa były rzadkie, nie miały znaczenia, ponieważ nauka sama się korygowała i że żaden pacjent nie ucierpiał z powodu oszustwa naukowego. Wszystkie te powody, dla których nie traktuje się poważnie oszustw badawczych, okazały się fałszywe, a 40 lat po wypowiedzeniu obaw Stephena Locka zdajemy sobie sprawę, że problem jest ogromny, system zachęca do oszustw i nie mamy odpowiedniego sposobu na reakcję. Być może nadszedł czas, aby przejść od założenia, że badania zostały uczciwie przeprowadzone i raportowane, do założenia, że są one niewiarygodne, dopóki nie pojawią się dowody przeciwne.
Źródło: BMJ, Time to assume that health research is fraudulent until proven otherwise?
Zobacz na: Jatrogenia kliniczna – Epidemie współczesnej medycyny – Ivan Illich, Medical Nemesis
Zarządzanie widmami: Jaka ilość literatury medycznej jest kształtowana za kulisami przez przemysł farmaceutyczny? – dr Sergio Sismondo
Dr Peter Gøtzsche: Leki na receptę są trzecią główną przyczyną zgonów
Pierwsze prawo medycyny Colemana – Nowe symptomy spowodowane są otrzymywanym leczeniem
Raport pt. Śmierć z powodu medycyny – dr Gary Null, dr Carolyn Dean, dr Martin Feldman, dr Debora Rasio i dr Dorothy Smith. [2003]
O stronniczości badań i publikacji finansowanych przez przemysł farmaceutyczny
Wywiad z dr Stefanem Lanka o błędach metodologicznych w izolowaniu wirusów
Imitacja Nauki – Sharyl Attkisson – fałszywe badania naukowe
Badania bezpieczeństwa leków – od zaniedbania do oszustwa – John Braithwaite
Bezpieczeństwo szczepień – jak sprawdzane są szczepionki pod kątem bezpieczeństwa?
Ghostwriterzy – Złe leki. Jak firmy farmaceutyczne wprowadzają w błąd lekarzy i krzywdzą pacjentów
Prawda o firmach farmaceutycznych. Jak nas oszukują i co z tym robić – dr Marcia Angell
Ponad 30 000 opublikowanych badań może być błędne z powodu zanieczyszczonych komórek – Peter Dockrill
Błąd w oprogramowaniu aparatury FMRI może skutkować podważeniem 15 lat badań nad mózgiem