Większość naukowców nie potrafi zreplikować badań swoich kolegów

Większość naukowców nie potrafi zreplikować badań swoich kolegów.

22 luty 2017

Naukowcy próbujący powtórzyć wyniki pięciu przełomowych badań nad rakiem potwierdzili tylko dwa.

Świat nauki stoi w obliczu “kryzysu odtwarzalności”, w którym ponad dwie trzecie badaczy próbowało i nie udało im się odtworzyć eksperymentów innego naukowca – sugerują badania.

Jest to frustrujące dla klinicystów i twórców leków, którzy chcą mieć solidne podstawy badań przedklinicznych, na których mogliby się oprzeć.

Dr Tim Errington, immunolog ze swojego laboratorium w Centrum Otwartej Nauki Uniwersytetu Wirginii, prowadzi Projekt Odtwarzalności, w ramach którego próbowano powtórzyć wyniki pięciu przełomowych badań nad rakiem.

“Chodzi o to, by wziąć kilka eksperymentów i spróbować zrobić dokładnie to samo, by sprawdzić, czy możemy uzyskać takie same wyniki”.

Można by wybaczyć, że pomyślisz, że to powinno być łatwe. Eksperymenty powinny być powtarzalne.

Autorzy powinni byli zrobić to sami przed publikacją, a wszystko, co musisz zrobić, to przeczytać sekcję metod w artykule i postępować zgodnie z instrukcjami.

Niestety nic, jak się wydaje, nie może być dalsze od prawdy.

Po skrupulatnych badaniach, w których przez kilka lat (projekt został rozpoczęty w 2011 roku) zwracano baczną uwagę na szczegóły, zespół był w stanie potwierdzić tylko dwa z oryginalnych wyników badań.

Dwa kolejne okazały się niejednoznaczne, a w piątym zespół zupełnie nie potrafił zreplikować wyniku.

“To niepokojące, ponieważ replikacja ma być znakiem rozpoznawczym rzetelności naukowej” – mówi dr Errington.

Obawy dotyczące wiarygodności wyników publikowanych w literaturze naukowej rosną od pewnego czasu.

Według badania opublikowanego w czasopiśmie Nature latem ubiegłego roku, ponad 70% badaczy próbowało i nie udało im się odtworzyć eksperymentów innego naukowca.

Marcus Munafo jest jednym z nich. Obecnie profesor psychologii biologicznej na Uniwersytecie w Bristolu, prawie zrezygnował z kariery naukowej, kiedy jako doktorantowi nie udało mu się odtworzyć podręcznikowego badania nad lękiem.

“Miałem kryzys pewności siebie. Pomyślałem, że może to ja, może nie poprowadziłem dobrze swojego badania, może nie jestem skrojony na naukowca”.

Problem, jak się okazało, nie tkwił w tym co zrobił Marcus Munafo, ale w sposobie, w jaki literatura naukowa została “uporządkowana”, aby zaprezentować znacznie jaśniejszy, solidniejszy wynik.

“To, co widzimy w opublikowanej literaturze, jest wysoce skorygowaną wersją tego, co faktycznie się wydarzyło” – mówi.

“Kłopot w tym, że daje to różowe spojrzenie na dowody, ponieważ wyniki, które są publikowane mają tendencję do bycia najbardziej interesującymi, najbardziej ekscytującymi, nowymi, przyciągającymi uwagę, nieoczekiwanymi wynikami.

To, co uważam za wyniki wysokiego ryzyka, wysokiego zwrotu.”

Trudności z odtwarzalnością nie dotyczą oszustw, według Dame Ottoline Leyser, dyrektor Sainsbury Laboratory na Uniwersytecie w Cambridge.

To byłoby stosunkowo łatwe do wyeliminowania. Zamiast tego, mówi: “Chodzi o kulturę, która promuje wpływ nad treścią, krzykliwe odkrycia nad nudną, potwierdzającą pracą, o którą chodzi w większości nauki”.

Mówi, że chodzi o instytucje finansujące, które chcą zapewnić sobie największy zysk, czasopisma recenzenckie, które walczą o publikację najbardziej ekscytujących przełomów, instytuty i uniwersytety, które mierzą sukces w zdobytych grantach i opublikowanych pracach oraz ambicje samych naukowców.

“Każdy musi wziąć na siebie część winy” – przekonuje. “Sposób, w jaki skonstruowany jest system, zachęca do osiągania mniej niż optymalnych wyników”.

Ze swojej strony, czasopismo Nature podejmuje kroki w celu rozwiązania tego problemu.

Wprowadziło listę kontrolną odtwarzalności dla autorów składających prace, mającą na celu poprawę wiarygodności i rygoru.

“Replikacja jest czymś, o czym naukowcy powinni myśleć, zanim napiszą pracę” – mówi Ritu Dhand, redaktor naczelna Nature.

“Jest to duży problem, ale czasopisma nie są w stanie same sobie z nim poradzić. Będzie to wymagało wielostronnego podejścia z udziałem fundatorów, instytutów, czasopism i naukowców.”

Ale musimy być odważniejsi, według neurobiologa z Edynburga prof. Malcolma Macleoda.

“Kwestia replikacji trafia w samo sedno procesu naukowego”.

Pisząc w najnowszym wydaniu Nature, nakreśla on nowe podejście do badań na zwierzętach, które wzywa do niezależnego, statystycznie rygorystycznego potwierdzenia centralnej hipotezy publikacji przed publikacją.

“Bez wysiłków zmierzających do odtworzenia ustaleń innych, nie wiemy, czy fakty tam zawarte rzeczywiście reprezentują to, co dzieje się w biologii, czy nie.”

Nie wiedząc, czy publikowana literatura naukowa jest zbudowana na solidnych fundamentach czy na piasku, argumentuje, marnujemy zarówno czas, jak i pieniądze.

“Mogłoby się okazać, że bylibyśmy o wiele dalej do przodu, jeśli chodzi o rozwój nowych lekarstw i terapii. Jest to sytuacja godna pożałowania, ale obawiam się, że w takiej właśnie się znajdujemy.”

Źródło: Most scientists ‘can’t replicate studies by their peers’

Zobacz na: To nie odpowiedzi są stronnicze, tylko pytania – efekt finansowania – prof. David Michaels
O stronniczości badań i publikacji finansowanych przez przemysł farmaceutyczny
Zarządzanie widmami: Jaka ilość literatury medycznej jest kształtowana za kulisami przez przemysł farmaceutyczny? – dr Sergio Sismondo
Prawda o firmach farmaceutycznych. Jak nas oszukują i co z tym robić – dr Marcia Angell
Tylko 6% materiałów reklamowych dotyczących leków jest poparte dowodami – Annette Tuffs
Odporność i bezkarność: korupcja w relacjach Państwo-Farmacja – dr Paddy Rawlinson
Dlaczego trucie jest opłacalne – Uzasadnienie trucia przemysłowego – Jim West