Błąd w oprogramowaniu aparatury FMRI może skutkować podważeniem 15 lat badań nad mózgiem

Błąd w oprogramowaniu aparatury FMRI może skutkować podważeniem 15 lat badań nad mózgiem

Jest to nie lada problem.

Wyniki badań nad aktywnością ludzkiego mózgu z ostatnich 15 lat mogą być zagrożone – jak wskazuje niedawne badanie błąd w oprogramowaniu aparatury fMRI (funkcjonalne obrazowanie metodą rezonansu magnetycznego) może skutkować unieważnieniem około 40 tysięcy artykułów naukowych.

Cluster failure: Why fMRI inferences for spatial extent have inflated false-positive rates
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5487467/

Problem jest ogromny, ponieważ funkcjonalny rezonans magnetyczny [fMRI] to jedno z najlepszych narzędzi dostępnych badaczom mózgu i jeśli jest ono obarczone wadą, oznacza to, że wszelkie wnioski dotyczące aktywności mózgu ludzkiego podczas różnych czynności i stanów umysłowych takich jak ćwiczenia fizyczne, granie w gry, miłość do innej osoby czy uzależnienie od narkotyków, mogą być błędne.

 

“Pomimo popularności fMRI jako narzędzia badań funkcjonowania mózgu, metody statystyczne stosowane do oceny wyników rzadko kiedy weryfikowane są w oparciu o rzeczywiste dane”, twierdzi grupa naukowców z Uniwersytetu Linköping w Szwecji, kierowana przez Andersa Eklunda.

Głównym problemem jest sposób stosowania przez badaczy aparatury fMRI w celu monitorowania aktywności wybranych ośrodków w mózgu. Osoba badana proszona jest w ramach eksperymentu o wykonanie określonych czynności, podczas gdy aparatura generuje pole magnetyczne o dużej sile, które pulsując przez ciało badanego wychwytuje minimalne zmiany przepływu krwi w mózgu.

Te minimalne zmiany pozwalają naukowcom zlokalizować te obszary mózgu, które wykazują wzmożoną aktywność podczas wykonywania określonych czynności, jak np. aktywność kory czołowo-wyspowej podczas grania w gry. Obszar ten przypisywany jest do grupy ośrodków odpowiedzialnych za „wyższe” czynności poznawcze, takie jak posługiwanie się językiem, empatia czy litość.

Badanie fMRI przeprowadzone na pacjentach będących pod wpływem grzybów halucynogennych pozwoliło wykazać istnienie zjawiska synchronizacji aktywności obu półkul mózgu, czyli powstawania nowych, cechujących się wzmożoną aktywnością połączeń pomiędzy półkulami mózgowymi, które w normalnych warunkach funkcjonowania mózgu nie występują.

Jest to bardzo interesujące zagadnienie, niemniej należy mieć na uwadze fakt, iż naukowcy interpretując dane z fMRI nie mają do czynienia z rzeczywistym mózgiem. Jak twierdzi Richard Chirgwin w wywiadzie dla The Register, badacze ci pracują z obrazem mózgu powstałym na bazie „wokseli”, a które następnie analizowane są przez program komputerowy.

„Oprogramowanie, a nie człowiek, wyszukuje klastry takich wokseli”, relacjonuje Chargwin. „Kiedy ktoś Ci mówi, że ‘Naukowcy wiedzą, kiedy zamierzasz poruszyć ręką: te obrazy to potwierdzają’, należy pamiętać, że w istocie badacze ci interpretują dane, które podaje im oprogramowanie statystyczne.”

Błąd w oprogramowaniu aparatury FMRI

 

Aby przetestować rzeczywistą skuteczność tego oprogramowania, Eklund i jego grupa zebrali dane skanów fMRI w stanie spoczynkowym (resting-state fMRI, rsfMRI) od 499 zdrowych osób z całego świata, następnie podzieli je na grupy maksymalnie 20-sto osobowe, po czym porównali te grupy ze sobą, otrzymując 3 miliony losowych porównań.

Naukowcy do testów użyli trzech najpopularniejszych pakietów oprogramowania fMRI – SPM, FSL oraz AFNI. Badanie nie powinno wykazać jakichkolwiek istotnych różnic pomiędzy grupami, okazało się jednak, że wyniki wygenerowane przez te programy charakteryzowały się wskaźnikiem wyników fałszywie dodatnich sięgającym nawet 70%.

Jest to spory problem, gdyż jak sugeruje Kate Lunau w wywiadzie dla Motherboard, nie tylko zaskoczyło to badaczy, którzy oczekiwali średnio 5% wyników fałszywie dodatnich, ale pokazało również, że niektóre z tych wyników były tak nietrafne, że wskazywały one na aktywność mózgu w miejscach, gdzie takowa nie wystąpiła.

“Wyniki eksperymentu pozwalają kwestionować wnioski ponad 40 tys. publikacji opartych o fMRI i mogą mieć ogromny wpływ na metody stosowane do interpretacji wyników obrazowania aktywności mózgu”, piszą członkowie zespołu w artykule zamieszczonym w czasopiśmie PNAS ( Proceedings of the National Academy of Sciences).

Zła wiadomość jest taka, że jeden z błędów wykrytych przez badaczy obecny jest w oprogramowaniu od ponad 15 lat, co wyjaśnia taką dużą liczbę dotkniętych publikacji.

Błąd ten usunięto w maju 2015 roku, w czasie, kiedy badacze zaczęli tworzyć swój artykuł, ale już sam fakt, że przez tak długi czas nikt tego błędu nie wykrył świadczy o tym, jak łatwo o przeoczenie błędu tego typu. Jest to konsekwencja braku skutecznych metod weryfikacji wyników fMRI dostępnych dla badaczy.

Od momentu pojawienia się aparatury fMRI na początku lat 90-tych XX w., neurolodzy oraz psychologowie na każdym kroku musieli mierzyć się z trudnościami w weryfikacji swoich wyników.

Jedną z największych trudności był astronomiczny wręcz koszt używania tego urządzenia – ok. 600 USD za godzinę – oznaczało to, że eksperymenty ograniczano do małej ilości próbek (do około 30 osób), a niewiele organizacji było w stanie przeznaczyć odpowiednie środki na przeprowadzenie serii badań testowych w celu próby odtworzenia wyników.

Inną problematyczną kwestią jest fakt, że w gruncie rzeczy oprogramowanie jest tym elementem, który poddaje dane zebrane ze skanowania fMRI interpretacji – wyniki są tak dobre, jak dobry jest komputer oraz zastosowane oprogramowanie. Programy weryfikujące dane były bardzo zaporowo wolne, co jeszcze tylko pogarszało sprawę.

Dobrą wiadomością natomiast jest fakt, że tamte czasy już minęły – jak wskazuje Eklund, obecnie wyniki fMRI dostępne są bezpłatnie dla badaczy za pośrednictwem internetu, więc nie muszą poświęcać oni cennych środków, aby rejestrować nowe wyniki. Również technologia weryfikacji danych jest obecnie gotowa i na znacznie wyższym poziomie.

„Dawniej komputerowi przeanalizowanie tych danych zajęłoby jakieś 10-15 lat”, mówi Eklund w wywiadzie dla Motherboard. „Obecnie wystarczy użyć karty graficznej” by zredukować czas „z 10 lat do 20 dni.”

Przyszłość napawa więc optymizmem, ale co z tymi 40 tysiącami artykułów, które mogą być zakwestionowane?

W zeszłym roku wspominaliśmy o próbach odtworzenia wyników 100 badań psychologicznych, po czym okazało się, że ponad połowa z nich zakończyła się niepowodzeniem. Mamy do czynienia z sytuacją, w której nauka ewidentnie znalazła się w „kryzysie odtwarzania/replikacji wyników” i najwyższy czas coś z tym zrobić.

Niestety powtarzanie czyjegoś eksperymentu po raz drugi, trzeci czy czwarty nie jest tak ekscytujące, jak prowadzenie własnych badań i wykonywanie nowych eksperymentów, ale wspomniane w artykule badania pokazują, dlaczego takie działania są nieuniknione.

Źródło: A Bug in FMRI Software Could Invalidate 15 Years of Brain Research

 

Zobacz na: Ponad 30.000 opublikowanych badań może być błędne z powodu zanieczyszczonych komórek – Peter Dockrill
Metoda edycji DNA CRISPR może skutkować setkami niezamierzonych mutacji – Dave Roos
O stronniczości badań i publikacji finansowanych przez przemysł farmaceutyczny
Wywiad z dr Stefanem Lanka o błędach metodologicznych w izolowaniu wirusów
Imitacja Nauki – Sharyl Attkisson – fałszywe badania naukowe
Badania bezpieczeństwa leków – od zaniedbania do oszustwa – John Braithwaite
Bezpieczeństwo szczepień – jak sprawdzane są szczepionki pod kątem bezpieczeństwa?
Ghostwriterzy – Złe leki. Jak firmy farmaceutyczne wprowadzają w błąd lekarzy i krzywdzą pacjentów
Dr Humphries – Związki aluminium w szczepionkach i brudny sekrecik Mercka (AAHS) oraz błędne ulotki