TWażność wielu opublikowanych badań naukowych jest wątpliwa – jak więc powinniśmy im ufać?

Aforyzm zwany „Efekt Einsteinagłosi, że: „Ludzie uważają bzdury za wiarygodne, jeśli myślą, że powiedział je naukowiec”. Zgadzamy się i jest to poważny problem, podobnie jak zaufanie do nauki blisko najniższego poziomu w historii. W dzisiejszych czasach krąży mnóstwo bzdur udających naukę. Niestety, jako Badanie PEW wydany w listopadzie ubiegłego roku wskazuje, że jest coraz gorzej.

Znaczenie niezależnego potwierdzenia

Prawie pięć lat temu my napisał o niewiarygodności większości recenzowanej literatury naukowej, zwłaszcza z zakresu biomedycyny i rolnictwa. Od tego czasu, według niedawnego artykuł informacyjny w dzienniku Natura które pozwoliły określić ilościowo problem, okazuje się, że jest on znacznie większy, niż zakładali nawet pesymiści.

Korupcja jest powszechna. Tylko w zeszłym tygodniu, dziennik Nauka podaje, że nawet wydawcy czołowych czasopism naukowych uważają, że „oblężone.”: „Rzecznik Elsevier powiedział, że co tydzień jego redaktorzy otrzymują gotówkę w zamian za przyjęcie rękopisów. Sabina Alam, dyrektor ds. etyki i uczciwości wydawniczej w firmie Taylor & Francis, stwierdziła, że ​​próby przekupstwa były również kierowane do redaktorów tamtejszych czasopism i stanowią „bardzo poważny obszar niepokoju”.

Ten artykuł i część II, która nastąpi po nim, omawiają kilka sposobów, w jakie może wystąpić zawodność, celowo lub niezamierzenie.

Wyzwania związane z replikacją

Nauka rzadko jest zbiorem niezmiennych faktów; Wnioski mogą i powinny się zmieniać w miarę jak narzędzia przesłuchań stają się coraz bardziej wyrafinowane. Naukę należy raczej postrzegać jako metodę dociekania – proces – który dostosowuje konsensus w miarę gromadzenia coraz większej ilości informacji.

Co najważniejsze, nauka opiera się na potwierdzaniu, czyli na badaczach weryfikujących wyniki innych, często dokonując przy tym stopniowych postępów. Natura nauki nakazuje, aby żadna praca naukowa nie była nigdy uważana za ostateczną, jednak coraz częściej pojawia się zbyt wiele przykładów prac, których wyników nie da się odtworzyć.

Dlaczego tak się dzieje? Wyjaśnienia obejmują rosnącą złożoność systemów eksperymentalnych, niezrozumienie (i często niewłaściwe wykorzystanie) statystyk oraz presję na badaczy, aby publikowali. Największym niepokojem jest rozprzestrzenianie się tandetnych systemów pay-to-play „drapieżny” czasopisma chcące publikować wadliwe artykuły produkowane przez „papiernie”, które dopuszczają się czegoś w rodzaju oszustwa przemysłowe powszechne w sektorze wydawniczym. Są to nastawione na zysk, podejrzane organizacje, które produkują i sprzedają sfabrykowane lub zmanipulowane rękopisy przypominające prawdziwe badania.

W latach 2011 i 2012 r. dwa artykuły wstrząsnął światem naukowym. W jednym z nich doniesiono o próbie odtworzenia wyników 53 prac z badań przedklinicznych, które uznano za badania „przełomowe”. Ustalenia naukowe potwierdziły się jedynie w sześciu (11%) z nich. Co zaskakujące, nawet badacze formułują takie twierdzenia nie potrafili odtworzyć własnego dzieła.

Drugi artykuł znaleziony że twierdzeń formułowanych na podstawie danych obserwacyjnych nie można powtórzyć w randomizowanych badaniach klinicznych (dlatego te ostatnie nazywane są „złotym standardem”). Ogółem przetestowano 52 wnioski i nic replikowane w oczekiwanym kierunku, chociaż większość z nich miała bardzo silne wsparcie statystyczne w oryginalnych artykułach.

Skąd ta rozbieżność? Może to powodować dowolna liczba czynników: odkrycie nieznanego efektu, nieodłącznej zmienności, różnych kontroli, niespełniających standardów praktyk badawczych, przypadku – oraz coraz bardziej niepokojące oszustwa popełniane w badaniach pierwotnych lub uzupełniających przez strony zainteresowane własnym interesem.

Niedawno, w 2015 r., 270 współbadaczy opublikowany wyniki ich systematycznej próby odtworzenia prac przedstawionych w 98 oryginalnych artykułach z trzech czasopism psychologicznych, aby zobaczyć, jak ich wyniki będą się porównywać. Według ocen jakościowych replikatorów tylko 39 ze 100 prób replikacji zakończyło się sukcesem.

W tym samym roku międzynarodowa grupa podjęła próbę powtórzenia 21 systematycznie wybranych badań eksperymentalnych z zakresu nauk społecznych opublikowanych w czasopismach Natura I Nauka między 2010 a 2015 rokiem. Oni znaleziony „znaczący efekt w tym samym kierunku, co w pierwotnym badaniu obejmującym 13 (62%) badań, a wielkość efektu w replikacjach wynosi średnio około 50% pierwotnej wielkości efektu”.

Choć wyniki te mogą wydawać się szokujące dla opinii publicznej, która do niedawna pokładała duże zaufanie w ustaleniach naukowców, dla samych naukowców nie jest to zaskoczeniem. W roku 2016 ankieta z około 1500 naukowców 90% stwierdziło, że wystąpiły poważne lub mniejsze problemy z replikacja eksperymentów.

Zbyt ambitni lub stronniczy badacze nauki mogą „ugotować książki”

Wskaźniki niepowodzeń raportów w czołowych czasopismach są zdumiewające i niepokojące, ponieważ fałszywe twierdzenia mogą zostać kanonizowane i wpłynąć na przebieg przyszłych badań innych badaczy.

Oczywiście jednym z wyjaśnień są problemy techniczne związane z eksperymentami laboratoryjnymi – zanieczyszczenie linii komórkowych lub odczynników, zawodny sprzęt, trudność w przeprowadzaniu złożonego, wieloetapowego eksperymentu w ten sam sposób itp.

Innym jest sztuczka statystyczna. Jedna z technik nazywa się p-hacking: naukowcy próbują jednej manipulacji danymi statystycznymi lub danymi po drugiej, aż uzyskają małą wartość p, która kwalifikuje się jako „istotność statystyczna”, chociaż odkrycie jest wynikiem przypadku, a nie rzeczywistości.

Australijscy badacze badany w ogólnodostępnej literaturze i znalazłem dowody na to, że p-hacking był powszechny w niemal każdej dziedzinie nauki. Wzajemna weryfikacja i nadzór redakcyjny nie są wystarczające, aby zapewnić, że artykuły w publikacjach naukowych odzwierciedlają rzeczywistość, a nie statystyczne oszustwa.

Ten problem w naukach ścisłych jest wystarczająco poważny, ale w naukach społecznych jest to epidemia, gdzie wszystko można interpretować przez pryzmat postmodernizmu. W różnych badaniach analizowano zmienność analityczną w różnych dziedzinach i stwierdzono znaczną zmienność między wynikami, pomimo tego, że analitycy mają te same dane i te same pytania badawcze. Gdyby modelowanie statystyczne było obiektywne i rzeczywiście przewidywalne, wszystkie wyniki powinny być takie same. Warto zauważyć, że recenzowanie nie zmniejszyło znacząco zmienności wyników.

Stronniczość wydawców wobec „pozytywnych” wniosków wyolbrzymia problem

Innym problemem jest to, że konkurujący naukowcy często nie sprawdzają ponownie pytań, a jeśli to robią, nie informują o niepowodzeniu w powtórzeniu wcześniejszych eksperymentów. Pozostawia to znaczne luki w publikowanej literaturze – która oczywiście powstaje głównie na uniwersytetach i jest finansowana przez podatników.

Wiele twierdzeń pojawiających się w literaturze się powtarza, ale nawet one często nie są wiarygodne. Na przykład wiele twierdzeń z literatury psychologicznej można powielić jedynie „pośrednio”. Jeśli X jest prawdą, to Y, konsekwencja, również powinno być prawdą. Często Y jest uznawane za prawidłowe, ale okazuje się, że ani X, ani Y nie replikują się, gdy są testowane od nowa.

Zrozumiałe jest, że redaktorzy i recenzenci są stronniczy w stosunku do artykułów, które podają negatywne wyniki; zdecydowanie preferują wyniki pozytywne, istotne statystycznie. Naukowcy o tym wiedzą i często nawet nie przedstawiają negatywnych badań – tak zwany „efekt szuflady na dokumenty”. Kiedy pojawi się wystarczająca liczba nominalnie pozytywnych, potwierdzających dokumentów, twierdzenie zostaje kanonizowane, co jeszcze bardziej utrudnia publikację artykułu, w którym podaje się przeciwny wynik. Ta niepokojąca tendencja występuje również w mediach, co wzmacnia dezinformację.

Potrzeba pokory

Kompleks medialno-naukowy podważa tym samym zaufanie społeczne, wypacza metodę naukową, wartość zgromadzonych danych i kanony nauki. To sprawia, że ​​zastanawiamy się, czy naukowcy stosujący sztuczki statystyczne nie rozumieją statystyki, czy też są tak pewni „poprawnego” wyniku, że idą na skróty, aby do niego dotrzeć.

Jeśli to drugie, to przywodziłoby to na myśl pamiętną obserwację na temat nauki autorstwa Richarda Feynmananieżyjący już wielki fizyk i popularyzator nauki: „Pierwsza zasada jest taka, że ​​nie wolno siebie oszukiwać – a oszukać cię jest najłatwiej”.

Niedopuszczalny poziom publikacji naukowych i wynikające z niego kanonizowane twierdzenia są błędne, co powoduje, że badacze gonią za fałszywymi tropami. Bez rzetelności badań nie wiemy, co wiemy. Znalezienie rozwiązań spoczywa na społeczności naukowej, w tym na nadzorcach rządowych, redaktorach czasopism oraz na uniwersytetach i wspierających je fundatorach. W przeciwnym razie zakłócenia i oszustwa w badaniach naukowych będą tylko narastać.

Część II poruszy problematykę metaanaliz i naukowców kupujących wątpliwe artykuły od „papierni”.

Henry I. Miller, lekarz i biolog molekularny, jest wyróżnionym członkiem Glenna Swoggera w Amerykańskiej Radzie ds. Nauki i Zdrowia. Był założycielem i dyrektorem Biura Biotechnologii FDA. Znajdź Henry’ego na X @HenryIMiller

Dr S. Stanley Young jest statystykiem, który pracował w firmach farmaceutycznych i Narodowym Instytucie Nauk Statystycznych zajmując się zagadnieniami statystyki stosowanej. Jest adiunktem na kilku uniwersytetach i członkiem Naukowej Rady Doradczej EPA.