Badania obserwacyjne dotyczące spożycia czerwonego mięsa i jego długości życia są najlepszymi przykładami prób znalezienia sygnału w morzu hałasu.

Randomizowane, kontrolowane badania kliniczne są najlepszym sposobem na odróżnienie przyczyn od zwykłej korelacji. Nie jest to jednak możliwe w większości kwestii związanych z konsumpcją żywności. Patrzymy więc wstecz i obserwujemy grupy o różnej ekspozycji.

Moją najczęstszą skargą dotyczącą tych nielosowych badań porównawczych była możliwość, że obie grupy różnią się w istotny sposób i to właśnie te różnice – a nie dana żywność – wyjaśniają odmienne wyniki.

Ale błędy selekcji to tylko jeden problem. Jest jeszcze kwestia elastyczności analitycznej. Badania obserwacyjne rodzą się z dużych baz danych. Badacze mają wiele możliwości analizy wszystkich tych danych.

Kilka lat temu dr Brian Nosek i współpracownicy w elegancki sposób pokazali, że wybory analityczne mogą wpływać na wyniki. Jego badanie Many Analysts, One Data Set spotkało się z niewielkim zainteresowaniem w środowisku medycznym, być może dlatego, że zajmował się zagadnieniami z zakresu nauk społecznych.

Wiele sposobów dzielenia danych

Niedawno grupa z Uniwersytetu McMaster, kierowana przez dr Denę Zeraatkar, potwierdziła istnienie problemu wyborów analitycznych, wykorzystując kwestię spożycia i śmiertelności czerwonego mięsa.

Ich pomysł był prosty: ponieważ istnieje wiele wiarygodnych i dających się obronić sposobów analizowania zbioru danych, nie powinniśmy wybierać jednej metody; raczej powinniśmy wybrać tysiące, połączyć wyniki i zobaczyć, gdzie leży prawda.

Możesz się zastanawiać, jak można analizować zbiór danych na tysiące sposobów. Z pewnością tak.

Odpowiedź wynika z wyborów, przed którymi stają badacze. Na przykład następuje wybór kwalifikujących się uczestników, wybór modelu analitycznego (logistyczny, Poissona itp.) i współzmiennych, które należy dostosować. Łącząc możliwe wybory, pomyśl o wykładnikach.

Zeraatkar i współpracownicy są metodologami badań, więc niestety nie przeszkadza im niezdarna nazwa tego podejścia: analiza krzywej specyfikacji. Nie zniechęcaj się. Oznacza to, że analizują dane na tysiące sposobów za pomocą komputerów. Każdy sposób jest specyfikacją. Ostatecznie specyfikacje dają początek krzywej współczynników ryzyka dla czerwonego mięsa i śmiertelności. Inna nazwa tego podejścia to analiza wieloświatowa.

Za ich artykuł w Journal of Clinical Epidemiology, trafnie zatytułowane „Grillowanie danych”, nie tylko wymyślili wiele analitycznych sposobów badania kwestii śmiertelności czerwonego mięsa. Zamiast tego wykorzystali opublikowany systematyczny przegląd 15 badań dotyczących nieprzetworzonego czerwonego mięsa i wczesnej śmiertelności. Badania uwzględnione w tym przeglądzie wykazały 70 unikalnych sposobów analizy powiązania.

Czy czerwone mięso jest dobre czy złe?

Ich pierwszym odkryciem było to, że analiza ta dała bardzo rozbieżne szacunki skutków, od 0,63 (zmniejszone ryzyko przedwczesnej śmierci) do 2,31 (wyższe ryzyko). Mediana współczynnika ryzyka wyniosła 1,14, a rozstęp międzykwartylowy (IQR) wynosił 1,02–1,23. Można z tego wyciągnąć wniosek, że jedzenie czerwonego mięsa wiąże się z nieco większym ryzykiem wczesnej śmiertelności.

Drugim krokiem było obliczenie, ile sposobów (specyfikacji) można analizować dane, sumując wszystkie możliwe kombinacje wyborów na 70 sposobów znalezionych w przeglądzie systematycznym.

Obliczyli w sumie 10 biliardów możliwych unikalnych analiz. Kwadrylion to 1 z 15 zerami. Moc obliczeniowa nie jest jeszcze w stanie obsłużyć tak dużej liczby analiz. Wygenerowali więc 20 losowych, unikalnych kombinacji współzmiennych, co zawęziło liczbę analiz do około 1400. Około 200 z nich zostało wykluczonych ze względu na nieprawdopodobnie szerokie przedziały ufności.

Voila. Mieli teraz około 1200 różnych sposobów analizowania zbioru danych; wybrali podłużne badanie kohortowe NHANES z lat 2007–2014. Uznali, że każde z ponad 1200 podejść jest prawdopodobne, ponieważ wyprowadzono je z recenzowanych artykułów napisanych przez ekspertów w dziedzinie epidemiologii.

Krzywa specyfikacji analizuje wyniki

Każda analiza (lub specyfikacja) dała współczynnik ryzyka dla narażenia na czerwone mięso i śmierci (rysunek).

• Mediana HR dla wpływu czerwonego mięsa na śmiertelność z jakiejkolwiek przyczyny wyniosła 0,94 (IQR, 0,83-1,05), co oznacza, że ​​nie była istotna.
• Rozpiętość współczynników ryzyka była duża. Wzrosły z 0,51 – ryzyko wczesnej śmiertelności zmniejszone o 49% – do 1,75, co oznacza wzrost wczesnej śmiertelności o 75%.
• Spośród wszystkich analiz 36% dało współczynnik ryzyka powyżej 1,0, a 64% poniżej 1,0.
• Jeśli chodzi o istotność statystyczną, zdefiniowaną jako P ≤0,05, tylko 4% (lub 48 specyfikacji) osiągnęło ten próg. Zeraatkar przypomniał mi, że właśnie tego można by się spodziewać, gdyby nieprzetworzone czerwone mięso nie miało wpływu na długowieczność.
• Spośród 48 analiz uznanych za istotne statystycznie 40 wykazało, że spożycie czerwonego mięsa zmniejsza wczesną śmierć, a osiem wskazało, że jedzenie czerwonego mięsa prowadzi do wyższej śmiertelności.
• Prawie połowa analiz dała mało ekscytujące szacunki punktowe, ze współczynnikami ryzyka pomiędzy 0,90 a 1,10.

Zmiana paradygmatu

Jako użytkownik dowodów uważam to badanie za potencjalnie zmieniające paradygmat. Liczba badań obserwacyjnych znacznie przewyższa liczbę badań z randomizacją. W przypadku wielu kwestii medycznych dysponujemy jedynie danymi obserwacyjnymi.

Teraz pomyśl o każdym opublikowanym badaniu obserwacyjnym. Autorzy informują post hoc, jakiej metody użyli do analizy danych. Kluczową kwestią jest to, że tak jest jeden metoda.

Zeraatkar i współpracownicy wykazali, że istnieją tysiące wiarygodnych sposobów analizowania danych, co może prowadzić do bardzo różnych wniosków. W konkretnej kwestii czerwonego mięsa i śmiertelności liczne analizy dały zerowy wynik.

Teraz wyobraźmy sobie inne przypadki, w których badacze przeprowadzili wiele analiz zbioru danych i zdecydowali się opublikować tylko te istotne. Badania obserwacyjne rzadko są rejestrowane wcześniej, więc czytelnik nie może wiedzieć, jak wyniki będą się różnić w zależności od wyborów analitycznych. Analiza krzywej specyfikacji zbioru danych zapewnia znacznie szerszy obraz. W przypadku czerwonego mięsa widać pewne znaczące wyniki, ale zdecydowana większość oscyluje wokół zera.

A co z trudnością w analizie zbioru danych na 1000 różnych sposobów? Zeraatkar powiedział mi, że jest to trudniejsze niż wybranie jednej metody, ale nie jest niemożliwe.

Zauważyła, że ​​główną przeszkodą w przyjęciu tego wieloświatowego podejścia do danych nie jest dodatkowa praca, ale ugruntowane przekonanie badaczy, że istnieje najlepszy sposób analizowania danych.

Mam nadzieję, że przeczytasz ten artykuł i pomyślisz o tym za każdym razem, gdy czytasz badanie obserwacyjne, które odkrywa pozytywny lub negatywny związek między dwiema rzeczami. Zapytaj: A co by było, gdyby badacze byli tak samo ostrożni jak Zeraatkar i współpracownicy i przeprowadzili wiele różnych analiz? Czy odkrycie potwierdziłoby serię wiarygodnych wyborów analitycznych?

Epidemiologia żywienia odniosłaby ogromne korzyści z takiego podejścia. Podobnie byłoby w przypadku każdego badania obserwacyjnego narażenia i wyniku. Podejrzewam, że liczba „pozytywnych” skojarzeń będzie się zmniejszać. I nie byłoby to niczym złym.

John Mandrola zajmuje się elektrofizjologią serca w Louisville w stanie Kentucky oraz jest pisarzem i dawcą podcasterów dla Medscape. Jest zwolennikiem konserwatywnego podejścia do praktyki lekarskiej. Bierze udział w badaniach klinicznych i często pisze o stanie dowodów medycznych.