Naukowcy mogą używać modeli językowych sztucznej inteligencji (AI), takich jak ChatGPT, do pisania i poprawiania manuskryptów naukowych, zgodnie z nowym ogłoszeniem Międzynarodowego Komitetu Redaktorów Czasopism Medycznych (ICMJE). Narzędzia te nie powinny być wymieniane jako autorzy, a badacze muszą wskazać, w jaki sposób wykorzystano technologie wspomagane przez sztuczną inteligencję, stwierdził komitet.

Te nowe wytyczne są najnowszym wysiłkiem czasopism medycznych mającym na celu zdefiniowanie zasad korzystania z wielkoskalowych modeli językowych (LLM) w publikacjach naukowych. Chociaż te narzędzia wspomagane przez sztuczną inteligencję mogą pomóc w zadaniach, takich jak pisanie, analizowanie danych, wyłapywanie błędów i wiele innych, są one również podatne na błędy, zauważył dr Casey Greene, profesor informatyki biomedycznej na University of Colorado School of Medicine w Aurorze w Kolorado. Zauważył również, że nie jest do końca jasne, w jaki sposób informacje są przechowywane i przetwarzane w tego rodzaju narzędziach oraz kto ma do nich dostęp.

doktora Casey’a Greene’a

Jednocześnie eksperci twierdzą, że te narzędzia sztucznej inteligencji mogą mieć pozytywny wpływ na tę dziedzinę, ograniczając niektóre różnice językowe w publikacjach naukowych, a także zmniejszając ciężar niektórych monotonnych lub mechanicznych zadań, które towarzyszą pisaniu manuskryptu.

Eksperci mogą jednak zgodzić się co do tego, że korzystanie z narzędzi AI pozostanie. „To stanie się powszechnym narzędziem” – powiedział Greene. – Myślę, że w tym momencie nie ma wyjścia.

Zmiana w wydawnictwach medycznych

OpenAI wypuściło ChatGPT w listopadzie 2022 r. Własnymi słowami, ChatGPT to „model głębokiego uczenia się, który został przeszkolony na ogromnej ilości danych tekstowych, aby zrozumieć i wygenerować tekst podobny do ludzkiego”. Wpisz pytanie lub monit, a odpowie. Na przykład na pytanie, w jaki sposób można wykorzystać narzędzie AI w publikacjach naukowych, ChatGPT odpowiedział:

„ChatGPT może wspomagać publikacje naukowe, generując pomysły, wyjaśniając koncepcje, przeprowadzając wstępne przeglądy literatury, dostarczając sugestie dotyczące korekty i redagowania oraz pomagając w konspektowaniu i organizowaniu artykułów naukowych. Należy jednak używać go jako narzędzia pomocniczego wraz z wiedzą specjalistyczną w dziedzinie i walidacją od zaufanych źródła naukowe”.

Zaledwie kilka miesięcy po udostępnieniu ChatGPT badacze zaczęli używać tego narzędzia we własnej pracy. Jedna osoba, Som Biswas, MD, radiolog z University of Tennessee Health Science Center w Memphis, podobno użył ChatGPT do napisania 16 artykułów naukowych w ciągu zaledwie 4 miesięcy, zgodnie z The Dzienna Bestia. Pięć z tych artykułów zostało opublikowanych w czterech różnych czasopismach. Biswas odmówił udzielenia wywiadu do tego artykułu.

Pojawiły się również doniesienia o artykułach z ChatGPT jako jednym z wymienionych autorów, co wywołało reakcję. W odpowiedzi, JAMA, NaturaI Nauka wszystkie opublikowane w styczniu artykuły redakcyjne przedstawiające ich zasady korzystania z ChatGPT i innych dużych modeli językowych w procesie tworzenia treści naukowych. Redaktorzy czasopism American College of Cardiology i American College of Rheumatology (ACR) również zaktualizowali swoje zasady, aby odzwierciedlić wpływ narzędzi do tworzenia treści opartych na sztucznej inteligencji.

Konsensus jest taki, że AI nie ma miejsca na stronie autora.

dr Daniel Solomon

„Uważamy, że to niewłaściwe, ponieważ współautorstwo oznacza, że ​​bierzesz odpowiedzialność za analizę i generowanie danych zawartych w manuskrypcie. Maszyna sterowana przez sztuczną inteligencję nie może wziąć na siebie odpowiedzialności” — powiedział Daniel Solomon, MD, MPH, reumatolog w Brigham and Women’s Hospital w Bostonie oraz redaktor naczelny czasopisma ACR Zapalenie stawów i reumatologia.

Problemy z AI

Jedną z największych obaw związanych z używaniem sztucznej inteligencji na piśmie jest to, że może ona generować tekst, który wydaje się wiarygodny, ale jest nieprawdziwy lub nie jest poparty danymi. Na przykład Greene i współpracownik, dr Milton Pividori, również z University of Colorado School of Medicine, pisali artykuł w czasopiśmie na temat nowego opracowanego przez nich oprogramowania, które wykorzystuje duży model językowy do rewizji manuskryptów naukowych.

doktora Miltona Pividoriego

„Użyliśmy tego samego oprogramowania do zmiany tego artykułu iw pewnym momencie dodaliśmy wiersz, w którym zauważono, że duży model językowy został dopracowany na zbiorze danych manuskryptów z tej samej dziedziny. Ma to dużo sensu, i jest absolutnie czymś, co można zrobić, ale nie było to coś, co zrobiliśmy” – powiedział Greene. „Bez naprawdę starannego przeglądu treści możliwe staje się wymyślanie rzeczy, które tak naprawdę nie zostały zrobione”.

W innym przypadku ChatGPT fałszywie stwierdził, że wybitny profesor prawa został oskarżony o napaść na tle seksualnym, powołując się na Washington Post artykuł, którego nie było.

„Żyjemy w społeczeństwie, w którym jesteśmy bardzo zaniepokojeni fałszywymi wiadomościami” – dodał Pividori – „i [these kinds of errors] z pewnością może to zaostrzyć w środowisku naukowym, co jest bardzo niepokojące, ponieważ nauka wpływa na politykę publiczną”.

Innym problemem jest brak przejrzystości co do tego, jak duże modele językowe, takie jak ChatGPT, przetwarzają i przechowują dane używane do tworzenia zapytań.

„Nie mamy pojęcia, w jaki sposób rejestrują wszystkie podpowiedzi i rzeczy, które wprowadzamy do ChatGPT i ich systemów” – powiedział Pividori.

OpenAI niedawno rozwiązało pewne problemy związane z prywatnością, umożliwiając użytkownikom wyłączenie historii czatów za pomocą chatbota AI, więc rozmowy nie mogą być wykorzystywane do szkolenia lub ulepszania modeli firmy. Ale Greene zauważył, że warunki korzystania z usługi „nadal pozostają dość mgliste”.

Solomon jest również zaniepokojony tym, że badacze używają tych narzędzi AI do tworzenia, nie wiedząc, jak one działają. „Naprawdę martwi nas fakt, że [LLMs] są trochę czarną skrzynką – ludzie tak naprawdę nie rozumieją metodologii” – powiedział.

Pozytywne narzędzie?

Jednak pomimo tych obaw wielu uważa, że ​​tego typu narzędzia wspomagane przez sztuczną inteligencję mogą mieć pozytywny wpływ na publikacje medyczne, szczególnie dla naukowców, dla których angielski nie jest ich pierwszym językiem, zauważyła dr Catherine Gao, instruktorka pulmonologii i intensywnej terapii w Northwestern University Feinberg School of Medicine w Chicago. Niedawno prowadziła badania porównujące streszczenia naukowe napisane przez ChatGPT i prawdziwe streszczenia i odkryła, że ​​recenzenci mieli „zaskakująco trudne” rozróżnienie tych dwóch.

„Większość badań jest publikowana w języku angielskim” – napisała w e-mailu. „Odpowiedzialne korzystanie z LLM może potencjalnie zmniejszyć ciężar pisania dla zapracowanych naukowców i poprawić równość osób, które nie są rodzimymi użytkownikami języka angielskiego”.

Pividori zgodził się, dodając, że jako osoba, dla której angielski nie jest językiem ojczystym, spędza znacznie więcej czasu pracując nad strukturą i gramatyką zdań podczas pisania manuskryptu, w porównaniu z osobami, dla których angielski jest językiem ojczystym. Zauważył, że narzędzia te można również wykorzystać do zautomatyzowania niektórych bardziej monotonnych zadań związanych z pisaniem manuskryptów i pozwalają badaczom skupić się na bardziej kreatywnych aspektach.

W przyszłości „chcę bardziej skupić się na rzeczach, które może zrobić tylko człowiek, i pozwolić tym narzędziom zrobić całą resztę” – powiedział.

Nowe zasady

Ale pomimo tego, co poszczególni badacze myślą o LLM, zgadzają się, że te narzędzia AI zostaną.

„Myślę, że powinniśmy przewidzieć, że z czasem staną się częścią medycznego ośrodka badawczego, kiedy wymyślimy, jak je odpowiednio wykorzystać” – powiedział Solomon.

Podczas gdy debata na temat najlepszego wykorzystania sztucznej inteligencji w publikacjach medycznych będzie trwała nadal, redaktorzy czasopism zgadzają się, że wszyscy autorzy manuskryptu ponoszą wyłączną odpowiedzialność za treść artykułów, w których wykorzystano technologię wspomaganą przez sztuczną inteligencję.

„Autorzy powinni dokładnie przejrzeć i edytować wynik, ponieważ sztuczna inteligencja może generować autorytatywnie brzmiące dane wyjściowe, które mogą być niepoprawne, niekompletne lub stronnicze” – stwierdzają wytyczne ICMJE. „Autorzy powinni mieć możliwość zapewnienia, że ​​w ich pracy nie ma plagiatu, w tym w tekście i obrazach tworzonych przez sztuczną inteligencję”. Obejmuje to odpowiednie przypisanie wszystkich cytowanych materiałów.

Komitet zaleca również, aby autorzy opisali zarówno w liście przewodnim, jak i przesłanej pracy, w jaki sposób sztuczna inteligencja została wykorzystana w procesie pisania manuskryptu. Niedawno zaktualizowane wytyczne Światowego Stowarzyszenia Redaktorów Medycznych zalecają, aby wszystkie podpowiedzi używane do generowania nowego tekstu lub pracy analitycznej były umieszczane w przesłanej pracy. Greene zauważył również, że jeśli autorzy wykorzystali narzędzie AI do korekty swojej pracy, mogą dołączyć wersję manuskryptu nietkniętą przez LLM.

Powiedział, że jest to podobne do przeddruku, ale zamiast publikować wersję artykułu przed recenzją, ktoś pokazuje wersję manuskryptu, zanim został przejrzany i poprawiony przez sztuczną inteligencję. „Ten rodzaj praktyki może być ścieżką, która pozwoli nam czerpać korzyści z tych modeli”, powiedział, „bez wad, o które wielu się martwi”.

Solomon ma powiązania finansowe z firmami AbbVie, Amgen, Janssen, CorEvitas i Moderna. Zarówno Greene, jak i Pividori są wynalazcami w tymczasowym zgłoszeniu patentowym Stanów Zjednoczonych nr 63/486,706, które Uniwersytet Kolorado złożył w Urzędzie Patentów i Znaków Towarowych Stanów Zjednoczonych w związku z wynalazkiem „Infrastruktura wydawnicza dla tworzenia akademickiego wspomaganego przez sztuczną inteligencję”. Greene i Pividori otrzymali również grant od Fundacji Alfreda P. Sloana na udoskonalenie narzędzia do rewizji manuskryptów opartego na sztucznej inteligencji. Gao nie zgłosił żadnych istotnych powiązań finansowych.

Aby uzyskać więcej informacji, śledź Medscape na Facebooku, ŚwiergotInstagrama i YouTube.