Medyczny chatbot Google oparty na sztucznej inteligencji uzyskał pozytywną ocenę z trudnego amerykańskiego egzaminu licencyjnego medycznego, ale jego odpowiedzi wciąż nie dorównują tym ludzkim lekarzom, jak stwierdzono w recenzowanym badaniu z 12 lipca

W zeszłym roku wydanie ChatGPT – którego programista OpenAI jest wspierany przez rywala Google, Microsoft – zapoczątkowało wyścig między technologicznymi gigantami w rozwijającej się dziedzinie sztucznej inteligencji.

Chociaż wiele zrobiono na temat przyszłych możliwości i zagrożeń związanych ze sztuczną inteligencją, zdrowie jest jednym z obszarów, w którym technologia już wykazała namacalny postęp, a algorytmy są w stanie odczytać niektóre skany medyczne, a także ludzi.

Google po raz pierwszy zaprezentował swoje narzędzie AI do odpowiadania na pytania medyczne, zwane Med-PaLM, w badaniu wstępnym w grudniu. W przeciwieństwie do ChatGPT, nie został udostępniony publicznie.

Amerykański gigant technologiczny twierdzi, że Med-PaLM jest pierwszym dużym modelem językowym, techniką sztucznej inteligencji wyszkoloną na ogromnej ilości tekstu stworzonego przez człowieka, która przeszła egzamin licencyjny US Medical Licensing Examination (USMLE).

Pozytywny wynik egzaminu, do którego przystępują studenci medycyny i lekarze stażyści w Stanach Zjednoczonych, wynosi około 60%.

W lutym badanie wykazało, że ChatGPT osiągnął zadowalające lub prawie zadowalające wyniki.

W recenzowanym badaniu opublikowanym w czasopiśmie Nature 12 lipca badacze Google stwierdzili, że Med-PaLM osiągnął 67,6% na pytania wielokrotnego wyboru w stylu USMLE.

„Med-PaLM działa zachęcająco, ale pozostaje gorszy od klinicystów” – czytamy w badaniu.

Halucynacje

Aby identyfikować i ograniczać „halucynacje” — nazwę, w której modele sztucznej inteligencji oferują fałszywe informacje — Google poinformowało, że opracowało nowy test porównawczy oceny.

Karan Singhal, badacz Google i główny autor nowego badania, powiedział AFP, że zespół wykorzystał test porównawczy do przetestowania nowszej wersji swojego modelu z „super ekscytującymi” wynikami.

Med-PaLM 2 osiągnął 86,5% na egzaminie USMLE, wyprzedzając poprzednią wersję o prawie 20%, zgodnie z badaniem opublikowanym w maju, które nie zostało zrecenzowane.

’Oczywisty problem o którym się nie mówi’

James Davenport, informatyk z brytyjskiego University of Bath, niezaangażowany w badania, powiedział, że „w pokoju jest słoń” dla tych medycznych chatbotów napędzanych sztuczną inteligencją.

Istnieje duża różnica między odpowiadaniem na „pytania medyczne a rzeczywistą medycyną”, która obejmuje diagnozowanie i leczenie prawdziwych problemów zdrowotnych” – powiedział.

Anthony Cohn, ekspert AI na brytyjskim Leeds University, powiedział, że halucynacje prawdopodobnie zawsze będą problemem dla tak dużych modeli językowych, ze względu na ich statystyczny charakter.

Dlatego te modele „powinny być zawsze traktowane raczej jako asystenci niż decydenci ostateczni” – powiedział Cohn.

Pan Singhal powiedział, że w przyszłości Med-PaLM może być wykorzystywany do wspierania lekarzy w oferowaniu alternatyw, których inaczej nie można by rozważyć.

The Wall Street Journal poinformował na początku tego tygodnia, że ​​Med-PaLM 2 był testowany w prestiżowym amerykańskim szpitalu badawczym Mayo Clinic od kwietnia.

Pan Singhal powiedział, że nie może mówić o konkretnych partnerstwach.

Podkreślił jednak, że jakiekolwiek testy nie będą „kliniczne ani skierowane do pacjenta, ani nie będą w stanie wyrządzić pacjentom krzywdy”.

Zamiast tego byłoby to dla „więcej zadań administracyjnych, które można stosunkowo łatwo zautomatyzować, przy niskich stawkach” – dodał.