W przeciwieństwie do typowego rozwoju oprogramowania, rozwój LLM jest wyraźnie innym i bardziej złożonym zadaniem, z własnym unikalnym zestawem wyzwań. Jednym z najpoważniejszych wyzwań, z jakimi mierzą się programiści LLM, jest „klątwa wielojęzyczności”.

Sara Hooker, wiceprezes ds. badań w Cohere AI, powiedziała: „Kiedy próbujesz sprawić, by AI faktycznie działało dla świata, mówisz o tej ogromnej gamie różnych języków. Na świecie jest 7000 języków, a 80% z nich nie ma danych tekstowych”.

Brak zróżnicowanych danych językowych prowadzi do powstawania modeli, które nadmiernie dopasowują się do języków o dużych zasobach, takich jak angielski i chiński, a jednocześnie nie obsługują „długiego ogona” języków o małych zasobach.

Na tym się nie kończy. Gorzej jest z rozumowaniem.

Nieuchwytna natura rozumowania

Jak ilustruje to Subbarao Kambhampati, profesor na Uniwersytecie Stanowym Arizony, na przykładzie klasycznego pytania o „pokrywę włazu” w trakcie rozmowy kwalifikacyjnej: „Najtrudniejsza część rozumowania polega na tym, że jeśli zadajesz mi pytanie wymagające rozumowania, a ja ci odpowiedziałem, to na pierwszy rzut oka nigdy nie możesz stwierdzić, czy zapamiętałem odpowiedź i ci ją podałem, czy też rzeczywiście rozumowałem, opierając się na pierwszych zasadach”.

Ocenianie, czy LLM potrafi naprawdę rozumować, a nie tylko dopasowywać wzorce, jest trudne. Często istnieje luka między zdolnością LLM do generowania kodu lub tekstu, który wygląda wiarygodnie, a głębszym zrozumieniem leżącej u jego podstaw logiki i zdolnością do rozumowania na jej temat.

Język naturalny opiera się w dużej mierze na kontekście, wspólnym zrozumieniu i wnioskowaniu, aby przekazać znaczenie. Utrudnia to LLM-om wyodrębnianie precyzyjnej semantyki i formalnej logiki potrzebnej do rygorystycznego rozumowania tylko z przykładów językowych.

Ponadto LLM-owie nie mają pojęcia o rzeczywistości poza językiem i nie mogą testować prawdziwości stwierdzeń. Nie interesują się tym, czy pojęcia sobie przeczą, i skupiają się wyłącznie na generowaniu zdań, które są zgodne z regułami języka.

David Ferrucci, założyciel Elemental Cognition, twierdzi, że język naturalny jest niewystarczający do niezawodnego logicznego rozumowania i obliczeń w złożonych domenach. Twierdzi, że „w przypadku złożonych problemów rozumowania, w których nie możesz sobie pozwolić na pomyłkę, język naturalny nie jest właściwym medium”.

„Bez żadnego ukrytego formalizmu, dwuznaczność i subiektywność języka naturalnego świetnie nadają się do swobodnego poruszania się w mózgu innej osoby, ale nie są najlepsze, jeśli chodzi o zapewnienie wspólnego znaczenia i precyzyjnych, wiarygodnych wyników” – dodał.

Ferrucci uważa, że ​​do rozwiązywania złożonych problemów niezbędne są języki formalne i systemy wnioskowania.

Luka weryfikacyjna

Być może najpoważniejszym wyzwaniem, z jakim mierzą się twórcy LLM, jest brak solidnych metod weryfikacji wyników tych modeli. Jak zauważa Kambhampati, „Bardzo trudno jest pokazać, co jest, a czego nie ma w sieci”, co utrudnia ustalenie, czy wyniki LLM opierają się na wiedzy faktycznej, czy też są jedynie halucynacją.

W opracowaniu badawczym zatytułowanym „TrustLLM: Trustworthiness in Large Language Models” opracowano ramy oceny wiarygodności, badające 16 głównych programów LLM w ośmiu wymiarach, w tym uczciwość, etykę maszyn, prywatność, solidność, bezpieczeństwo, prawdomówność, odpowiedzialność i przejrzystość.

Naukowcy odkryli, że żaden z testowanych modeli nie okazał się w pełni wiarygodny, co wskazuje na potrzebę udoskonalenia metod weryfikacji.

Aidan Gomez, dyrektor generalny Cohere, wspomniał, że aby poprawić rozumowanie, modelom językowym należy pokazać, jak rozbijać zadania na niski poziom, rozważać problemy krok po kroku i prowadzić „monolog wewnętrzny”.

„Jednakże dane demonstrujące ten typ procesu rozumowania są w internecie niezwykle rzadkie” – dodał.

Jednym z największych wyzwań w weryfikacji wyników LLM jest ich inherentna natura „czarnej skrzynki”. LLM to złożone, nieprzejrzyste systemy, które utrudniają programistom i badaczom zrozumienie, w jaki sposób dochodzą do swoich wyników.

LLM-y cierpią na brak możliwości interpretacji, co oznacza, że ​​trudno jest zrozumieć rozumowanie stojące za ich odpowiedziami. Ta nieprzejrzystość utrudnia identyfikację przyczyn źródłowych nieprawidłowych lub niespójnych wyników, co utrudnia wysiłki na rzecz poprawy niezawodności modeli.

Innym powiązanym problemem jest ograniczona możliwość wyjaśnienia LLM. Nawet gdy LLM dostarcza odpowiedzi, często nie jest jasne, w jaki sposób doszedł do tej konkretnej odpowiedzi. Ten brak możliwości wyjaśnienia sprawia, że ​​dla programistów trudne jest rozwiązywanie problemów i udoskonalanie modeli.

Rozwiązanie wyzwań, z którymi mierzą się twórcy LLM, będzie wymagało wieloaspektowego podejścia. Obejmuje to opracowanie bardziej zaawansowanych metod weryfikacji w celu oceny dokładności faktograficznej i logicznej spójności wyników LLM, poprawę interpretowalności i wyjaśnialności LLM, aby lepiej zrozumieć ich wewnętrzne działanie.

Koncentrując się na tych kluczowych obszarach, badacze i twórcy oprogramowania mogą pracować nad tworzeniem programów LLM, które będą bardziej niezawodne, godne zaufania i zdolne do złożonego rozumowania w różnych językach i dziedzinach.