Twórcy ChatGPT próbowali skłonić system do wyjaśnienia się.

Odkryli, że chociaż odnieśli pewien sukces, napotkali pewne problemy – w tym fakt, że sztuczna inteligencja może używać pojęć, których ludzie nie mają nazw ani nie rozumieją.

Naukowcy z OpenAI, która opracowała ChatGPT, wykorzystali najnowszą wersję swojego modelu, znaną jako GPT-4, aby spróbować wyjaśnić zachowanie wcześniejszej wersji GPT-2.

Jest to próba przezwyciężenia tzw. problemu czarnej skrzynki z dużymi modelami językowymi, takimi jak GPT. Chociaż stosunkowo dobrze rozumiemy, co wchodzi i wychodzi z takich systemów, rzeczywista praca, która odbywa się w środku, pozostaje w dużej mierze tajemnicza.

Jest to problem nie tylko dlatego, że utrudnia badaczom. Oznacza to również, że nie ma sposobu, aby dowiedzieć się, jakie uprzedzenia mogą być zaangażowane w system lub czy dostarcza on fałszywych informacji osobom korzystającym z niego, ponieważ nie ma sposobu, aby dowiedzieć się, w jaki sposób doszedł do wniosków, które zrobił.

Inżynierowie i naukowcy postawili sobie za cel rozwiązanie tego problemu za pomocą „badań nad interpretacją”, które mają na celu znalezienie sposobów zajrzenia do samego modelu i lepszego zrozumienia, co się dzieje. Często wymaga to przyjrzenia się „neuronom”, które tworzą taki model: podobnie jak w ludzkim mózgu, system sztucznej inteligencji składa się z wielu tak zwanych neuronów, które razem tworzą całość.

Znalezienie tych pojedynczych neuronów i ich przeznaczenia jest jednak trudne, ponieważ ludzie musieli przeglądać neurony i ręcznie je sprawdzać, aby dowiedzieć się, co reprezentują. Ale niektóre systemy mają setki miliardów parametrów, więc przebrnięcie przez nie wszystkie z ludźmi jest niemożliwe.

Teraz naukowcy z OpenAI postanowili wykorzystać GPT-4 do zautomatyzowania tego procesu, próbując szybciej przeanalizować zachowanie. Zrobili to, próbując stworzyć zautomatyzowany proces, który umożliwiłby systemowi dostarczanie wyjaśnień zachowania neuronu w języku naturalnym – i zastosowanie tego do innego, wcześniejszego modelu językowego.

Działało to w trzech krokach: przyjrzenie się neuronowi w GPT-2 i poproszenie GPT-4 o wyjaśnienie go, następnie symulacja tego, co zrobiłby ten neuron, a na koniec ocena tego wyjaśnienia poprzez porównanie działania symulowanej aktywacji z aktywacją rzeczywistą.

Większość z tych wyjaśnień poszła źle, a GPT-4 wypadło słabo. Ale naukowcy powiedzieli, że mają nadzieję, że eksperyment wykazał, że możliwe będzie wykorzystanie technologii sztucznej inteligencji do wyjaśnienia samej siebie, przy dalszych pracach.

Twórcy natknęli się jednak na szereg „ograniczeń”, które oznaczają, że obecny system nie jest tak dobry jak ludzie w wyjaśnianiu zachowania. Częściowym problemem może być to, że wyjaśnienie działania systemu w normalnym języku jest niemożliwe – ponieważ system może wykorzystywać indywidualne koncepcje, których ludzie nie potrafią nazwać.

„Skupiliśmy się na krótkich wyjaśnieniach w języku naturalnym, ale neurony mogą mieć bardzo złożone zachowanie, którego nie da się zwięźle opisać” – piszą autorzy. „Na przykład neurony mogą być wysoce polisemantyczne (reprezentować wiele różnych koncepcji) lub mogą reprezentować pojedyncze koncepcje, których ludzie nie rozumieją lub nie mają dla nich słów”.

Wpada również w problemy, ponieważ koncentruje się na tym, co każdy neuron robi indywidualnie, a nie na tym, jak może to wpłynąć na późniejsze elementy tekstu. Podobnie może wyjaśniać określone zachowanie, ale nie mechanizm, który to zachowanie powoduje, a zatem może wykryć wzorce, które w rzeczywistości nie są przyczyną danego zachowania.

System zużywa również dużo mocy obliczeniowej, zauważają naukowcy.