Wygląda na to, że OpenAI wprowadziło CriticGPT, nowy model sztucznej inteligencji oparty na GPT-4. Podobno OpenAI, twórca ChatGPT, zaprojektował nowy model sztucznej inteligencji, który pomoże identyfikować błędy użytkowników w kodzie generowanym przez ChatGPT.

Podobno nowy model sztucznej inteligencji CriticGPT, który jest w fazie prób, poprawił wyniki przeglądu kodu o 60 procent, gdy był używany w porównaniu z tymi, które tego nie robiły.

Krytyk dekodowaniaGPT

Według źródeł OpenAI planuje włączyć CriticGPT do potoku etykietowania OpenAI polegającego na uczeniu się ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF). Wygląda na to, że OpenAI ma na celu zapewnienie trenerom AI lepszych narzędzi do oceny złożonych wyników AI.

Oczekuje się, że modele GPT-4, które napędzają ChatGPT, będą pomocne i interaktywne dzięki RLHF. Ten proces obejmuje trenerów AI porównujących różne odpowiedzi i oceniających ich jakość. Uważa się, że wraz z udoskonalaniem rozumowania ChatGPT, jego błędy stają się subtelniejsze, co utrudnia trenerom identyfikację nieścisłości.

Według artykułu badawczego zatytułowanego „Krytycy LLM pomagają złapać błędy LLM”, CriticGPT wykazał się przyzwoitymi kompetencjami w analizowaniu kodu i identyfikowaniu błędów, które pomagają ludziom wykryć halucynacje, których sami mogą nie zauważyć. W artykule podkreślono również, że badacze przeszkolili CriticGPT na zestawie danych obejmującym próbki kodu zawierające błędy. Oczekuje się, że błędy zostały wstawione celowo, aby umożliwić rozpoznawanie i oznaczanie błędów w kodowaniu.

Co dalej

Według raportów, podczas eksperymentów testowania CriticGPT, zespoły korzystające z CriticGPT produkowały bardziej kompleksowe krytyki i identyfikowały mniej fałszywych wyników pozytywnych w porównaniu z tymi pracującymi w pojedynkę. „Drugi trener preferował krytykę od zespołu Human+CriticGPT nad krytyką od niezależnego recenzenta w ponad 60 procentach przypadków, jak donosi „LLM Critics Help Catch LLM Bugs”.

Jednak krytycy argumentowali, że CriticGPT ma ograniczenia. Wygląda na to, że CriticGPT został przeszkolony w zakresie krótkich odpowiedzi ChatGPT. Dlatego wymaga dalszego rozwoju, aby móc obsługiwać dłuższe i bardziej złożone zadania. Również „halucynacje ChatGPT”, czyli sytuacja, w której model AI generuje nieprawidłowe informacje, ale przedstawia je tak, jakby były faktem, nadal pozostaje luką w CriticGPT.

Ponadto trenerzy czasami popełniają błędy w etykietowaniu i w tym przypadku skupienie się na błędach pojedynczych punktów musi zostać rozszerzone, aby zająć się błędami rozproszonymi w wielu częściach odpowiedzi. To kluczowe ograniczenie może być związane z RLHF. Uważa się, że te zaawansowane modele mogą stać się tak kompetentne, że ludzcy trenerzy mogą mieć trudności z dodawaniem znaczących informacji zwrotnych w CriticGPT.

Śledź FE Tech Bytes dalej Świergot, Instagram, LinkedIn, Facebook