„Spojrzymy wstecz i powiemy, że była to bardzo wczesna sztuczna inteligencja, jest powolna, zawiera błędy i nie robi wielu rzeczy zbyt dobrze” powiedział Sam Altman, dyrektor generalny OpenAI, podczas niedawnego podcastu z Lexem Fridmanem. „Ale”, kontynuował Altman, „najwcześniejsze komputery też tego nie zrobiły i wciąż wskazywały drogę do czegoś, co miało być naprawdę ważne w naszym życiu, mimo że ewolucja zajęła kilka dekad”.

Mówił o „GPT-4”, najnowszej ofercie OpenAI w gamie modeli LLM, która wielu zaskoczyła jej możliwościami, szczególnie najnowszą aktualizacją dotyczącą wtyczek na platformie –co czyni go momentem iOS Appstore w AI.

Kiedy jednak Fridman zasugerował, że kilka lat później nastąpi kluczowy moment w historii – jeśli chodzi o masową adopcję sztucznej inteligencji – Altman był zdania, że ​​ChatGPT będzie tym jedynym.

„To nie jest tak, że moglibyśmy powiedzieć, że był to moment, w którym sztuczna inteligencja przeszła od braku do bycia czymś” — powiedział Altman. „Gdybym miał wybrać jakiś moment z tego, co widzieliśmy do tej pory, wybrałbym czatGPT ”.

Według Altmana, to, co sprawiło, że ChatGPT stało się popularne wśród mas, to łatwość obsługi, RLHF i szybki interfejs.

Pobierz naszą aplikację mobilną

Dlaczego RLHF jest tak ważny?

Fridman powiedział, że uczenie się przez wzmacnianie z ludzkim sprzężeniem zwrotnym (RLHF) jest tajnym składnikiem, który podnosi wydajność modeli uczenia maszynowego.

Kontynuując rozmowę, Fridman powiedział, że chociaż modele takie jak ChatGPT można trenować na ogromnych ilościach danych tekstowych, często brakuje im praktycznego zastosowania podczas testowania. „Chociaż model podstawowy odniósł sukces w ocenach i testach, nie jest zbyt przydatny w praktyce” – powiedział Altman.

„Jednakże RLHF”, kontynuował Altman, „która polega na włączeniu informacji zwrotnych od ludzi do treningu modelu, może znacznie poprawić jego użyteczność”.

Wyjaśnił dalej, że najprostsza forma RLHF polega na przedstawieniu człowiekowi dwóch wyników i zapytaniu, który z nich jest lepszy, a następnie wykorzystaniu tej informacji zwrotnej do wytrenowania modelu przy użyciu technik uczenia się przez wzmacnianie. Ten proces pozwala modelowi uczyć się na podstawie ludzkich preferencji i odpowiednio dostosowywać swoje wyniki. „Moim zdaniem RLHF to bardzo skuteczna metoda zwiększania wydajności modeli uczenia maszynowego” — powiedział Altman.

Zasadniczo, jak później zauważył Fridman, duży model językowy wyszkolony na dużym zbiorze danych, który tworzy mądrość zawartą w Internecie, staje się znacznie bardziej imponujący po dodaniu do niego pewnego stopnia ludzkiego przewodnictwa.

Włączając wskazówki człowieka do procesu szkolenia, model może lepiej zrozumieć ludzkie preferencje, dzięki czemu jest bardziej wydajny w dostarczaniu dokładnych i odpowiednich danych wyjściowych. „Poczucie dopasowania między użytkownikiem a modelem ma kluczowe znaczenie dla uczynienia modelu bardziej użytecznym i efektywnym” — powiedział Altman.

GPT-4: Ludzka mądrość

Rozmowa przybrała inny obrót, gdy Fridman zapytał go, czy w OpenAI rośnie zrozumienie natury „czegoś”, co sprawia, że ​​modele GPT są tak potężne, czy też nadal jest to rodzaj pięknej, magicznej tajemnicy?

Altman uważa, że ​​istnieje wiele różnych metryk oceny, które można wykorzystać do pomiaru wydajności modelu, zarówno podczas treningu, jak i po nim. „Jednakże” — powiedział Altman — „najważniejszym wskaźnikiem jest to, jak użyteczne i skuteczne są wyniki modelu dla ludzi”.

„Obejmuje to wartość i użyteczność, jaką zapewnia, a także radość, jaką przynosi, oraz sposoby, w jakie może pomóc w tworzeniu lepszego świata dzięki nowej nauce, produktom i usługom” – dodał Altman.

Ponadto wspomniał, że chociaż naukowcy coraz lepiej rozumieją, w jaki sposób modele GPT działają dla określonych danych wejściowych, wciąż jest wiele rzeczy, których w pełni nie rozumieją. „Nie zawsze potrafimy wyjaśnić, dlaczego model podejmuje pewne decyzje zamiast innych, chociaż czynimy postępy w tej dziedzinie” — wyjaśnił Altman.

„Na przykład stworzenie GPT-4 wymagało dużego zrozumienia, ale możemy nigdy w pełni nie pojąć ogromnej ilości danych, które kompresuje on do niewielkiej liczby parametrów” — powiedział Altman.

Według niego GPT-4 można uznać za repozytorium ludzkiej wiedzy. Ponadto Altman uważa, że ​​ekscytującym aspektem modeli GPT jest do pewnego stopnia ich zdolność rozumowania. „Chociaż mogą istnieć różnice zdań co do tego, co stanowi rozumowanie, wielu użytkowników systemu przyznaje, że robi coś w tym kierunku i to jest niezwykłe” — zauważa.

Dyrektor generalny OpenAI uważa, że ​​przyswajając ludzką wiedzę, model nabywa pewną formę zdolności rozumowania, która w pewnym sensie może być dodatkiem do ludzkiej mądrości. Powiedział też, że można go używać do zadań, które w ogóle nie wymagają żadnej mądrości.

„W kontekście interakcji z ludźmi modele GPT mogą wydawać się posiadać mądrość, zwłaszcza gdy mamy do czynienia z wieloma problemami i ciągłymi interakcjami” – powiedział Altman.