Sztuczna inteligencja Microsoftu przedstawia 13-miliardowy model parametrów, który uczy się naśladować procesy rozumowania dużych modeli podstawowych (LFM).

Ostatnie badania koncentrowały się na poprawie kompetencji mniejszych modeli poprzez uczenie się naśladujące z wykorzystaniem wyników LFM. Oto lista modeli NLP Foundation: Transformers, BERT, RoBERTa i wiele odmian GPT, takich jak GPT, GPT-2, GPT-3, GPT-3.5, GPT-4 i tak dalej.

W wyniku imponujących możliwości uczenia się typu zero-shot LFM, takich jak ChatGPT i GPT-4, pojawiło się pytanie, czy te modele mogą nadzorować swoje zachowanie lub zachowanie innych modeli przy niewielkiej lub żadnej interakcji człowieka.

Orka

Orca, model o 13 miliardach parametrów opracowany przez zespół badawczy firmy Microsoft, wykorzystuje GPT-4 do interpretacji złożonych ścieżek wyjaśniających i procesów wnioskowania krok po kroku. Orca uczy się replikować rozumowanie LFM. Wydajność istniejących najnowocześniejszych modeli dostosowanych do instrukcji jest znacznie zwiększona dzięki ich nowatorskiej metodzie, która rozwiązuje problemy związane z różnorodnością zadań, złożonością zapytań i skalowaniem danych.

Proces uczenia

Badacze zgadzają się, że pary pytanie-odpowiedź GPT -4 mogą służyć jako pomocne punkty odniesienia dla modeli uczniów. W rezultacie ulepszają te zestawy, dodając rozbudowane wyjaśnienia, które rzucają światło na procesy myślowe nauczycieli. Orca pomaga wypełnić lukę między nauczycielami a ich uczniami, umieszczając ślady wyjaśnień w modelach uczniów, aby poprawić ich rozumowanie i zrozumienie.

Naukowcy wykorzystują kolekcję Flan 2022, aby usprawnić proces uczenia się Orki. Zespół wybiera obowiązki z tej obszernej listy, aby zapewnić różnorodne wyzwania. Te przypisania są następnie próbkowane podrzędnie w celu wygenerowania złożonych zapytań dla LFM. Ta metoda generuje różnorodny i bogaty zestaw treningowy, który ułatwia Orce solidne uczenie się, pozwalając mu efektywnie wykonywać różne zadania.

Ocena

Aby zbadać możliwości Orca, naukowcy przeprowadzają szeroko zakrojone testy skupiające się na zdolnościach generowania, rozumowania i rozumienia. Porównują wydajność Orca do branżowych testów porównawczych, w tym Text-Davinci-003, ChatGPT, GPT-4 i Vicuna. Wyniki pokazują, że Orca przewyższa najnowocześniejsze modele dostrojone do instrukcji, takie jak Vicuna-13B, z ponad 100% poprawą w stosunku do BigBench Hard (BBH). Orca radzi sobie również konkurencyjnie na egzaminach akademickich w warunkach zero-shot, demonstrując swój potencjał w zastosowaniach w świecie rzeczywistym.

Wyniki

Wyniki badań pokazują ogromny potencjał uczenia się poprzez wyjaśnienia krok po kroku w zakresie poprawy wydajności modelu. Orca przynosi znaczne korzyści w modelach dostrojonych do instrukcji, włączając dokładne ślady wyjaśnień i skalowanie zadań za pomocą złożonych monitów. Ta strategia nie tylko pozwala modelom uczniów poprawić ich umiejętności rozumowania i rozumienia, ale także pozwala im przekroczyć istniejące standardy.

Ponieważ LFM są stale ulepszane, samonadzorowane procesy uczenia się i możliwość nadzorowania innych modeli z niewielką pomocą człowieka mogą zmienić sposób, w jaki robi się sztuczną inteligencję. Doprecyzowując proces uczenia się na podstawie złożonych śladów wyjaśniania, badacze mogą stale poprawiać skuteczność modeli w różnych zadaniach. Pomaga w postępie przetwarzania języka naturalnego.

Wniosek

Modele dostrojone do instrukcji zrobiły duży krok naprzód dzięki pomocy Orca, modelu o 13 miliardach parametrów, który uczy się ścieżek wyjaśniających z GPT-4. Orca jest lepsza niż istniejące modele, ponieważ dostosowuje wyjaśnienia, skaluje zadania i kierunki oraz stosuje ścisłą ocenę. To duży krok naprzód dla systemów AI.

Orca uczy się na podstawie bogatych sygnałów GPT-4, takich jak ślady wyjaśnień, procesy myślowe krok po kroku i inne skomplikowane wskazówki, z pomocą nauczyciela za pośrednictwem ChatGPT. Aby wspomóc tego rodzaju progresywne uczenie się, naukowcy wykorzystują próbkowanie i selekcję, aby przebierać i wybierać spośród wielu różnych kopii danych. Ponadto Orca radzi sobie równie dobrze jak ChatGPT w pomiarze BBH i radzi sobie dobrze w testach zawodowych i akademickich, takich jak SAT, LSAT, GRE i GMAT w ustawieniach zerowych bez CoT, ale GPT-4 radzi sobie lepiej. Ich badanie pokazuje, że uczenie się na podstawie wyjaśnień krok po kroku, czy to dokonanych przez ludzi, czy bardziej zaawansowanych modeli sztucznej inteligencji, jest obiecującym sposobem na poprawę zdolności i umiejętności modeli.