Open Source GPT Chat zrobił kolejny krok naprzód wraz z wydaniem Dolly Large Language Model (DLL) stworzonego przez firmę zajmującą się oprogramowaniem Databricks dla przedsiębiorstw.

Nowy klon ChatGPT nazywa się Dolly, nazwany na cześć słynnej owcy o tej nazwie, pierwszego sklonowanego ssaka.

Duże modele językowe typu open source

Dolly LLM to najnowszy przejaw rozwijającego się ruchu open source AI, który ma na celu zapewnienie większego dostępu do technologii, tak aby nie była zmonopolizowana i kontrolowana przez duże korporacje.

Jedną z obaw napędzających ruch sztucznej inteligencji typu open source jest to, że firmy mogą niechętnie przekazywać poufne dane stronie trzeciej, która kontroluje technologię sztucznej inteligencji.

Oparte na Open Source

Dolly została stworzona na podstawie modelu open source stworzonego przez instytut badawczy non-profit EleutherAI oraz modelu Alpaca Uniwersytetu Stanforda, który sam został utworzony z 65 miliardów parametrów modelu open source LLaMA stworzonego przez Meta.

LLaMA, co oznacza Large Language Model Meta AI, to model językowy, który jest szkolony na publicznie dostępnych danych.

Według artykułu Weights & Biases, LLaMA może przewyższyć wiele najlepszych modeli językowych (OpenAI GPT-3, Gopher firmy Deep Mind i Chinchilla firmy DeepMind), mimo że jest mniejsza.

Tworzenie lepszego zbioru danych

Kolejna inspiracja pochodziła z akademickiego artykułu badawczego (SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions PDF), w którym nakreślono sposób tworzenia wysokiej jakości automatycznie generowanych danych treningowych z pytaniami i odpowiedziami, które są lepsze niż ograniczone dane publiczne.

Artykuł badawczy Self-Instruct wyjaśnia:

„…opracowujemy zestaw instrukcji napisanych przez ekspertów dla nowych zadań i pokazujemy poprzez ocenę ludzką, że dostrajanie GPT3 za pomocą SELF-INSTRUCT znacznie przewyższa istniejące zestawy danych instrukcji publicznych, pozostawiając tylko 5% bezwzględnej luki w stosunku do InstructGPT…

… Stosując naszą metodę do standardowego GPT3, wykazaliśmy bezwzględną poprawę o 33% w porównaniu z oryginalnym modelem na SUPERNATURALINSTRUCTIONS, na równi z wydajnością InstructGPT…, który jest szkolony na podstawie danych prywatnych użytkowników i adnotacji ludzkich.

Znaczenie Dolly polega na tym, że pokazuje, że można stworzyć użyteczny duży model językowy z mniejszym, ale wysokiej jakości zestawem danych.

Datakostki zauważa:

„Dolly działa, biorąc istniejący model open source o 6 miliardach parametrów z EleutherAI i modyfikując go nieznacznie, aby uzyskać instrukcje następujące po możliwościach, takich jak burza mózgów i generowanie tekstu, których nie ma w oryginalnym modelu, przy użyciu danych z Alpaca.

…Pokazujemy, że każdy może wziąć przestarzały, gotowy model dużego języka (LLM) typu open source i nadać mu magiczne instrukcje podobne do ChatGPT, trenując go w ciągu 30 minut na jednym komputerze, korzystając z wysokiej jakości danych szkoleniowych.

Co zaskakujące, postępowanie zgodnie z instrukcjami nie wydaje się wymagać najnowszych ani największych modeli: nasz model ma tylko 6 miliardów parametrów, w porównaniu do 175 miliardów dla GPT-3”.

Sztuczna inteligencja typu open source

Mówi się, że Dolly demokratyzuje sztuczną inteligencję. Jest to część ruchu szatniczego, do którego niedawno dołączyła organizacja non-profit Mozilla, zakładając Mozilla.ai. Mozilla jest wydawcą przeglądarki Firefox i innego oprogramowania typu open source.

Przeczytaj pełne ogłoszenie Databricks:

Hello Dolly: Demokratyzowanie magii ChatGPT za pomocą otwartych modeli