Wielkie modele językowe (LLM), takie jak BERT, GPT-3 i Codex, stały się możliwe dzięki ogromnemu postępowi w NLP, który zmienił kilka dziedzin. Modele te sprawdziły się wyjątkowo dobrze w różnych zastosowaniach, w tym w tworzeniu tekstu, tłumaczeniu maszynowym i syntezie kodu. Nie tak dawno do tego zestawu modeli dodano OpenAI ChatGPT, generatywny model tekstowy, który został wstępnie wytrenowany, a następnie udoskonalony na podstawie informacji zwrotnych od ludzi. ChatGPT zapewnia doskonałe możliwości interakcji poprzez dialog, łącząc tworzenie tekstu z syntezą kodu, w przeciwieństwie do wcześniejszych modeli, które w większości działają na podstawie jednego monitu.

ChatGPT dla robotyki

W przeciwieństwie do aplikacji tekstowych systemy robotyki muszą rozumieć fizykę świata rzeczywistego, interpretować otoczenie i podejmować działania fizyczne. Interakcja z użytkownikami w celu zrozumienia i wykonania poleceń w fizycznie możliwy sposób, który ma sens w rzeczywistym świecie, wymaga generatywnego modelu robotyki o wysokim poziomie wiedzy zdroworozsądkowej i złożonego modelu świata. Problemy te wykraczają poza to, co początkowo przewidywano dla modeli językowych, które miały rozszyfrować słowa na stronie i przekształcić je w plan działania.

ChatGPT może uwzględniać różne manifestacje fizyczne, angażować się w rozumowanie w zamkniętej pętli poprzez dialog i rozwiązywać szeroki zakres problemów zero-shot w robotyce. Ponieważ robotyka jest dobrze ugruntowaną dziedziną, dostępnych jest kilka bibliotek typu black-box i open-source ze względu na jej podstawową funkcjonalność w domenach percepcji i działania (np. wykrywanie i segmentacja obiektów, mapowanie, planowanie ruchu, sterowanie i chwytanie). Do rozumowania i wykonywania robotów LLM może zastosować te predefiniowane procedury, jeśli zostanie podany prawidłowy monit. Nazwa interfejsu programowania aplikacji (API) musi dokładnie odzwierciedlać ogólny cel i działanie funkcji. Warunki muszą być tak jasne, jak to możliwe, aby LLM mógł wyjaśnić powiązania funkcjonalne między interfejsami API i zapewnić oczekiwany wynik.

Wykorzystanie ChatGPT do aplikacji robotyki – reprezentowanej przez firmę Microsoft

Badacze Microsoft Autonomous Systems and Robotics Group zademonstrowali przydatność OpenAI ChatGPT dla aplikacji robotyki, demonstrując, jak budować monity i instruować ChatGPT, aby używał określonych bibliotek robotów do programowania zadania. Zdaniem ekspertów Microsoftu, współczesna robotyka opiera się na systemie zamkniętym, w którym inżynier koduje zadanie, monitoruje zachowanie robota i odpowiednio dostosowuje jego programowanie.

W wizji Microsoftu ChatGPT może służyć do konwersji opisu pracy w języku ludzkim na kod czytelny dla robota. Pozwoliłoby to użytkownikowi nietechnicznemu (w pętli) zająć miejsce inżyniera (w pętli) w procesie, przy czym jedynym obowiązkiem tego ostatniego byłoby dostarczenie oryginalnego opisu zadania w ludzkim języku, obserwacja robota i przekazać wszelkie informacje zwrotne na temat zachowania robota w ludzkim języku, które ChatGPT przekształci również w kod poprawiający zachowanie.

Wykorzystując metodologię eksperymentalną, badacze Microsoftu opracowali różne przypadki użycia, takie jak planowanie zadań bez strzału, aby kierować dronem w celu zbadania zawartości półki, manipulacja ramieniem robota oraz identyfikacja obiektów oparta na interfejsie API i wyszukiwanie na odległość.

Metoda ChatGPT firmy Microsoft do użytku w robotyce

Aby uczynić ChatGPT praktycznym w aplikacjach robotów, Microsoft skoncentrował się na trzech głównych obszarach badań: projektowaniu monitów używanych do kierowania ChatGPT, wykorzystaniu istniejących interfejsów API oraz dostarczaniu informacji zwrotnych od ludzi za pośrednictwem tekstu. Te trzy elementy stanowią podstawę strategii wykorzystania ChatGPT w robotyce.

1. Użytkownik określa zbiór wysokopoziomowych interfejsów programowania aplikacji (API) lub bibliotek funkcji, z których powinien korzystać ChatGPT.
2. Użytkownik opisuje pożądany efekt pracy w zakresie dostępnych interfejsów programowania aplikacji (API) lub funkcji.
3. W końcu użytkownik oferuje dane wejściowe do ChatGPT po ocenie jego kodu za pomocą symulatora lub przeglądając go bezpośrednio.

Jeśli użytkownik jest zadowolony z wyników, uzyskany kod może zostać użyty do instruowania robota.

Wszystkie pytania i interakcje, które zespół Microsoft wykorzystał do swoich badań, można znaleźć na nowej platformie współpracy typu open source, którą firma Microsoft udostępnia publicznie. Aby przetestować algorytmy generowane przez ChatGPT, chcą włączyć symulacje robotyki i interfejsy.

Sprawdź Papier. Cała zasługa za te badania należy się badaczom tego projektu. Nie zapomnij też dołączyć nasz SubReddit o ponad 14 tysiącach ML, Kanał DiscordaI Biuletyn e-mailowygdzie dzielimy się najnowszymi wiadomościami z badań nad sztuczną inteligencją, fajnymi projektami AI i nie tylko.