W niedawnym artykule naukowcy z Microsoft Autonomous Systems and Robotics Group pokazali, w jaki sposób ChatGPT OpenAI można wykorzystać w aplikacjach robotycznych, w tym jak projektować monity i jak kierować ChatGPT, aby używał określonych bibliotek robotów do programowania danego zadania.

Jak wyjaśniają inżynierowie Microsoftu, obecna robotyka opiera się na ścisłej pętli sprzężenia zwrotnego między robotem a inżynierem, który jest odpowiedzialny za kodowanie zadania, obserwowanie zachowania robota i korygowanie go poprzez napisanie dodatkowego kodu.

W wizji firmy Microsoft ChatGPT można wykorzystać do przetłumaczenia opisu zadania do wykonania w języku ludzkim na kod dla robota. Umożliwiłoby to zastąpienie inżyniera (w pętli) z użytkownikiem nietechnicznym (w pętli) odpowiada jedynie za dostarczenie oryginalnego opisu zadania w ludzkim języku, obserwację robota i przekazanie wszelkich informacji zwrotnych na temat zachowania robota, ponownie w ludzkim języku, które ChatGPT przekształci również w kod poprawiający zachowanie.

Korzystając ze swojego eksperymentalnego podejścia, badacze firmy Microsoft opracowali szereg studiów przypadku, które obejmują planowanie zadania bez strzału, aby poinstruować drona, aby sprawdził zawartość półki; manipulowanie przedmiotami za pomocą ramienia robota; wyszukiwanie określonego obiektu w środowisku przy użyciu interfejsów API wykrywania obiektów i odległości obiektów; i inni.

We wszystkich tych przypadkach ChatGPT był w stanie wygenerować kod do sterowania robotem, a także poprosić o wyjaśnienia, aby lepiej wykonać zadanie, gdy dane wejściowe użytkownika były niejednoznaczne, powiedzmy Microsoft.

Prace firmy Microsoft mające na celu uczynienie ChatGPT użytecznym dla aplikacji robotów koncentrowały się na trzech głównych obszarach badań: jak zaprojektować monity używane do kierowania ChatGPT, używając interfejsów API i tworząc nowe interfejsy API wysokiego poziomu oraz jak przekazywać informacje zwrotne od ludzi za pomocą tekstu. Te trzy obszary stanowią podstawę metodologii wykorzystania ChatGPT do zadań robotów.

W pierwszym kroku użytkownik definiuje zestaw wysokopoziomowych interfejsów API lub bibliotek funkcji, z których powinien korzystać ChatGPT.

Ta biblioteka może być specyficzna dla konkretnego robota i powinna być mapowana do istniejących implementacji niskiego poziomu ze stosu kontrolnego robota lub biblioteki percepcji. Bardzo ważne jest, aby używać opisowych nazw interfejsów API wysokiego poziomu, aby ChatGPT mógł zrozumieć ich zachowania.

W drugim kroku użytkownik podaje opis celu zadania określony w zakresie dostępnych API lub funkcji.

Monit może również zawierać informacje o ograniczeniach zadań lub o tym, jak ChatGPT powinien formułować swoje odpowiedzi (specyficzny język kodowania, użycie pomocniczych elementów analizujących).

Na koniec użytkownik ocenia kod ChatGPT, korzystając z symulatora lub sprawdzając kod, i przekazuje informacje zwrotne dla ChatGPT w celu poprawienia kodu.

Gdy efekt jest zadowalający dla użytkownika, można zaprogramować robota za pomocą wygenerowanego kodu.

Microsoft uruchamia również platformę typu open source do współpracy, umożliwiającą użytkownikom dzielenie się strategiami podpowiedzi dla różnych kategorii robotów, która obecnie obejmuje wszystkie podpowiedzi i konwersacje, które zespół Microsoft wykorzystał do swoich badań. Ponadto planują również dodać symulatory robotyki i interfejsy do testowania algorytmów generowanych przez ChatGPT.