W poście na blogu Microsoft zwraca uwagę na trudności związane z tradycyjnym programowaniem robotów. Obecne potoki robotyki zaczynają się od inżyniera, który tłumaczy wymagania zadania na kod systemu. Inżynier pisze kod, a następnie przepisuje go ponownie, aby poprawić zachowanie bota, dopóki nie zostanie udoskonalony. Proces jest żmudny, kosztowny i nieefektywny.

ChatGPT można wykorzystać do znacznego uproszczenia tego procesu, umożliwiając programowanie robotów nawet użytkownikom nietechnicznym. Informacje zwrotne na wysokim poziomie (polecenia w prostym języku angielskim) można przekazać do ChatGPT, który następnie wygeneruje kod, głównie w Pythonie, do odpowiedniego sterowania robotem. „Bez żadnego dostrajania wykorzystujemy wiedzę LLM do kontrolowania różnych kształtów robotów do różnych zadań”, dodaje post na blogu.

W ramach demonstracji tej techniki firma Microsoft udostępniła wideo, w którym ChatGPT napisał kod do sterowania prawdziwym dronem na podstawie prostych podpowiedzi wprowadzonych przez użytkownika. Chociaż obiekty, z którymi robot wchodził w interakcje, zostały wstępnie zdefiniowane w ChatGPT wraz z ich danymi pozycyjnymi, wyniki nadal były niezwykłe.

Na przykład wprowadzenie „Nadal jestem spragniony. Czy potrafisz znaleźć coś z cukrem i czerwonym logo?” sprawił, że ChatGPT zrozumiał, że użytkownik odnosi się do puszki coli w pokoju. Chatbot AI zaprogramował następnie bota, aby nawigował po pokoju w kierunku puszki.

Naukowcy zauważyli również w swoim poście na blogu, że „ChatGPT zadawał pytania wyjaśniające, gdy instrukcje użytkownika były niejednoznaczne, i napisał złożone struktury kodu dla drona, takie jak zygzakowaty wzór w celu wizualnej kontroli półek”.

ChatGPT może pisać kod, ponieważ został przeszkolony na ogromnych ilościach danych, które obejmowały również kod. Chatbot już udowodnił, że potrafi rozwiązywać problemy z kodowaniem, jednocześnie udzielając szczegółowych wyjaśnień, a także szukając wyjaśnień tam, gdzie to konieczne.

Oprócz eksperymentu z dronem, badacze Microsoftu przetestowali również ChatGPT pod kątem użycia ramienia robota do poruszania się po blokach w celu stworzenia logo Microsoftu. Przetestowali również, czy ChatGPT jest w stanie zdecydować, gdzie robot powinien się udać na podstawie informacji zwrotnych z czujnika w czasie rzeczywistym.