• W zeszłym tygodniu Google poprosił pracowników o poświęcenie dwóch do trzech godzin na pomoc w szkoleniu chatbota Bard.
• Chatboty, takie jak Bard i ChatGPT, uczą się naśladować ludzi, pochłaniając fragmenty prac pisemnych.
• Google chce uniemożliwić Bardowi zachowanie emocjonalne lub udzielanie mylących odpowiedzi.

W zeszłym tygodniu Google wewnętrznie rozpoczęło „walkę psów”, podczas której pracownicy w całej organizacji zostali poproszeni o spędzenie od dwóch do czterech godzin na testowaniu Barda, nowego chatbota opartego na sztucznej inteligencji do wyszukiwania.

Odsłonięcie Bard nastąpiło wkrótce po tym, jak Microsoft ogłosił odnowioną wersję swojej wyszukiwarki Bing, która zawiera bota ChatGPT. Umożliwia użytkownikom prowadzenie dialogu w tę iz powrotem na niemal każdy temat. Google doznał lekkiego uszczerbku na reputacji po odkryciu, że Bard nieprawidłowo odpowiedział na pytanie. Podobnie, ponieważ coraz więcej osób testowało nowego Binga, napotkali problemy z botem tego silnika, na przykład jego skłonność do bojowego zachowania.

Boty, takie jak Bard i ChatGPT, szkolą się w zakresie tekstu napisanego przez ludzi, aby mogli ich naśladować. To wyjaśnia, dlaczego Bing może brzmieć nieco emocjonalnie i nieprzewidywalnie — bot wyszkolony do zachowywania się jak człowiek zrobi to, z błędami i wszystkim innym.

Te boty początkowo wykonują większość swojej nauki, pochłaniając duże zestawy danych szkoleniowych. Ponadto kierownik produktu Bard, Jack Krawczyk, powiedział personelowi w notatce, że własna praca firmy wykazała, że ​​dodanie wysokiej jakości odpowiedzi na zapytania użytkowników „dramatycznie” poprawiło jakość modelu AI.

Eksperci AI powiedzieli Insiderowi, w jaki sposób pracownicy Google mogą pisać wysokiej jakości odpowiedzi dla Bard, aby ulepszyć swój model. Eksperci ci ukończyli szeroko zakrojone badania w dziedzinie sztucznej inteligencji i dużych modeli językowych.

Boty mogą uczyć się na różne sposoby

Krawczyk powiedział personelowi, aby zadawał Bardowi pytania dotyczące obszarów, w których mają doświadczenie w dziedzinie, takich jak ulubione hobby. Następnie poproszono ich o ocenę odpowiedzi Barda, aby upewnić się, że są one zgodne z oczekiwaniami oraz mają rozsądną długość i strukturę. Jeśli odpowiedź była zbyt ludzka, merytorycznie błędna lub w inny sposób nie miała sensu, pracownicy mogli przepisać odpowiedź i przesłać ją, aby pomóc w szkoleniu modelu Barda.

Aby udoskonalić Bard, Google może wdrożyć połączenie nadzorowanego i wzmacniającego uczenia się, powiedział Vered Shwartz, adiunkt informatyki na University of British Columbia.

Nauka nadzorowana to pierwszy krok, w którym chatbot otrzymuje zapytania i odpowiedzi napisane przez ludzi, dopóki nie nauczy się pisać jak człowiek. Firma mogłaby zdecydować się na nałożenie na nią modelu uczenia się przez wzmacnianie, który byłby szkolony na podstawie odpowiedzi napisanych przez pracowników Google, aby pomóc jej zrozumieć, jakie wartości firma chciała, aby przedstawiały odpowiedzi Barda, czy to pod względem struktury, tonu lub innych cech.

Model ten sprawdzałby odpowiedzi udzielone przez Barda, odrzucając te złe i weryfikując te dobre, dopóki chatbot nie zrozumie, jak powinien się zachować. Zasadniczo „dobre” odpowiedzi od pracowników Google dopracowałyby model.

Model wzmacniania mógłby nauczyć Barda przekazywania informacji bez mówienia o emocjach lub udawania człowieka w inny sposób. Pierwszy model uczy podstawowych umiejętności pisania, podczas gdy drugi kierowałby odpowiedziami w pożądanym kierunku.

Z wystarczająco dobrymi odpowiedziami do analizy, model wzmocnienia byłby w stanie dowiedzieć się, co jest właściwe, a co nie, powiedział Zhou Yu, profesor informatyki na Uniwersytecie Columbia.

Dokładność rzeczowa

Google ostrożnie podchodzi do wdrażania chatbotów, prawdopodobnie ze względu na krótkoterminowy wpływ, jaki może mieć na marginesy wyszukiwania i obawy dotyczące dokładności. Nakazał pracownikom odrzucanie odpowiedzi na pytania, w których Bard próbował udzielić użytkownikowi porady na drażliwe tematy, takie jak finanse lub zdrowie, ponieważ ryzyko nieprawidłowych odpowiedzi jest wysokie.

Branża pracowała nad rzetelnością faktów, a OpenAI wydało w styczniu aktualizację, aby poprawić jej rzetelność w różnych tematach. Na konferencji poświęconej chatbotom i sztucznej inteligencji, która odbyła się w San Francisco w tym miesiącu, dyrektor generalny Anthropic, Dario Amodei, powiedział, że wierzy, iż chatboty przestaną zmyślać fakty, gdy modele udoskonalą się.

Chociaż szkolenie poprawi jakość generowanych odpowiedzi, Shwartz powiedziała, że ​​nie sądzi, aby całkowicie rozwiązało to problem dokładności merytorycznej. Bard i ChatGPT mają tendencję do „halucynacji”, termin przyjęty w branży, aby powiedzieć, że boty zmyślają. Będą pobierać treści ze stron internetowych i czasami błędnie je podsumowywać.

„Boty są szkolone, aby tworzyć tekst podobny do ludzkiego, a nie być prawdomównymi” – powiedział Shwartz.