W testach z czytania Bard wypadł lepiej niż z matematyki.

Bard, chatbot Google ze sztuczną inteligencją (AI), trafia na pierwsze strony gazet od czasu jego premiery. Alphabet stracił 100 miliardów dolarów wartości rynkowej po tym, jak jego nowy chatbot udostępnił niedokładne informacje w filmie promocyjnym na imprezie firmowej na początku lutego. Według raportu w Fortune, Sundar Pichai, dyrektor generalny firmy technologicznej, wydaje się być zrelaksowany co do tego, jak daleko muszą się rozwinąć modele sztucznej inteligencji firmy. W liście do całego personelu powiedział, że Bard jest wciąż na wczesnym etapie rozwoju: „Gdy więcej osób zacznie używać Barda i testować jego możliwości, zaskoczą nas. Coś pójdzie nie tak”. Bard jest obecnie testowany przez ogół społeczeństwa, podczas gdy wcześniej był używany głównie przez pracowników Google.

Fortune niedawno przetestował wiedzę chatbota AI przed nadchodzącymi egzaminami SAT, ustandaryzowanym testem, który jest szeroko stosowany przy przyjęciach na studia w Stanach Zjednoczonych. Egzamin sprawdza głównie umiejętności, w tym czytanie, pisanie i matematykę.

Jednak punkt sprzedaży zauważył, że po zalogowaniu pojawił się komunikat: „Bard nie zawsze zrobi to dobrze. Bard może udzielić niedokładnych lub nieodpowiednich odpowiedzi. W razie wątpliwości użyj przycisku „Google it”, aby sprawdzić odpowiedzi Barda. Bard Twoja opinia będzie lepsza. Oceń odpowiedzi i oznacz wszystko, co może być obraźliwe lub niebezpieczne”.

Fortune uzyskała przykładowe pytania matematyczne SAT z internetowych materiałów do nauki i odkryła, że ​​Bard odpowiedział nieprawidłowo na 50-75 procent z nich, nawet jeśli oferowano rozwiązania wielokrotnego wyboru. Kiedy ponownie postawiono to samo pytanie, otrzymano odpowiedzi, które nie były nawet opcjami wielokrotnego wyboru.

Kiedy Bard został wystrzelony, miał za zadanie odpowiedzieć na kilka pytań, z których jednym było wyjaśnienie dziewięciolatkowi, co znalazł Kosmiczny Teleskop Jamesa Webba. Pomimo potwierdzenia NASA, że Bardzo Duży Teleskop w Chile, naziemna macierz, uzyskała pierwszy obraz egzoplanety w 2004 roku i zidentyfikowała ją jako taką w 2005 roku, Bard odpowiedział, że teleskop uzyskał „pierwsze zdjęcia planety poza nasz własny układ słoneczny”.

Co więcej, pierwszy pisemny test językowy Barda z Fortune dał około 30 procent poprawnych odpowiedzi, często trzeba było zadać pytania dwa razy, aby zrozumiał.

Nawet jeśli odpowiedź była błędna, „ton Barda jest pewny siebie”, ponieważ często przedstawiał odpowiedzi jako „Prawidłowa odpowiedź brzmi” – co jest wspólną cechą dużych modeli językowych, jak podaje outlet.

W testach z czytania Bard wypadł lepiej niż z matematyki, uzyskując mniej więcej połowę poprawnych odpowiedzi.

W sumie Bard zdobył 1200 punktów, wynik, który umożliwiłby studentowi dostanie się na Howard University, San Diego State University i Michigan State University.

Rzecznik Google powiedział magazynowi Fortune: „Bard jest eksperymentalny, a niektóre odpowiedzi mogą być niedokładne, więc dokładnie sprawdzaj informacje w odpowiedziach Barda. Dzięki Twoim opiniom Bard staje się coraz lepszy każdego dnia. Zanim Bard został udostępniony publicznie, tysiące testerów było zaangażowanych w przekaż opinię, aby pomóc firmie Bard poprawić jej jakość, bezpieczeństwo i dokładność.

„Przyspieszanie pomysłów ludzi za pomocą generatywnej sztucznej inteligencji jest naprawdę ekscytujące, ale to wciąż wczesne dni, a Bard to eksperyment. Chociaż Bard ma wbudowane kontrole bezpieczeństwa i jasne mechanizmy informacji zwrotnej zgodnie z naszymi zasadami sztucznej inteligencji, pamiętaj, że może wyświetlać niedokładne Informacja.”