Twitch zablokował „Nothing, Forever”, generowany przez sztuczną inteligencję strumień Seinfeld, na co najmniej 14 dni po transfobicznym i homofobicznym wybuchu. To najnowszy przykład „nienawiści na wejściu, nienawiści na zewnątrz”, kiedy chatboty AI są szkolone w zakresie obraźliwych treści bez odpowiedniej moderacji.

Tak jak Seinfelda, „Nothing, Forever” obraca się między fragmentami stand-upu i scenami w mieszkaniu komika (nazywa się „Larry Feinberg” w wersji AI). Jak po raz pierwszy poinformował o Wice, podczas jednego z niedawnych stand-upów napisanych przez sztuczną inteligencję, odpowiednik Seinfelda zasugerował, że bycie transpłciowym jest chorobą psychiczną. W czymś, co wydawało się prawie świadomością obraźliwości materiału, komik AI szybko dodał: „Ale nikt się nie śmieje, więc przestanę. Dzięki, że przyszedłeś dziś wieczorem. Do zobaczenia następnym razem. Gdzie się wszyscy podziali?

Chociaż Twitch nie potwierdził, że „żart” był powodem blokady, transmisja została usunięta wkrótce po wyemitowaniu problematycznego fragmentu. Twórcy programu obwiniają bolesną tyradę o zmianę modelu, która nieumyślnie opuściła strumień bez narzędzi do moderacji.

„Wcześniej wieczorem zaczęliśmy mieć awarię przy użyciu modelu OpenAI GPT-3 Davinci, co spowodowało, że program wykazywał błędne zachowania (być może widzieliście cykliczne puste pokoje)”, napisał członek personelu na Discordzie. „OpenAI ma mniej wyrafinowany model, Curie, który był poprzednikiem Davinci. Kiedy davinci zaczął zawodzić, przerzuciliśmy się na Curie, aby spróbować utrzymać program bez żadnych przestojów. Przejście na Curie spowodowało wygenerowanie nieodpowiedniego tekstu. Wykorzystujemy narzędzia do moderowania treści OpenAI, które do tej pory działały w modelu Davinci, ale nie odniosły sukcesu w przypadku Curie. Udało nam się zidentyfikować pierwotną przyczynę naszego problemu z modelem Davinci i nie będziemy używać Curie jako rozwiązania awaryjnego w przyszłości. Mamy nadzieję, że rzuci to trochę światła na to, jak do tego doszło”.

Zespół rozwinął się w innym poście na Discordzie (przez Krawędź). „Błędnie sądziliśmy, że wykorzystujemy system moderowania treści OpenAI do ich modeli generowania tekstu. Pracujemy teraz nad wdrożeniem interfejsu API moderacji treści OpenAI (jest to narzędzie, którego możemy użyć do weryfikacji bezpieczeństwa treści) przed ponownym uruchomieniem i badamy drugorzędne systemy moderacji treści jako nadmiarowe. ”

Chociaż zespół brzmi naprawdę przepraszająco, podkreślając, że bigoteryjna tyrada była błędem technicznym, który nie reprezentuje ich poglądów, ponownie podkreśla znaczenie konsekwentnego moderowania AI. Być może pamiętasz chatbota Microsoftu na Twitterze, który działał tylko około 16 godzin po tym, jak użytkownicy nauczyli go wypluwać teorie spiskowe, rasistowskie poglądy i mizoginistyczne uwagi. Potem był bot wyszkolony całkowicie na 4chan, który okazał się dokładnie taki, jak można się było spodziewać. Niezależnie od tego, czy „Nothing, Forever” powróci, czy nie, następnym razem, gdy zespół programistów stanie przed wyborem między uniknięciem nieoczekiwanego przestoju a upewnieniem się, że te filtry są na swoim miejscu, wybierz to drugie.