Kredyty obrazkowe: OpenAI

Nazywanie ChatGPT, darmowej sztucznej inteligencji do generowania tekstu, opracowanej przez start-up OpenAI z San Francisco, hitem to ogromne niedopowiedzenie.

Szacuje się, że w grudniu ChatGPT miał ponad 100 milionów aktywnych użytkowników miesięcznie. Przyciągnął uwagę mediów i zrodził niezliczone memy w mediach społecznościowych. Został użyty do napisania setek e-booków w sklepie Amazon Kindle. I jest uznawany za współautora co najmniej jednego artykułu naukowego.

Ale OpenAI, będąc biznesem – choć o ograniczonym zysku – musiał jakoś zarabiać na ChatGPT, aby inwestorzy się nie denerwowali. Zrobił krok w tym kierunku, wprowadzając w lutym usługę premium, ChatGPT Plus. Dzisiaj zrobił większy ruch, wprowadzając interfejs API, który pozwoli każdej firmie na wbudowanie technologii ChatGPT w swoje aplikacje, strony internetowe, produkty i usługi.

API zawsze było planem. Tak twierdzi Greg Brockman, prezes i prezes OpenAI (a także jeden ze współzałożycieli). Rozmawiał ze mną wczoraj po południu przez rozmowę wideo przed uruchomieniem API ChatGPT.

„Doprowadzenie tych interfejsów API do określonego poziomu jakości zajmuje nam trochę czasu” — powiedział Brockman. „Myślę, że to coś w rodzaju bycia w stanie sprostać popytowi i skali”.

Brockman mówi, że ChatGPT API jest zasilany przez ten sam model sztucznej inteligencji co szalenie popularny ChatGPT OpenAI, nazwany „gpt-3.5-turbo”. GPT-3.5 to najpotężniejszy model do generowania tekstu, jaki OpenAI oferuje obecnie za pośrednictwem swojego pakietu API; pseudonim „turbo” odnosi się do zoptymalizowanej, bardziej responsywnej wersji GPT-3.5, którą OpenAI po cichu testuje dla ChatGPT.

Kosztujący 0,002 USD za 1000 tokenów, czyli około 750 słów, Brockman twierdzi, że interfejs API może napędzać szereg doświadczeń, w tym aplikacje „nie-czatowe”. Snap, Quizlet, Instacart i Shopify należą do pierwszych użytkowników.

Początkową motywacją do opracowania gpt-3.5-turbo mogło być ograniczenie gigantycznych kosztów obliczeniowych ChatGPT. Dyrektor generalny OpenAI, Sam Altman, nazwał kiedyś wydatki ChatGPT „olśniewającymi”, szacując je na kilka centów za czat w kosztach obliczeniowych. (Przy ponad milionie użytkowników prawdopodobnie szybko się to sumuje).

Ale Brockman mówi, że gpt-3.5-turbo jest ulepszony na inne sposoby.

„Jeśli budujesz korepetytora opartego na sztucznej inteligencji, nigdy nie chcesz, aby korepetytor po prostu udzielał odpowiedzi uczniowi. Chcesz, aby zawsze wyjaśniał i pomagał im się uczyć — to przykład systemu, który powinieneś być w stanie zbudować [with the API]– powiedział Brockmann. „Uważamy, że będzie to coś, co po prostu sprawi, że interfejs API będzie znacznie bardziej użyteczny i dostępny”.

API ChatGPT stanowi podstawę My AI, niedawno ogłoszonego chatbota Snap dla subskrybentów Snapchata+ oraz nowej funkcji wirtualnego nauczyciela Quizlet Q-Chat. Shopify wykorzystał API ChatGPT do zbudowania spersonalizowanego asystenta rekomendacji zakupowych, podczas gdy Instacart wykorzystał go do stworzenia Ask Instacart, nadchodzącej opłaty, która pozwoli klientom Instacart pytać o jedzenie i uzyskiwać odpowiedzi „nadające się do zakupów” na podstawie danych produktów z firmowego sklepu detalicznego wzmacniacz.

„Zakupy spożywcze mogą wymagać dużego obciążenia psychicznego, z wieloma czynnikami, takimi jak budżet, zdrowie i odżywianie, osobiste upodobania, sezonowość, umiejętności kulinarne, czas przygotowania i inspiracja przepisami” – powiedział mi e-mailem główny architekt Instacart, JJ Zhuang . „Co by było, gdyby sztuczna inteligencja mogła wziąć na siebie ten ciężar psychiczny, a my moglibyśmy pomóc liderom gospodarstw domowych, którzy są powszechnie odpowiedzialni za zakupy spożywcze, planowanie posiłków i nakładanie jedzenia na stół – i faktycznie sprawić, by zakupy spożywcze były naprawdę zabawne? System sztucznej inteligencji Instacart, po zintegrowaniu z ChatGPT OpenAI, pozwoli nam dokładnie to zrobić i cieszymy się, że możemy zacząć eksperymentować z tym, co jest możliwe w aplikacji Instacart”.

Kredyty obrazkowe: Instakart

Jednak ci, którzy uważnie śledzili sagę ChatGPT, mogą się zastanawiać, czy jest już gotowa do wydania — i słusznie.

Na początku użytkownicy byli w stanie skłonić ChatGPT do odpowiadania na pytania w sposób rasistowski i seksistowski, co jest odzwierciedleniem stronniczych danych, na których początkowo szkolono ChatGPT. (Dane treningowe ChatGPT obejmują szeroki zakres treści internetowych, a mianowicie e-booki, posty z Reddita i artykuły w Wikipedii). ChatGPT wymyśla również fakty bez ujawniania, że ​​to robi, co jest zjawiskiem w sztucznej inteligencji znanym jako halucynacja.

ChatGPT — i podobne systemy — są również podatne na ataki oparte na monitach lub złośliwe monity przeciwnika, które zmuszają je do wykonywania zadań, które nie były częścią ich pierwotnych celów. Całe społeczności na Reddit utworzyły się wokół szukania sposobów na „złamanie więzienia” ChatGPT i obejście wszelkich zabezpieczeń wprowadzonych przez OpenAI. W jednym z mniej obraźliwych przykładów pracownik startupu Scale AI był w stanie zmusić ChatGPT do ujawniać informacje o jego wewnętrznych działaniach technicznych.

Marki bez wątpienia nie chciałyby znaleźć się na celowniku. Brockman jest nieugięty, że tak nie będzie. Dlaczego tak? Mówi, że jednym z powodów jest ciągła poprawa zaplecza — w niektórych przypadkach kosztem kenijskich pracowników kontraktowych. Ale Brockman podkreślił nowe (i zdecydowanie mniej kontrowersyjne) podejście, które OpenAI nazywa Chat Markup Language lub ChatML. ChatML przekazuje tekst do API ChatGPT jako sekwencję komunikatów wraz z metadanymi. Jest to przeciwieństwo standardowego ChatGPT, który wykorzystuje nieprzetworzony tekst reprezentowany jako seria tokenów. (Na przykład słowo „fantastyczny” zostałoby podzielone na tokeny „fan”, „tas” i „tic”).

Na przykład, biorąc pod uwagę monit „Jakie są ciekawe pomysły na przyjęcie na moje 30. urodziny?” programista może dołączyć do tego monitu dodatkowy monit, taki jak „Jesteś zabawnym konwersacyjnym chatbotem zaprojektowanym, aby pomagać użytkownikom w zadawaniu pytań. Powinieneś odpowiadać zgodnie z prawdą iw zabawny sposób!” lub „Jesteś botem” przed przetworzeniem przez API ChatGPT. Według Brockmana te instrukcje pomagają lepiej dostosować — i filtrować — odpowiedzi modelu ChatGPT.

„Przechodzimy do interfejsu API wyższego poziomu. Jeśli masz bardziej ustrukturyzowany sposób przedstawiania danych wejściowych do systemu, w którym mówisz „to pochodzi od programisty” lub „to pochodzi od użytkownika”… Powinienem oczekiwać, że jako programista możesz być bardziej niezawodny [using ChatML] przed tego rodzaju szybkimi atakami” – powiedział Brockman.

Kolejną zmianą, która (miejmy nadzieję) zapobiegnie niezamierzonemu zachowaniu ChatGPT, są częstsze aktualizacje modeli. Brockman mówi, że wraz z wydaniem gpt-3.5-turbo programiści będą domyślnie automatycznie aktualizowani do najnowszego stabilnego modelu OpenAI, zaczynając od gpt-3.5-turbo-0301 (wydanego dzisiaj). Deweloperzy będą mogli jednak pozostać przy starszym modelu, jeśli tak zdecydują, co może nieco zniweczyć korzyści.

Niezależnie od tego, czy zdecydują się na aktualizację do najnowszego modelu, czy nie, Brockman zauważa, że ​​niektórzy klienci — głównie duże przedsiębiorstwa z odpowiednio dużymi budżetami — uzyskają głębszą kontrolę nad wydajnością systemu po wprowadzeniu dedykowanych planów wydajności. Po raz pierwszy wyszczególnione w dokumentacji, która wyciekła na początku tego miesiąca, uruchomione dzisiaj dedykowane plany pojemności OpenAI pozwalają klientom płacić za alokację infrastruktury obliczeniowej w celu uruchomienia modelu OpenAI — na przykład gpt-3.5-turbo. (Nawiasem mówiąc, jest to Azure na zapleczu).

Oprócz „pełnej kontroli” nad obciążeniem instancji — zwykle wywołania API OpenAI odbywają się na współdzielonych zasobach obliczeniowych — dedykowana pojemność daje klientom możliwość włączenia funkcji, takich jak dłuższe limity kontekstowe. Granice kontekstu odnoszą się do tekstu, który model bierze pod uwagę przed wygenerowaniem dodatkowego tekstu; dłuższe ograniczenia kontekstowe pozwalają modelowi zasadniczo „zapamiętać” więcej tekstu. Chociaż wyższe limity kontekstowe mogą nie rozwiązać wszystkich problemów z uprzedzeniami i toksycznością, mogą sprawić, że modele takie jak gpt-3.5-turbo będą mniej halucynować.

Brockman mówi, że klienci z dedykowaną pojemnością mogą oczekiwać modeli gpt-3.5-turbo z oknem kontekstowym do 16 000, co oznacza, że ​​mogą przyjąć cztery razy więcej tokenów niż standardowy model ChatGPT. To może pozwolić komuś wkleić strony i strony kodu podatkowego i uzyskać rozsądne odpowiedzi z modelu, powiedzmy – wyczyn, który nie jest dziś możliwy.

Brockman nawiązał do ogólnego wydania w przyszłości, ale nie w najbliższym czasie.

„Okna kontekstowe zaczynają się pełzać, a jednym z powodów, dla których jesteśmy teraz oddani wyłącznie klientom pojemnościowym, jest to, że po naszej stronie jest wiele kompromisów w zakresie wydajności” — powiedział Brockman. „Może w końcu będziemy w stanie zaoferować wersję tego samego na żądanie”.

Biorąc pod uwagę rosnącą presję OpenAI, aby osiągnąć zysk po wielomiliardowej inwestycji Microsoftu, nie byłoby to strasznie zaskakujące.