W typowym roku Cloud Next — jedna z dwóch głównych corocznych konferencji programistów Google, druga to I/O — obejmuje prawie wyłącznie produkty i usługi zarządzane, w przeciwnym razie o zamkniętym kodzie źródłowym, z zamkniętymi drzwiami i zablokowanymi interfejsami API. Jednak w tym roku, czy to po to, by wspierać dobrą wolę programistów, czy rozwijać swoje ambicje ekosystemowe (lub jedno i drugie), Google zadebiutowało szereg narzędzi typu open source, których głównym celem jest wspieranie projektów i infrastruktury generatywnej sztucznej inteligencji.

Pierwsza, MaxDiffusion, którą Google po cichu wypuścił w lutym, to zbiór referencyjnych implementacji różnych modeli dyfuzji — modeli takich jak generator obrazu Stable Diffusion — działających na urządzeniach XLA. „XLA” oznacza Accelerated Linear Algebra, co prawda niezręczny akronim odnoszący się do techniki, która optymalizuje i przyspiesza określone typy obciążeń AI, w tym dostrajanie i udostępnianie.

Własne jednostki przetwarzające tensor (TPU) firmy Google to urządzenia XLA, podobnie jak najnowsze procesory graficzne Nvidia.

Poza MaxDiffusion Google uruchamia Jetstream, nowy silnik do uruchamiania generatywnych modeli sztucznej inteligencji – w szczególności modeli generujących tekst (tzw. nie Stabilna dyfuzja). Obecnie ogranicza się do obsługi procesorów TPU z kompatybilnością z procesorami graficznymi, które rzekomo mają pojawić się w przyszłości, Jetstream oferuje do 3 razy wyższą „wydajność w przeliczeniu na dolara” w przypadku modeli takich jak Gemma 7B firmy Google i Llama 2 firmy Meta, twierdzi Google.

„W miarę jak klienci przenoszą swoje obciążenia AI do środowiska produkcyjnego, rośnie zapotrzebowanie na ekonomiczny stos wnioskowania zapewniający wysoką wydajność” – napisał Mark Lohmeyer, dyrektor generalny ds. infrastruktury obliczeniowej i uczenia maszynowego w Google Cloud, w poście na blogu udostępnionym TechCrunch. „JetStream pomaga w tej potrzebie… i zawiera optymalizacje dla popularnych modeli otwartych, takich jak Llama 2 i Gemma”.

„3-krotna” poprawa jest dość twierdzeniem i nie jest do końca jasne, w jaki sposób Google doszedł do tej wartości. Używasz jakiej generacji TPU? W porównaniu z jakim silnikiem podstawowym? A jak w ogóle definiuje się tutaj „wydajność”?

Zadałem Google wszystkie te pytania i zaktualizuję ten post, jeśli otrzymam odpowiedź.

Przedostatnie na liście wkładów Google w oprogramowanie open source znajdują się nowe dodatki do MaxText, kolekcji Google generujących tekst modeli AI przeznaczonych dla procesorów TPU i procesorów graficznych Nvidia w chmurze. MaxText obejmuje teraz Gemma 7B, GPT-3 OpenAI (poprzednik GPT-4), Llama 2 i modele startowego AI Mistral – wszystkie, według Google, można dostosować i dostroić do potrzeb programistów.

„Mocno zoptymalizowaliśmy [the models’] wydajności na procesorach TPU, a także blisko współpracował z firmą Nvidia w celu optymalizacji wydajności w dużych klastrach GPU” – powiedział Lohmeyer. „Te ulepszenia maksymalizują wykorzystanie procesora graficznego i TPU, co prowadzi do wyższej efektywności energetycznej i optymalizacji kosztów.

Wreszcie firma Google nawiązała współpracę z Hugging Face, start-upem zajmującym się sztuczną inteligencją, aby stworzyć Optimum TPU, które zapewnia narzędzia umożliwiające przeniesienie określonych obciążeń AI do TPU. Według Google celem jest zmniejszenie bariery wejścia na rynek dla umieszczania generatywnych modeli AI na sprzęcie TPU – w szczególności modeli generujących tekst.

Ale obecnie Optimum TPU to trochę gołe kości. Jedynym modelem, z którym współpracuje, jest Gemma 7B. Optimum TPU nie obsługuje jeszcze modeli generatywnych trenowania na TPU – jedynie ich uruchamianie.

Obiecujące ulepszenia Google w przyszłości.