ChatGPT eksploduje, a szkielet jego modelu sztucznej inteligencji opiera się na kartach graficznych Nvidii. Jeden z analityków powiedział, że do szkolenia ChatGPT użyto około 10 000 procesorów graficznych Nvidia, a wraz z rozwojem usługi rośnie zapotrzebowanie na procesory graficzne. Każdy, kto przeżył wzrost krypto w 2021 roku, może wyczuć niedobór GPU na horyzoncie.

Widziałem, jak kilku reporterów tworzyło dokładnie takie połączenie, ale jest ono błędne. Czasy niedoborów procesorów graficznych opartych na kryptografii są już za nami. Chociaż prawdopodobnie będziemy świadkami gwałtownego wzrostu popytu na karty graficzne w miarę rozwoju sztucznej inteligencji, popyt ten nie jest skierowany na najlepsze karty graficzne instalowane w zestawach do gier.

Dlaczego procesory graficzne Nvidia zostały stworzone z myślą o sztucznej inteligencji

Najpierw zajmiemy się, dlaczego karty graficzne Nvidia są tak świetne dla sztucznej inteligencji. Nvidia od kilku lat stawia na sztuczną inteligencję i opłaciło się to gwałtownym wzrostem ceny akcji firmy po wzroście ChatGPT. Istnieją dwa powody, dla których widzisz Nvidię w sercu szkolenia AI: rdzenie tensorowe i CUDA.

CUDA to interfejs programowania aplikacji (API) Nvidii używany we wszystkim, od najdroższych procesorów graficznych do centrów danych po najtańsze procesory graficzne do gier. Akceleracja CUDA jest obsługiwana w bibliotekach uczenia maszynowego, takich jak TensorFlow, znacznie przyspieszając szkolenie i wnioskowanie. CUDA jest siłą napędową tego, że AMD jest tak daleko w tyle pod względem sztucznej inteligencji w porównaniu z Nvidią.

Nie należy jednak mylić CUDA z rdzeniami CUDA Nvidii. CUDA to platforma, na której działa mnóstwo aplikacji AI, podczas gdy rdzenie CUDA to tylko rdzenie wewnątrz procesorów graficznych Nvidia. Dzielą nazwę, a rdzenie CUDA są lepiej zoptymalizowane do uruchamiania aplikacji CUDA. Procesory graficzne Nvidii do gier mają rdzenie CUDA i obsługują aplikacje CUDA.

Rdzenie Tensor to w zasadzie dedykowane rdzenie AI. Obsługują mnożenie macierzy, które jest tajnym sosem przyspieszającym szkolenie AI. Pomysł tutaj jest prosty. Mnoż wiele zestawów danych jednocześnie i wykładniczo trenuj modele AI, generując możliwe wyniki. Większość procesorów obsługuje zadania w sposób liniowy, podczas gdy rdzenie Tensor mogą szybko generować scenariusze w jednym cyklu zegara.

Ponownie, procesory graficzne Nvidii do gier, takie jak RTX 4080, mają rdzenie Tensor (a czasem nawet więcej niż kosztowne procesory graficzne do centrów danych). Jednak dla wszystkich specyfikacji kart Nvidii, które mają przyspieszać modele AI, żadna z nich nie jest tak ważna jak pamięć. A procesory graficzne Nvidii do gier nie mają dużo pamięci.

Wszystko sprowadza się do pamięci

„Najważniejszy jest rozmiar pamięci” — twierdzi Jeffrey Heaton, autor kilku książek o sztucznej inteligencji i profesor na Uniwersytecie Waszyngtońskim w St. Louis. „Jeśli nie masz wystarczającej ilości pamięci RAM GPU, dopasowanie/wnioskowanie modelu po prostu się zatrzymuje”.

Heaton, który ma kanał YouTube poświęcony temu, jak dobrze działają modele AI na niektórych GPU, zauważył, że rdzenie CUDA są również ważne, ale pojemność pamięci jest dominującym czynnikiem, jeśli chodzi o działanie GPU dla AI. RTX 4090 ma dużo pamięci jak na standardy gier — 24 GB GDDR6X — ale bardzo mało w porównaniu z GPU klasy centrum danych. Na przykład najnowszy procesor graficzny Nvidii H100 ma 80 GB pamięci HBM3, a także ogromną 5120-bitową magistralę pamięci.

Możesz sobie poradzić z mniejszą ilością pamięci, ale nadal potrzebujesz dużo pamięci. Heaton zaleca, aby początkujący mieli co najmniej 12 GB, podczas gdy typowy inżynier uczenia maszynowego będzie miał jeden lub dwa profesjonalne procesory graficzne Nvidia o pojemności 48 GB. Według Heatona „większość obciążeń spadnie bardziej w przedziale od pojedynczego A100 do ośmiu A100”. Procesor graficzny Nvidia A100 ma 40 GB pamięci.

Możesz zobaczyć to skalowanie również w akcji. Puget Systems pokazuje, że pojedynczy A100 z 40 GB pamięci działa około dwa razy szybciej niż pojedynczy RTX 3090 z 24 GB pamięci. I to pomimo faktu, że RTX 3090 ma prawie dwa razy więcej rdzeni CUDA i prawie tyle samo rdzeni Tensor.

Wąskim gardłem jest pamięć, a nie surowa moc obliczeniowa. Dzieje się tak, ponieważ uczenie modeli sztucznej inteligencji opiera się na dużych zestawach danych, a im więcej tych danych można przechowywać w pamięci, tym szybciej (i dokładniej) można trenować model.

Różne potrzeby, różne matryce

Procesory graficzne Nvidii do gier generalnie nie nadają się do sztucznej inteligencji ze względu na małą pamięć wideo w porównaniu ze sprzętem klasy korporacyjnej, ale tutaj jest również osobny problem. Procesory graficzne Nvidii do stacji roboczych zwykle nie współdzielą kości GPU z kartami do gier.

Na przykład A100, o którym wspomniał Heaton, wykorzystuje procesor graficzny GA100, który jest kością z serii Ampere firmy Nvidia, która nigdy nie była używana w kartach skoncentrowanych na grach (w tym wysokiej klasy RTX 3090 Ti). Podobnie, najnowsza karta Nvidii H100 wykorzystuje zupełnie inną architekturę niż seria RTX 40, co oznacza, że ​​używa również innej matrycy.

Są wyjątki. Procesor graficzny Nvidia AD102, który znajduje się w RTX 4090 i RTX 4080, jest również używany w niewielkiej gamie procesorów graficznych Ada Lovelace dla przedsiębiorstw (L40 i RTX 6000). Jednak w większości przypadków Nvidia nie może po prostu zmienić przeznaczenia kości GPU do gier na kartę centrum danych. To osobne światy.

Istnieją pewne fundamentalne różnice między niedoborem GPU, który obserwowaliśmy z powodu kopania kryptowalut, a wzrostem popularności modeli AI. Według Heatona model GPT-3 wymagał ponad 1000 procesorów graficznych A100 Nvidia do trenowania i około ośmiu do uruchomienia. Te procesory graficzne mają również dostęp do szerokopasmowego połączenia NVLink, podczas gdy procesory graficzne Nvidii z serii RTX 40 nie. Porównuje maksymalnie 24 GB pamięci na kartach do gier Nvidii z setkami na procesorach graficznych, takich jak A100 z NVLink.

Istnieją inne obawy, takie jak przydzielanie kości pamięci dla profesjonalnych procesorów graficznych zamiast tych do gier, ale dni pośpiechu do lokalnego Micro Center lub Best Buy w celu znalezienia procesora graficznego w magazynie minęły. Heaton ładnie to podsumował: „Szacuje się, że duże modele językowe, takie jak ChatGPT, wymagają co najmniej ośmiu procesorów graficznych. Takie szacunki zakładają wysokiej klasy procesory graficzne A100. Spekuluję, że może to spowodować niedobór procesorów graficznych z wyższej półki, ale może nie wpływać na procesory graficzne klasy dla graczy, z mniejszą ilością pamięci RAM”.

Zalecenia redaktorów