Co to jest i jak sprawi, że chatbot AI będzie solidny
Dlaczego Microsoft zbudował superkomputer?
Celem zbudowania tego superkomputera jest zapewnienie wystarczającej mocy obliczeniowej potrzebnej do szkolenia i ponownego szkolenia coraz większego zestawu modeli AI z dużymi ilościami danych przez długi czas.
„Jedną z rzeczy, których nauczyliśmy się podczas badań, jest to, że im większy model, tym więcej masz danych i im dłużej możesz trenować, tym większa jest dokładność modelu” — powiedział Nidhi Chappell, szef produktu firmy Microsoft ds. – obliczenia wydajności i sztuczna inteligencja.
Zwiększać
„Tak więc zdecydowanie istniał silny nacisk na trenowanie większych modeli przez dłuższy czas, co oznacza nie tylko, że trzeba mieć największą infrastrukturę, ale trzeba też być w stanie ją niezawodnie obsługiwać przez długi czas, ” ona dodała.
Na konferencji deweloperów Build w 2020 r. Microsoft ogłosił, że buduje superkomputer – we współpracy i wyłącznie dla OpenAI – hostowany na platformie Azure, zaprojektowany specjalnie do trenowania modeli AI.
„Wspólne projektowanie superkomputerów z platformą Azure miało kluczowe znaczenie dla skalowania naszych wymagających potrzeb szkoleniowych w zakresie sztucznej inteligencji, umożliwiając nasze badania i prace nad dostosowaniem systemów takich jak ChatGPT” — powiedział Greg Brockman, prezes i współzałożyciel OpenAI.
Microsoft połączył dziesiątki tysięcy układów graficznych Nvidia A100, aby trenować modele AI i zmienił sposób umieszczania serwerów na stojakach, aby zapobiec awariom zasilania.
„Zbudowaliśmy architekturę systemu, która może działać i być niezawodna na bardzo dużą skalę. To właśnie spowodowało, że ChatGPT jest możliwy. To jeden model, który z tego wyszedł. Będzie wielu, wielu innych”, Bloomberg zacytował wypowiedź Chappella.
Jeśli chodzi o cenę, Scott Guthrie, wiceprezes wykonawczy Microsoftu, który nadzoruje chmurę i sztuczną inteligencję, powiedział, że koszt projektu jest „prawdopodobnie większy” niż kilkaset milionów dolarów.
Aby przetwarzać i trenować modele, OpenAI potrzebuje czegoś więcej niż tylko superkomputera — wydajnej konfiguracji w chmurze. Microsoft już pracuje nad zwiększeniem wydajności AI Cloud Azure dzięki nowym maszynom wirtualnym, które wykorzystują procesory graficzne Nvidia H100 i A100 Tensor Core wraz z siecią Quantum-2 InfiniBand.
Dzięki temu Microsoft umożliwi OpenAI i innym firmom – które teraz używają chatbotów AI – które polegają na Azure, trenować większe i bardziej złożone modele AI.