Nastała era „PC AI” i wkrótce będziesz mieć możliwość uruchomienia niektórych funkcji AI lokalnie bez połączenia internetowego nawet na stosunkowo skromnych systemach. Jednak możesz nie zdawać sobie sprawy, że pomimo posiadania akceleratorów AI, te komputery nadal będą potrzebować mnóstwa pamięci i pamięci masowej, aby oferować lokalne funkcje AI.

Komputery ze sztuczną inteligencją mają moc przetwarzania lokalnego

Funkcja Copilot AI firmy Microsoft jest jednym z głównych powodów, dla których na rynek trafia nowa generacja komputerów ze specjalistycznymi NPU (Neural Processing Units). To jeden z powodów, dla których nowe urządzenia Surface Pro mają procesory ARM Snapdragon, które zwykle można znaleźć w telefonach. Obecnie minimalnym wymogiem dla komputera Copilot AI jest NPU z 40 TOPS (bilionami operacji na sekundę) i to właśnie te nowe chipy mają w środku.

Istnieje wiele powodów, dla których warto mieć lokalne funkcje AI. Jest szybki, nie konkurujesz o zasoby z innymi użytkownikami i nie musisz płacić więcej niż koszt sprzętu. Nadanie laptopowi inteligencji czegoś na tym samym kontinuum co ChatGPT i jego współcześni jest zdecydowanie ekscytujące!

Nawet „małe” LLM są ogromne

Rzecz w tym, że te „modele” AI są dość duże. Najmniejsze i najbardziej wydajne LLM (Large Language Models) mogą potrzebować 1-3 GB pamięci, nie będąc jednocześnie zbyt inteligentne. W miarę jak model zyskuje parametry i staje się bardziej wydajny, potrzebuje więcej miejsca. Superinteligentne LLM, do których uzyskujesz dostęp przez sieć, mogą mieć setki gigabajtów pamięci RAM, jeśli chodzi o rozmiary ich modeli. Z setkami miliardów, a w niektórych przypadkach nawet ponad bilionem parametrów, te modele AI nie są przeznaczone do obsługi przez małe, nieporęczne laptopy!

Następnie mamy wystarczająco małe moduły LLM, które można uruchomić na smartfonie, takie jak phi-3-mini o pojemności 2,4 GB. To bardziej odpowiada temu, co faktycznie będzie działać na laptopach ze sztuczną inteligencją, choć prawdopodobnie nie aż tak anemicznie!

Modele muszą żyć w pamięci RAM

Hologram chipa AI z obwodami wokół

Chociaż fakt, że model AI zajmuje kilka GB miejsca, może nie wydawać się wielkim problemem, należy zrozumieć, że cały model musi znajdować się w pamięci RAM, aby technologia działała z dobrą wydajnością. Te jednostki NPU to wyspecjalizowane procesory równoległe, które przetwarzają liczby w wirtualnych sieciach neuronowych. z miliardami „parametrów” jednocześnie.

Jeśli modelu nie ma w pamięci RAM, NPU nie może być zasilane wystarczająco szybko, aby zapewnić wystarczająco szybkie wyniki. miałoby to wpływ na szybkość odpowiedzi LLM lub funkcje takie jak tłumaczenie w czasie rzeczywistym lub generowanie obrazu. Jeśli więc chcesz, aby funkcje AI były dostępne po naciśnięciu przycisku lub po prostu za pomocą rozmowy z komputerem, model zasadniczo musi zarezerwować tyle pamięci RAM, ile potrzebuje.

Oczywiście wszystkie te nowe komputery są wyposażone w ultraszybkie dyski SSD, które mogą szybko przenosić dane do i z pamięci RAM, ale poza dodatkowym zużyciem dysku SSD, nadal nie jest on wystarczająco szybki, aby wszystko działało płynnie, i nie zapomnij, że nadal chcesz uruchamiać wszystkie inne aplikacje w tym samym czasie! Jeśli Twój komputer musiałby zrzucać przeglądarkę i inne aplikacje z pamięci RAM na dysk za każdym razem, gdy chcesz, aby sztuczna inteligencja coś zrobiła, nie byłoby to wspaniałe doświadczenie.

16 GB to absolutne minimum

Podczas gdy 8 GB pamięci RAM jest nadal w zupełności wystarczające dla nowoczesnego komputera stacjonarnego lub laptopa biurowego używanego do ogólnej produktywności i konsumpcji multimediów, komputery z systemem Windows i funkcjami AI po prostu nie poradziłyby sobie z tak małą ilością miejsca. Dlatego Microsoft uczynił 16 GB pamięci RAM absolutnym minimum dla komputerów Copilot.

Chociaż jest to rozsądna ilość w przypadku zwykłego komputera bez sztucznej inteligencji, mam wrażenie, że w przypadku komputerów, na których przez cały czas w tle działają lokalni asystenci AI, będzie to bardziej przypominać komputer PC z 8 GB pamięci i sztuczną inteligencją, chyba że wyłączysz część AI równanie.

Niektóre komputery AI nie będą miały pamięci RAM z możliwością rozbudowy

Jeśli Twój nowy komputer z systemem AI Windows PC korzysta ze zintegrowanego systemu na chipie lub ma pamięć RAM przylutowaną na stałe, jak to ma miejsce w przypadku wielu cienkich i lekkich laptopów, to będziesz musiał zadowolić się ilością pamięci RAM, z którą system był dostarczany. Oznacza to, że musisz kupić potrzebną ilość pamięci RAM od razu na początku, w przeciwnym razie będziesz potrzebować zupełnie nowego komputera, jeśli okaże się, że zrobiłeś swoje obliczenia źle.

Jakiś czas temu sprawdzałem, czy 32 GB RAM-u to nie jest ilość, do której należy dążyć, i doszedłem do wniosku, że ta ilość pamięci nadal jest za duża dla przeciętnego użytkownika. Biorąc jednak pod uwagę przyszłe rozmiary modeli AI, uważam, że 32 GB powinno być tym, do czego powinien dążyć każdy, komu zależy na funkcjach AI.

Jeśli zależy Ci na sztucznej inteligencji, kup więcej pamięci

To, czy zależy Ci na lokalnych funkcjach AI, jest oczywiście tutaj najważniejsze. Jeśli nie, to wspaniale, że te komputery Copilot zwiększają minimalną ilość pamięci RAM do 16 GB. Po prostu wyłącz lub zignoruj ​​część równania związaną ze sztuczną inteligencją, a wszystko będzie dobrze. Tak naprawdę, jeśli nie masz jakiegoś przekonującego alternatywnego powodu, pomiń całkowicie komputery AI i pozostań przy bardziej popularnych opcjach.

Jeśli z drugiej strony ekscytują Cię funkcje lokalnej sztucznej inteligencji i widzisz wiele sposobów wykorzystania tych narzędzi w przyszłości, nie zadowalaj się absolutnymi wymaganiami minimalnymi, chyba że będziesz mieć możliwość późniejszego dodania większej ilości pamięci RAM.