Jednak sytuacja wkrótce się zmieni. Apple w nowym artykule badawczym zademonstrował przełomową technikę, która może pomóc w uruchomieniu sztucznej inteligencji na iPhone’ach. Technika ta polega na usprawnieniu nieporęcznych systemów LLMS przy użyciu optymalizacji pamięci flash. Kiedy Apple zintegruje zaawansowaną sztuczną inteligencję w iPhonie, będzie to kolejny znaczący zwrot wydarzeń. Gigant technologiczny z Cupertino ogłosił znaczący rozwój sztucznej inteligencji w dwóch nowych artykułach badawczych, które zaprezentował w tym miesiącu. W artykule ujawniono nowe techniki awatarów 3D i wydajne wnioskowanie o modelach językowych.

Wyniki nowego badania „LLM in a Flash: Efficient Large Language Model Inference with Limited Memory”, opublikowane 12 grudnia, mogą potencjalnie zmienić sposób korzystania z iPhone’a, ponieważ może zapewnić bardziej wciągające wrażenia wizualne, a użytkownicy będą mogli uzyskać dostęp do złożonych systemów sztucznej inteligencji na iPhone’y i iPady. Artykuł badawczy zasadniczo koncentruje się na wydajnym uruchamianiu dużych modeli językowych na urządzeniach o ograniczonej pojemności DRAM. DRAM to dynamiczna pamięć o dostępie swobodnym stosowana w komputerach PC, znana z dużej szybkości, dużej gęstości, przystępności cenowej i mniejszego zużycia energii.

Oto kilka wniosków z badań, które pozwolą Apple wyprzedzić konkurencję

W artykule omówiono wyzwanie związane z uruchamianiem modułów LLM, które w rzeczywistości przekraczają dostępną pamięć DRAM, przechowywaniem parametrów modelu w pamięci flash i uruchamianiem ich w pamięci DRAM na żądanie. Mówi o wnioskowanym modelu kosztów, który został opracowany w celu optymalizacji transferu danych z pamięci flash, biorąc pod uwagę charakterystykę pamięci flash i DRAM.

Techniki omówione w artykule to okienkowanie, które ogranicza transfer danych poprzez ponowne wykorzystanie wcześniej aktywowanych neuronów, oraz łączenie wierszy i kolumn, które zwiększa rozmiar porcji danych w celu wydajnego odczytu pamięci flash.

W artykule zwrócono także uwagę na technologię Sparsity Exploitation, która wykorzystuje rzadkość w warstwach sieci FeedForward Network (FFN) do selektywnego ładowania parametrów w celu zwiększenia wydajności. Innym kluczowym aspektem jest zarządzanie pamięcią, które proponuje strategie efektywnego zarządzania załadowanymi danymi w pamięci DRAM w celu zminimalizowania narzutu.

Aby zademonstrować swoje podejście, badacze wykorzystali modele takie jak OPT 6.7B i Falcon 7B. Jak wynika z artykułu, wyniki pokazały, że modele osiągnęły 4-5x i 20-25x wzrost prędkości odpowiednio procesora i karty graficznej w porównaniu z tradycyjnymi metodami.

Jeśli chodzi o praktyczne zastosowanie badań, oba modele wykazały znaczną poprawę w środowiskach o ograniczonych zasobach.

Nowe badanie Apple pokazuje innowacyjne podejście do wydajnego działania LLM w środowiskach o ograniczonej dostępności sprzętu. Wyznacza nowy kierunek przyszłych badań nad doświadczeniami użytkowników urządzeń i nowej generacji.

Co to oznacza dla użytkowników iPhone’a?

Z punktu widzenia użytkownika odkrycia dotyczące wydajnego wnioskowania LLM przy ograniczonej pamięci mogą przynieść ogromne korzyści zarówno użytkownikom Apple, jak i iPhone’a. Dzięki wydajnym LLM działającym efektywnie na urządzeniach z ograniczoną ilością pamięci DRAM, takich jak iPhone’y i iPady, użytkownicy będą mogli doświadczyć ulepszonych możliwości sztucznej inteligencji na wyciągnięcie ręki. Możliwości te obejmują ulepszone przetwarzanie języka, bardziej wyrafinowanych asystentów głosowych, większą prywatność, potencjalnie zmniejszone wykorzystanie przepustowości Internetu i, co najważniejsze, udostępnienie i responsywność zaawansowanej sztucznej inteligencji wszystkim użytkownikom iPhone’a.

Niezależnie od przyszłych możliwości, które pokazują, jak Apple pracuje nad zdominowaniem badań i zastosowań sztucznej inteligencji, eksperci wydają się zachować ostrożność. Niektórzy eksperci zdają się sugerować, że gigant technologiczny będzie musiał zachować szczególną ostrożność i odpowiedzialność, włączając wyniki badań do rzeczywistych przypadków użycia. Niektórzy nawet podkreślali potrzebę rozważenia ochrony prywatności, sposobów ograniczenia potencjalnego nadużycia i ogólnego wpływu.

© IE Online Media Services Pvt Ltd

Bijin Jose jest dziennikarzem technologicznym, obecnie pełniącym funkcję zastępcy redaktora w Indian Express Online w New Delhi. Pasjonuje się transformacyjną mocą technologii, zagłębia się w jej wieloaspektowy wpływ na nasze życie i szerszy świat. Jego intryga z ogromnym potencjałem technologii rozpoczęła się w młodości, przygotowując grunt pod jego karierę. Jego podróż pisarska rozpoczęła się na Uniwersytecie Maharajy Sayajirao w Vadodara, gdzie uzyskał tytuł licencjata z języka angielskiego. Jednocześnie przyjął rolę dziennikarza obywatelskiego w The Times of India, rzucając światło na wyzwania obywatelskie Vadodary. Po uzyskaniu tytułu magistra literatury angielskiej objął stanowisko starszego korespondenta w TOI, koncentrując się na raportach kryminalnych do druku, a jednocześnie pisząc artykuły na temat kultury, sztuki i dziedzictwa miasta. W 2016 roku wkroczył w świat cyfrowy dzięki India Today Digital. Zaczynał jako pracownik biurowy, a następnie szybko awansował na stanowisko szefa zespołu ds. wiadomości internetowych. Jego wszechstronność ujawniła się, gdy podjął się pracy w biurze Times of India w New Delhi, organizując wywiady z dyplomatami i personelem obrony oraz relacjonując najważniejsze wydarzenia dla segmentu Response Editorial. Jako zapalony entuzjasta kina, pisze recenzje filmów i artykuły o swoich stanowiskach, współpracując z „The Economic Times” i „DailyO”. W 2021 r. w „The Economic Times” skupił się na dziennikarstwie technologicznym. W 2023 roku znalazł swoją niszę w The Indian Express, gdzie nadal pisze wnikliwe artykuły na temat stale zmieniającego się świata technologii. Jego reportaże i historie charakteryzują się talentem do upraszczania złożonych koncepcji, informując czytelników o najnowszych osiągnięciach. … Czytaj więcej

Warto przeczytać!  Seria Redmi Note 13 5G: premiera w Indiach 4 stycznia 2024 r. | Strony uruchamiające Amazon i Flipkart na żywo