Phi-3-Mini to pierwszy z rodziny małych modeli językowych, które Microsoft planuje wypuścić w nadchodzących tygodniach. Phi-3-Small i Phi-3-Medium są w przygotowaniu. W przeciwieństwie do dużych modeli językowych, takich jak ChatGPT OpenAI i Gemini firmy Google, małe modele językowe są trenowane na znacznie mniejszych zbiorach danych i są uważane za znacznie tańsze dla użytkowników.

Z radością przedstawiamy Phi-3, rodzinę otwartych modeli sztucznej inteligencji opracowanych przez firmę Microsoft. Modele Phi-3 to najbardziej wydajne i opłacalne modele małych języków (SLM), przewyższające modele tego samego rozmiaru i większego rozmiaru w różnych testach językowych, rozumowania, kodowania i matematycznych.

Misha Bilenko Wiceprezes korporacyjny Microsoft GenAI

Po co one są? Po pierwsze, zmniejszony rozmiar tego modelu językowego może sprawić, że będzie on nadawał się do uruchamiania lokalnego, na przykład jako aplikacja na smartfonie. Coś wielkości ChatGPT żyje w chmurze i wymaga połączenia internetowego, aby uzyskać do niego dostęp.

Podczas gdy ChatGPT ma ponad bilion parametrów, Phi-3-Mini ma ich tylko 3,8 miliarda. Sanjeev Bora, który współpracuje z genAI w obszarze opieki zdrowotnej, pisze: „Liczba parametrów w modelu zazwyczaj decyduje o jego wielkości i złożoności. Większe modele z większą liczbą parametrów są na ogół bardziej wydajne, ale wiążą się z większymi wymaganiami obliczeniowymi. Wybór rozmiaru często zależy od konkretnego problemu, który ma być rozwiązany.”

Phi-3-Mini został przeszkolony na stosunkowo niewielkim zbiorze danych składającym się z 3,3 biliona tokenów — przykładów ludzkiego języka wyrażonych liczbowo. Ale to wciąż dużo tokenów.

Dlaczego nas to obchodzi. Chociaż ogólnie wiadomo i potwierdza to Microsoft, że te SLM będą znacznie tańsze niż duże LLM, trudno jest znaleźć dokładne szczegóły na temat cen. Niemniej jednak, biorąc tę ​​obietnicę za dobrą monetę, można sobie wyobrazić demokratyzację genAI, udostępniając ją bardzo małym firmom i indywidualnym właścicielom.

Musimy zobaczyć, co te modele mogą zrobić w praktyce, ale prawdopodobne jest, że przypadki użycia, takie jak pisanie biuletynu marketingowego, wymyślanie tematów e-maili lub przygotowywanie postów w mediach społecznościowych, po prostu nie wymagają gigantycznej mocy LLM.

Kop głębiej: jak rolnicy non-profit rynek wykorzystuje sztuczną inteligencję