OpenAI wprowadziło GPT-4o mini w czwartek, swój najnowszy mały model AI. Firma twierdzi, że GPT-4o mini, który jest tańszy i szybszy niż obecne najnowocześniejsze modele AI OpenAI, jest udostępniany deweloperom, a także za pośrednictwem aplikacji internetowej i mobilnej ChatGPT dla konsumentów, począwszy od dziś. Użytkownicy korporacyjni uzyskają dostęp w przyszłym tygodniu.

Firma twierdzi, że GPT-4o mini przewyższa wiodące w branży małe modele AI w zadaniach rozumowania obejmujących tekst i wizję. W miarę jak małe modele AI się rozwijają, stają się one coraz bardziej popularne wśród programistów ze względu na swoją szybkość i efektywność kosztową w porównaniu z większymi modelami, takimi jak GPT-4 Omni lub Claude 3.5 Sonnet. Są przydatną opcją w przypadku dużych, prostych zadań, które programiści mogą wielokrotnie przywoływać do wykonania przez model AI.

GPT-4o mini zastąpi GPT-3.5 Turbo jako najmniejszy model oferowany przez OpenAI. Firma twierdzi, że jej najnowszy model AI uzyskał 82% w MMLU, benchmarku mierzącym rozumowanie, w porównaniu do 79% dla Gemini 1.5 Flash i 75% dla Claude 3 Haiku, zgodnie z danymi z Artificial Analysis. W MGSM, który mierzy rozumowanie matematyczne, GPT-4o mini uzyskał 87%, w porównaniu do 78% dla Flash i 72% dla Haiku.

Ponadto, OpenAI twierdzi, że GPT-4o mini jest znacznie tańszy w eksploatacji niż jego poprzednie modele frontier i o ponad 60% tańszy niż GPT-3.5 Turbo. Obecnie GPT-4o mini obsługuje tekst i wizję w API, a OpenAI twierdzi, że model będzie obsługiwał funkcje wideo i audio w przyszłości.

„Aby każdy zakątek świata mógł korzystać z AI, musimy sprawić, aby modele były znacznie bardziej przystępne cenowo” — powiedział szef Product API w OpenAI, Olivier Godement, w wywiadzie dla TechCrunch. „Myślę, że GPT-4o mini to naprawdę duży krok naprzód w tym kierunku”.

Dla deweloperów budujących na API OpenAI, GPT4o mini kosztuje 15 centów za milion tokenów wejściowych i 60 centów za milion tokenów wyjściowych. Model ma okno kontekstowe 128 000 tokenów, mniej więcej długość książki, i odcięcie wiedzy w październiku 2023 r.

OpenAI nie ujawniło dokładnie, jak duży jest GPT-4o mini, ale powiedziało, że jest mniej więcej w tej samej kategorii co inne małe modele AI, takie jak Llama 3 8b, Claude Haiku i Gemini 1.5 Flash. Jednak firma twierdzi, że GPT-4o mini jest szybszy, bardziej ekonomiczny i inteligentniejszy niż wiodące w branży małe modele, na podstawie testów przed uruchomieniem na arenie chatbotów LMSYS.org. Wczesne niezależne testy wydają się to potwierdzać.

„W porównaniu do porównywalnych modeli, GPT-4o mini jest bardzo szybki, ze średnią prędkością wyjściową 202 tokenów na sekundę” — powiedział George Cameron, współzałożyciel Artificial Analysis, w wiadomości e-mail do TechCrunch. „To ponad 2X szybsze niż GPT-4o i GPT-3.5 Turbo i stanowi przekonującą ofertę dla przypadków użycia zależnych od prędkości, w tym wielu aplikacji konsumenckich i podejść agentowych do korzystania z LLM”.

Oddzielnie, OpenAI ogłosiło nowe narzędzia dla klientów korporacyjnych w czwartek. W poście na blogu, OpenAI ogłosiło Enterprise Compliance API, aby pomóc firmom w silnie regulowanych branżach, takich jak finanse, opieka zdrowotna, usługi prawne i rząd, w przestrzeganiu wymogów rejestrowania i audytu.

Firma twierdzi, że te narzędzia pozwolą administratorom na audyt i podejmowanie działań w odniesieniu do danych ChatGPT Enterprise. Interfejs API będzie dostarczał rejestry interakcji z sygnaturą czasową, w tym konwersacje, przesłane pliki, użytkowników przestrzeni roboczej i inne.

OpenAI daje również administratorom bardziej szczegółową kontrolę nad GPT przestrzeni roboczej, niestandardową wersję ChatGPT stworzoną dla konkretnych przypadków użycia biznesowego. Wcześniej administratorzy mogli w pełni zezwalać lub blokować tylko działania GPT utworzone w ich przestrzeni roboczej, ale teraz właściciele przestrzeni roboczej mogą tworzyć zatwierdzoną listę domen, z którymi GPT mogą wchodzić w interakcje.