Ponieważ powszechnie wiadomo, że GPT-4 jest w stanie generować odpowiedzi w najszybszy i najbardziej wydajny sposób na podstawie podpowiedzi w języku naturalnym, OpenAI najwyraźniej zrobiło krok naprzód i teraz wprowadziło swój model zamiany tekstu na 3D. Znany jako Shap-E, model może zamieniać podpowiedzi tekstowe w obiekty trójwymiarowe.

Podobno najnowsze narzędzie do generatywnej sztucznej inteligencji zapewnia znacznie dokładniejsze odpowiedzi w porównaniu z podobnym narzędziem Point E, które zostało wprowadzone w 2022 roku przez OpenAI. Jest to postrzegane jako kolejny przełom OpenAI po sukcesie narzędzia do generowania tekstu na obraz Dall-E.

Co to jest Shap-E?

Najnowsze narzędzie OpenAI zostało opracowane w celu generowania drobnoziarnistych tekstur i złożonych kształtów na podstawie danych wejściowych. Shap-E jest w stanie tworzyć kontury obiektów i działa na funkcji znanej jako Neural Radiance Fields (NeRF), aby zapewnić dokładne odpowiedzi. Co ciekawe, NeRF to technologia wykorzystywana w wirtualnej i rozszerzonej rzeczywistości do przekształcania trójwymiarowych wizualizacji w fotorealistyczne środowiska.

Podobno Shap-E stosuje NeRF do popularnych modeli dyfuzji, aby stworzyć kształt i teksturę obiektu na podstawie podpowiedzi tekstowych. W porównaniu z punktem E proces jest znacznie szybszy dzięki Shap-E.

Shap-E jest obecnie dostępny bezpłatnie na GitHub i działa lokalnie na PC. Według raportu na Tomshardware.com skonfigurowanie narzędzia i uruchomienie go to dość gigantyczne zadanie. Podobnie jak istniejące modele, Shap-E ma duży potencjał, ale jego wydajność na ten moment jest zadowalająca. Według raportu większość wyników była w niskiej rozdzielczości i brakowało kluczowych szczegółów. Wprowadzany tekst prowadził do wyników, które były albo animowanymi kolorami plikami GIF, albo monochromatycznymi plikami PLY, które można było później otworzyć w programach takich jak Paint 3D.

Możliwości i przypadki użycia

Firma podobno zademonstrowała potencjał Shap-E na przykładach miski z jedzeniem, pingwina, ogniska itp. Te modele 3D zostały wygenerowane w ciągu kilku sekund, oferując użytkownikom szybszy sposób tworzenia zasobów 3D. Jeśli chodzi o zastosowanie, Shap-E może być korzystny dla filmów, doświadczeń wirtualnej rzeczywistości, filmów, symulacji inżynierskich, a co najważniejsze dla badań naukowych. Podczas gdy oczekiwane są bardziej precyzyjne próbki wyników 3D z Shap-E, narzędzie jest reklamowane jako rewolucyjne w dziedzinie modelowania i renderowania 3D.