Ponieważ korporacje budują ogromne wirtualne światy 3D, rośnie zapotrzebowanie na narzędzia do generowania treści, które skalują się pod względem objętości, jakości i różnorodności.

Naukowcy z firmy NVIDIA pracują nad opracowaniem efektywnych generatywnych modeli 3D, które tworzą teksturowane siatki, które mogą być bezpośrednio wykorzystywane przez silniki renderujące 3D i natychmiast wykorzystywane w kolejnych aplikacjach. Wcześniejsze wysiłki w zakresie generatywnego modelowania 3D albo nie miały cech geometrycznych, miały ograniczenia topologii siatki, nie obsługiwały tekstur lub wykorzystywały neuronowe renderery w procesie syntezy, co utrudniało ich implementację w typowych aplikacjach 3D.

w tym papierze, naukowcy przedstawiają GET3D, model generatywny, który tworzy wyraźnie teksturowane obiekty 3D z bogatymi szczegółami geometrycznymi, skomplikowaną topologią i doskonałą jakością tekstur. Trenują swój model za pomocą obrazów 2D i innowacji w modelowaniu powierzchni różniczkowalnych. Dzięki znacznemu postępowi w stosunku do wcześniejszych technik, GET3D może tworzyć wysokiej jakości teksturowane siatki 3D różnych obiektów, w tym pojazdów, krzeseł, zwierząt, motocykli oraz ludzkich postaci i struktur.

Proponowana metoda

Szybki postęp w renderowaniu objętości neuronowych i generatywnych sieciach przeciwstawnych 2D (GAN) zaowocował ostatnio pojawieniem się syntezy obrazu obsługującej 3D. Jednak ta linia pracy próbuje zsyntetyzować spójne obrazy z wielu widoków, wykorzystując renderowanie neuronowe w procesie syntezy i nie zapewnia generowania znaczących kształtów 3D. Chociaż podejście marszowej kostki może wyodrębnić siatkę z podstawowej reprezentacji pola neuronowego, odzyskanie odpowiedniej tekstury jest trudne.

Naukowcy przedstawiają w tym artykule nowatorskie podejście, które odpowiada na zapotrzebowanie na realistycznie wykonalny generatywny model 3D. Oferują GET3D, model generatywny dla form 3D, który generuje jawnie teksturowane siatki 3D z doskonałymi szczegółami geometrycznymi i teksturami oraz konfigurowalną topologią siatki. Ich rozwiązanie wykorzystuje proces generatywny oparty na metodzie różniczkowej jawnej ekstrakcji powierzchni. Ta pierwsza pozwala nam optymalizować i wytwarzać teksturowane siatki 3D o dowolnej topologii. To ostatnie umożliwi nam trenowanie modelu za pomocą zdjęć 2D, co pozwoli nam skorzystać z wyrafinowanych i dojrzałych dyskryminatorów zaprojektowanych do syntezy obrazów 2D.

Ponieważ model ten buduje siatki bezpośrednio i wykorzystuje wysoce wydajny (zróżnicowalny) renderer grafiki, badacze mogą go szybko skalować, aby trenować z rozdzielczościami obrazu do 1024 x 1024, co pozwala im poznać wysokiej jakości szczegóły geometryczne i teksturalne.

Ograniczenia

Chociaż GET3D stanowi istotny krok w kierunku wykonalnego generatywnego modelu 3D teksturowanych form 3D, wciąż ma kilka ograniczeń.

Podczas szkolenia naukowcy nadal polegają na sylwetkach 2D i informacjach o rozmieszczeniu kamer. W rezultacie GET3D jest obecnie testowany tylko na danych syntetycznych. Ewentualna modyfikacja mogłaby złagodzić ten problem i rozszerzyć GET3D na dane ze świata rzeczywistego, wykorzystując postępy w segmentacji instancji i szacowaniu pozy kamery. GET3D jest również nauczany według kategorii; w przyszłości rozwinięcie go na kilka typów może pomóc nam lepiej zobrazować zmienność między kategoriami.

Wniosek

Badacze z firmy NVIDIA zaprezentowali GET3D, rewolucyjny generatywny model 3D zdolny do generowania wysokiej jakości teksturowanych modeli 3D o dowolnej topologii. Ponadto GET3D jest nauczany przy użyciu wyłącznie zdjęć 2D jako wskazówek. Naukowcy eksperymentalnie wykazali znaczną poprawę w generowaniu kształtów 3D w porównaniu z wcześniejszymi najnowocześniejszymi metodami w wielu kategoriach. Mają nadzieję, że to badanie przybliży nas do demokratyzacji tworzenia treści 3D za pomocą sztucznej inteligencji.

Co więcej, naukowcy zasugerowali nowatorskie podejście generatywne 3D do tworzenia trójwymiarowych teksturowanych siatek, które możemy łatwo zintegrować z istniejącymi silnikami graficznymi. Ich model może budować formy o dowolnej topologii, wysokiej jakości teksturach i bogatych szczegółach geometrycznych, torując drogę narzędziom AI do tworzenia treści 3D, aby stały się bardziej dostępne. Jednak GET3D, jak każdy model uczenia maszynowego, jest podatny na błędy wprowadzane w danych treningowych.

W rezultacie należy zachować szczególną ostrożność podczas pracy z delikatnymi aplikacjami, takimi jak tworzenie trójwymiarowych ciał ludzkich, ponieważ GET3D nie jest przeznaczony do takich zadań. Ponadto naukowcy odradzają korzystanie z GET3D, jeśli prywatność lub nieprawidłowe rozpoznawanie może prowadzić do nadużyć lub innych negatywnych zastosowań. Zamiast tego naukowcy zalecają praktykom dokładne przeanalizowanie i usunięcie uprzedzeń zbiorów danych przed wytrenowaniem ich modelu, aby reprezentował różnorodny zakres możliwych odcieni skóry, ras i tożsamości płciowych.