Z odbicia przedmiotu można wydobyć cenne i często ukryte informacje o najbliższym otoczeniu. Zmieniając ich przeznaczenie na kamery, można dokonać wcześniej niewyobrażalnych wyczynów obrazowych, takich jak patrzenie przez ściany lub w niebo. Jest to trudne, ponieważ na odbicia wpływa kilka czynników, w tym geometria obiektu, właściwości materiału, środowisko 3D i punkt widzenia obserwatora. Poprzez wewnętrzną dekonstrukcję geometrii i blasku obiektu na podstawie odbijanego na niego lustrzanego blasku, ludzie mogą uzyskać głębię i semantyczne wskazówki dotyczące przesłoniętych części otoczenia.

Naukowcy zajmujący się wizją komputerową z MIT i Rice opracowali metodę wykorzystania odbić do tworzenia obrazów rzeczywistego środowiska. Za pomocą odbić zamieniają błyszczące przedmioty w „kamery”, dając wrażenie, że użytkownik patrzy na świat przez „soczewki” zwykłych przedmiotów, takich jak ceramiczny kubek do kawy czy metalowy przycisk do papieru.

Metoda zastosowana przez naukowców polega na przekształcaniu błyszczących obiektów o nieokreślonej geometrii w kamery z polem radiacyjnym. Główną ideą jest wykorzystanie powierzchni obiektu jako cyfrowego czujnika do rejestracji światła odbitego od otaczającego środowiska w dwóch wymiarach.

Badacze dowodzą, że synteza nowatorskich widoków, renderowanie nowych widoków, które są bezpośrednio widoczne tylko dla błyszczącego obiektu w scenie, ale nie dla obserwatora, jest możliwa dzięki odzyskiwaniu pól promieniowania otoczenia. Co więcej, możemy zobrazować zaciemnienia utworzone przez pobliskie obiekty w scenie za pomocą pola promieniowania. Metoda opracowana przez naukowców jest nauczana od początku do końca przy użyciu wielu zdjęć obiektu, aby jednocześnie oszacować jego geometrię, promieniowanie rozproszone i pole promieniowania jego środowiska 5D.

Badania mają na celu oddzielenie obiektu od jego odbić, tak aby obiekt mógł „zobaczyć” świat jak kamerą i rejestrować otoczenie. Wizja komputerowa od pewnego czasu boryka się z odbiciami, ponieważ są one zniekształconą dwuwymiarową reprezentacją trójwymiarowej sceny, której kształt jest nieznany.

Badacze modelują powierzchnię obiektu jako wirtualny czujnik, zbierając projekcję 2D pola promieniowania otoczenia 5D wokół obiektu, aby stworzyć trójwymiarową reprezentację świata tak, jak go widzi. Większość pola promieniowania otoczenia jest przesłonięta, z wyjątkiem odbić obiektu. Poza polem widzenia, synteza nowego widoku lub renderowanie nowych widoków, które są bezpośrednio widoczne tylko dla błyszczącego obiektu w scenie, ale nie dla obserwatora, jest możliwe dzięki zastosowaniu środowiskowych pól promieniowania, które również pozwalają do oszacowania głębokości i blasku od obiektu do jego otoczenia.

Podsumowując, zespół wykonał następujące czynności:

• Demonstrują, w jaki sposób ukryte powierzchnie można przekształcić w wirtualne czujniki z możliwością przechwytywania obrazów 3D ich środowisk przy użyciu wyłącznie wirtualnych stożków.
• Wspólnie obliczają pole promieniowania otoczenia 5D obiektu i szacują jego promieniowanie rozproszone.
• Demonstrują, jak wykorzystać pole świetlne otaczającego środowiska do wygenerowania świeżych punktów widzenia niewidocznych dla ludzkiego oka.

Projekt ten ma na celu zrekonstruowanie pola promienistego 5D otoczenia na podstawie wielu zdjęć błyszczącego przedmiotu, którego kształt i albedo są nieznane. Blask powierzchni odbijających światło ujawnia elementy sceny poza ramką widzenia. W szczególności normalne powierzchni i krzywizna błyszczącego obiektu określają, w jaki sposób obrazy obserwatora są odwzorowywane na rzeczywisty świat.

Naukowcy mogą potrzebować dokładniejszych informacji na temat kształtu obiektu lub odbitej rzeczywistości, przyczyniając się do zniekształcenia. Możliwe jest również, że kolor i tekstura błyszczącego obiektu zmieszają się z odbiciami. Co więcej, nie jest łatwo dostrzec głębię w odbitych scenach, ponieważ odbicia są dwuwymiarowymi projekcjami trójwymiarowego środowiska.

Zespół naukowców pokonał te przeszkody. Rozpoczynają od sfotografowania błyszczącego obiektu pod różnymi kątami, wyłapując różnorodne odbicia. Orca (Obiekty takie jak Radiance-Field Cameras) to akronim ich trzyetapowego procesu.

Orca może rejestrować odbicia wielowidokowe, obrazując obiekt pod różnymi kątami, które są następnie wykorzystywane do oszacowania głębokości między błyszczącym obiektem a innymi obiektami w scenie oraz kształtu samego błyszczącego obiektu. Więcej informacji o sile i kierunku promieni świetlnych wychodzących i uderzających w każdy punkt na obrazie uzyskano dzięki modelowi pola radiancyjnego 5D firmy ORCa. Orca może dokonywać bardziej precyzyjnych szacunków głębokości dzięki danym w tym polu promieniowania 5D. Ponieważ scena jest wyświetlana jako pole promieniste 5D, a nie jako obraz 2D, użytkownik może zobaczyć szczegóły, które w innym przypadku byłyby przesłonięte narożnikami lub innymi przeszkodami. Naukowcy wyjaśniają, że po zebraniu przez ORCa pola promieniowania 5D użytkownik może ustawić wirtualną kamerę w dowolnym miejscu w okolicy i wygenerować syntetyczny obraz, który wytworzyłaby kamera. Użytkownik może również zmienić wygląd przedmiotu, np. z ceramicznego na metaliczny, lub włączyć wirtualne rzeczy do sceny.

Rozszerzając definicję pola radiacyjnego poza tradycyjne pole radiacyjne w bezpośredniej linii wzroku, naukowcy mogą otworzyć nowe możliwości badania środowiska i obiektów w nim zawartych. Wykorzystując rzutowane wirtualne widoki i głębię, praca może otworzyć możliwości wstawiania wirtualnych przedmiotów i percepcji 3D, takie jak ekstrapolacja informacji spoza pola widzenia kamery.

Sprawdź Papier I Strona projektu. Nie zapomnij dołączyć nasz SubReddit o ponad 22 tysiącach ML, Kanał DiscordaI Biuletyn e-mailowy, gdzie dzielimy się najnowszymi wiadomościami z badań nad sztuczną inteligencją, fajnymi projektami AI i nie tylko. Jeśli masz jakiekolwiek pytania dotyczące powyższego artykułu lub jeśli coś przeoczyliśmy, napisz do nas na adres Asif@marktechpost.com

? Sprawdź narzędzia AI 100 w AI Tools Club