Gdy samochód jedzie wąską ulicą miasta, odbicia od błyszczącego lakieru lub lusterek bocznych zaparkowanych pojazdów mogą pomóc kierowcy dostrzec rzeczy, które w innym przypadku byłyby ukryte, na przykład dziecko bawiące się na chodniku za zaparkowanymi samochodami.

Opierając się na tym pomyśle, naukowcy z MIT i Rice University stworzyli technikę widzenia komputerowego, która wykorzystuje odbicia do obrazowania świata. Ich metoda wykorzystuje odbicia, aby zamienić błyszczące przedmioty w „kamery”, umożliwiając użytkownikowi patrzenie na świat tak, jakby patrzył przez „soczewki” przedmiotów codziennego użytku, takich jak ceramiczny kubek do kawy lub metalowy przycisk do papieru.

Wykorzystując obrazy obiektu zrobione pod różnymi kątami, technika ta przekształca powierzchnię tego obiektu w wirtualny czujnik, który wychwytuje odbicia. System sztucznej inteligencji mapuje te odbicia w sposób, który umożliwia oszacowanie głębi sceny i uchwycenie nowych widoków, które byłyby widoczne tylko z perspektywy obiektu. Można użyć tej techniki, aby zobaczyć za rogiem lub poza obiektami, które blokują widok obserwatora.

Ta metoda może być szczególnie przydatna w pojazdach autonomicznych. Na przykład może umożliwić autonomicznemu samochodowi wykorzystanie odbić od mijanych obiektów, takich jak latarnie lub budynki, aby widzieć wokół zaparkowanej ciężarówki.

„Pokazaliśmy, że każdą powierzchnię można przekształcić w czujnik dzięki tej formule, która przekształca obiekty w wirtualne piksele i wirtualne czujniki. Można to zastosować w wielu różnych obszarach” – mówi Kushagra Tiwary, doktorant w Camera Culture Group w Media Lab i współautor artykułu na temat tych badań.

Do Tiwary’ego dołącza współautor artykułu Akshat Dave, absolwent Rice University; Nikhil Behari, pracownik naukowy MIT; Tzofi Klinghoffer, absolwent MIT; Ashok Veeraraghavan, profesor inżynierii elektrycznej i komputerowej na Uniwersytecie Rice; oraz starszy autor Ramesh Raskar, profesor nadzwyczajny sztuki i nauk o mediach oraz lider Camera Culture Group na MIT. Badania zostaną zaprezentowane na Konferencji na temat widzenia komputerowego i rozpoznawania wzorców.

Refleksja nad odbiciami

Bohaterowie telewizyjnych programów kryminalnych często „powiększają i ulepszają” nagrania z monitoringu, aby uchwycić odbicia — być może te uchwycone w okularach przeciwsłonecznych podejrzanego — które pomagają im rozwiązać przestępstwo.

„W prawdziwym życiu wykorzystanie tych odbić nie jest tak proste, jak naciśnięcie przycisku ulepszania. Wydobycie przydatnych informacji z tych odbić jest dość trudne, ponieważ odbicia dają nam zniekształcony obraz świata” — mówi Dave.

To zniekształcenie zależy od kształtu obiektu i świata, który odbija obiekt, z których obaj badacze mogą mieć niepełne informacje. Ponadto błyszczący obiekt może mieć swój własny kolor i fakturę, która miesza się z refleksami. Ponadto odbicia są dwuwymiarowymi projekcjami trójwymiarowego świata, co utrudnia ocenę głębi odbitych scen.

Naukowcy znaleźli sposób na pokonanie tych wyzwań. Ich technika, znana jako ORCa (skrót od Objects as Radiance-Field Cameras), działa w trzech krokach. Najpierw robią zdjęcia obiektu z wielu punktów obserwacyjnych, rejestrując wielokrotne odbicia na błyszczącym obiekcie.

Następnie, dla każdego obrazu z prawdziwej kamery, ORCa wykorzystuje uczenie maszynowe, aby przekształcić powierzchnię obiektu w wirtualny czujnik, który wychwytuje światło i odbicia uderzające w każdy wirtualny piksel na powierzchni obiektu. Na koniec system wykorzystuje wirtualne piksele na powierzchni obiektu do modelowania środowiska 3D z punktu widzenia obiektu.

Łapanie promieni

Obrazowanie obiektu pod różnymi kątami umożliwia ORCa uchwycenie odbić z wielu widoków, które system wykorzystuje do oszacowania głębokości między błyszczącym obiektem a innymi obiektami w scenie, oprócz oszacowania kształtu błyszczącego obiektu. ORCa modeluje scenę jako pole promieniowania 5D, które przechwytuje dodatkowe informacje o intensywności i kierunku promieni świetlnych, które emanują i uderzają w każdy punkt sceny.

Dodatkowe informacje zawarte w tym polu promieniowania 5D pomagają również ORCa w dokładnym oszacowaniu głębokości. A ponieważ scena jest przedstawiana jako pole promieniowania 5D, a nie jako obraz 2D, użytkownik może zobaczyć ukryte elementy, które w innym przypadku byłyby zablokowane przez narożniki lub przeszkody.

W rzeczywistości, gdy ORCa uchwyci to pole promieniowania 5D, użytkownik może umieścić wirtualną kamerę w dowolnym miejscu sceny i zsyntetyzować to, co zobaczy ta kamera, wyjaśnia Dave. Użytkownik mógł również wstawiać wirtualne obiekty do otoczenia lub zmieniać wygląd obiektu, np. z ceramicznego na metaliczny.

„Przejście z obrazu 2D do środowiska 5D było szczególnie trudne. Musisz upewnić się, że mapowanie działa i jest fizycznie dokładne, więc opiera się na tym, jak światło podróżuje w przestrzeni i jak światło oddziałuje z otoczeniem. Spędziliśmy dużo czasu zastanawiając się, w jaki sposób możemy wymodelować powierzchnię” — mówi Tiwary.

Dokładne szacunki

Naukowcy ocenili swoją technikę, porównując ją z innymi metodami modelującymi odbicia, co jest nieco innym zadaniem niż ORCa. Ich metoda dobrze sprawdzała się w oddzielaniu prawdziwego koloru obiektu od odbić i przewyższała linie bazowe, wydobywając dokładniejszą geometrię i tekstury obiektów.

Porównali oszacowania głębokości systemu z symulowanymi danymi naziemnymi dotyczącymi rzeczywistej odległości między obiektami w scenie i stwierdzili, że przewidywania ORCa są wiarygodne.

„Konsekwentnie, z ORCa, nie tylko dokładnie szacuje środowisko jako obraz 5D, ale aby to osiągnąć, na etapach pośrednich, wykonuje również dobrą robotę, szacując kształt obiektu i oddzielając odbicia od tekstury obiektu” Dave mówi.

Opierając się na tym dowodzie koncepcji, naukowcy chcą zastosować tę technikę do obrazowania dronów. ORCa może wykorzystać słabe odbicia od obiektów, nad którymi przelatuje dron, aby zrekonstruować scenę z ziemi. Chcą również ulepszyć ORCa, aby mógł wykorzystywać inne wskazówki, takie jak cienie, do rekonstrukcji ukrytych informacji lub łączenia odbić od dwóch obiektów w celu zobrazowania nowych części sceny.

„Oszacowanie odbić zwierciadlanych jest bardzo ważne przy obserwowaniu za rogami, a to kolejny naturalny krok, aby zobaczyć za rogiem przy użyciu słabych odbić w scenie” — mówi Raskar.

„Zwykle błyszczące obiekty są trudne w obsłudze dla systemów wizyjnych. Ten artykuł jest bardzo kreatywny, ponieważ zamienia długotrwałą słabość połysku obiektu w zaletę. Wykorzystując odbicia otoczenia od błyszczącego obiektu, papier jest w stanie nie tylko zobaczyć ukryte części sceny, ale także zrozumieć, w jaki sposób scena jest oświetlona. Umożliwia to zastosowanie w percepcji 3D, które obejmuje między innymi możliwość łączenia wirtualnych obiektów w rzeczywiste sceny w sposób, który wydaje się płynny, nawet w trudnych warunkach oświetleniowych” — mówi Achuta Kadambi, adiunkt elektrotechniki i informatyki w University of California w Los Angeles, który nie był zaangażowany w tę pracę. „Jednym z powodów, dla których inni nie byli w stanie używać błyszczących przedmiotów w ten sposób, jest to, że większość wcześniejszych prac wymagała powierzchni o znanej geometrii lub teksturze. Autorzy wyprowadzili intrygujące, nowe sformułowanie, które nie wymaga takiej wiedzy.”

Badania były częściowo wspierane przez Intelligence Advanced Research Projects Activity i National Science Foundation.