W świecie modeli uczenia maszynowego jest dużo szumu do zasygnalizowania, ale ta demonstracja jest naprawdę imponująca – lub przerażająca, jeśli masz ochotę na rekreacyjne wspinanie się do skanerów MRI.

Nowe badania przedstawiono w artykule zatytułowanym „Rekonstrukcja obrazu w wysokiej rozdzielczości z utajonymi modelami dyfuzji z ludzkiej aktywności mózgu”, którego współautorami są profesor Shinji Nishimoto i adiunkt Yu Takagi z Graduate School of Frontier Biosciences (FBS) na Uniwersytecie w Osace. To, co zrobili boffinowie, to znalezienie sposobu na przekazanie skanów mózgu fMRI do otwartego modelu Stable Diffusion z latentną zmienną, stworzonego przez startup Stability AI o wartości miliarda dolarów.

Wyniki są co najmniej zaskakujące. Przedstawiony z wynikami skanowania mózgu fMRI – który dla naszych oczu wygląda bardzo blisko losowego szumu – model ograniczonej dyfuzji naukowców może, ich słowami:

Papier preprint przedstawia pięć odzyskanych obrazów: pluszowego misia w komplecie z muszką; aleja drzew; lądowanie samolotu odrzutowego (lub ewentualnie start); snowboardzista na stoku; i zwężająca się wieża zegarowa. Poziom dopasowania jest zmienny, a szósty obraz lokomotywy parowej jest mniej wyraźny, ale jest niezwykle dobry, nawet jeśli naukowcy wybrali najlepsze ze swoich wyników, do czego, jak podejrzewamy, byliby naturalnie skłonni.

Znajomi twierdzą, że kod źródłowy ich modelu „już wkrótce”. Dane wejściowe pochodziły od czterech z ośmiu ochotników, których skany znajdują się w publicznym zbiorze danych Natural Scenes Dataset lub NSD Uniwersytetu w Minnesocie, a przykładowe obrazy podane w artykule pochodzą od jednej osoby.

Samo Stable Diffusion słynie z tworzenia opisów tekstowych i generowania czasami bardzo realistycznych obrazów z zaledwie kilku słów – a jeśli są one odpowiednio dobrane, tekst może przywoływać oryginalne obrazy używane do trenowania modelu.

Więc chociaż nie jest to dokładnie komputer czytający czyjeś myśli, zapewnia znacznie lepsze wyniki niż na przykład niektóre wcześniejsze wysiłki w tym kierunku, o których pisaliśmy w 2021 roku. Jeśli postępujemy zgodnie z artykułem, używają stabilnej dyfuzji do poprawy odzyskane obrazy poprzez włączenie elementów z bazy szkoleniowej. Dla porównania, jakieś 12 lat temu, porównywalny artykuł [PDF] użycie statystyk i modelowania bayesowskiego dało pewne rozpoznawalne obrazy, ale o znacznie niższej jakości.

Jak informowaliśmy w przeszłości, twierdzenia badań fMRI od dawna budzą kontrowersje, ale jest to obszar, w którym algorytmy uczenia maszynowego i sieci neuronowych mogą być najbardziej przydatne: znajdowanie bardzo słabych sygnałów, korelowanie i dopasowywanie ich z ich ogromnymi bibliotekami obrazów, aby uzyskać łatwo rozpoznawalne wyniki.

Funkcjonalny rezonans magnetyczny jest podzbiorem obrazowania metodą rezonansu magnetycznego lub jądrowego rezonansu magnetycznego, jak go nazywano, zanim znawcy zdali sobie sprawę, że słowo „n” odstrasza ludzi. Skanery, których to dotyczy, są niezwykle duże (a ten sęp może potwierdzić, że był w więcej niż jednym, niezwykle głośny) maszyny. Nikt nie wyceluje w twoją głowę czaszą paraboliczną z drugiej strony ulicy i nie przeczyta, o czym myślisz. Ale jeśli najpierw podpiszesz kilka zwolnień, a potem spędzisz godzinę leżąc z zaciśniętą głową, podczas gdy wokół niej obraca się ogromny magnes w kształcie pączka, tak, ten rodzaj techniki może być w stanie powiedzieć, na jaki obraz patrzysz .

MRI – Kliknij, aby powiększyć

Dwóch profesorów ma stronę o swojej pracy i możesz przeczytać streszczenie lub cały 11-stronicowy artykuł [PDF] na serwerze preprintów bioRchiv. Swoje odkrycia zaprezentują na tegorocznym CVPR w Vancouver w czerwcu. ®