Firma Apple szturmem podbiła świat, ogłaszając swój pierwszy „komputer przestrzenny” z Vision Pro. Podczas gdy większość była zachwycona specyfikacją techniczną i elegancką konstrukcją urządzenia, jeden kluczowy aspekt pozostał niezauważony: interfejs sterowania urządzenia.

Podczas demonstracji produktu wielu jego użytkowników mogło sterować urządzeniem za pomocą samych rąk, dzięki czujnikom głębokości zamontowanym na spodzie urządzenia. Jednak Apple ujawnił następnie, że głównym sposobem łączenia się z urządzeniem będą oczy.

Wewnętrzna matryca kamer zamontowana po wewnętrznej stronie zestawu słuchawkowego byłaby w stanie dokładnie ocenić, jakiego wejścia chce użytkownik, wykrywając ruch jego oczu. Aby jednak system działał konsekwentnie i dokładnie, firma Apple zastosowała magię uczenia maszynowego. Algorytmy te mogą położyć podwaliny pod przyszłe interfejsy mózg-komputer (BCI) i sprawić, że Apple Vision Pro stanie się proto-BCI.

5000 patentów nie bez powodu

Interfejsy mózgowo-komputerowe od dawna są mrzonką science-fiction, a najbardziej znanym przykładem jest Neuralink Elona Muska. Ten BCI ma na celu pracę poprzez chirurgiczne wszczepienie chipa do ludzkiego mózgu, co umożliwi mu przekształcenie myśli w polecenia programowe. Jednak teraz wydaje się, że Apple znalazł sposób na nieinwazyjne wykrywanie ludzkich myśli, poprzez połączenie rozwiązań neurotechnologicznych z algorytmami uczenia maszynowego.

Zagłębiając się w patenty złożone przez Apple na zestaw słuchawkowy Vision Pro, możemy zauważyć, że firma złożyła patent o nazwie „biofeedback oparty na spojrzeniu w oczy”. Ten patent, złożony w Europie, ma na celu określenie stanu uwagi użytkownika podczas przeglądania określonego rodzaju treści. Apple stwierdziło, że można to wykorzystać do śledzenia biofeedbacku użytkownika w doświadczeniach XR, co z kolei można wykorzystać do wzbogacenia doświadczeń.

Przykład przedstawiony w patencie pokazuje, że możliwe jest przewidzenie wymaganej interakcji użytkownika na podstawie rozszerzenia jego źrenic. Ponadto kolor elementu interfejsu użytkownika może się zmieniać w zależności od tego, który kolor wyzwala lepszą reakcję źrenic, zapewniając większy stopień sukcesu systemu. Podobnie zgłoszono patenty na system, który może określać stan użytkownika poprzez wykrywanie wpływu zmian oświetlenia na źrenice użytkownika. Dzięki temu system może określić, czy użytkownik jest nieuważny, a jeśli tak, zwiększyć luminancję określonego elementu interfejsu użytkownika lub części treści, aby utrzymać uwagę użytkownika.

Uczniowie to tylko jeden ze sposobów, w jaki naukowcy Apple odkryli stan psychiczny użytkowników. Zgłoszono również patent na „ocenę uważnego stanu opartą na dźwiękach”, która umożliwia ocenę reakcji użytkowników na dźwięk w celu określenia ich stanu psychicznego. Czujniki mogą również wykorzystywać inne pomiary, takie jak bicie serca, aktywność mięśni, ciśnienie krwi i elektryczna aktywność mózgu, aby dostarczyć więcej informacji.

Dzięki fragmentarycznemu obrazowi namalowanemu przez patenty możemy ocenić kształt interfejsu użytkownika Vision Pro. Na przykład te systemy oceny biologicznego sprzężenia zwrotnego mogą działać w tandemie, przekazując informacje o stanie psychicznym użytkownika z powrotem do zestawu słuchawkowego. Pozwoli to komputerowi stworzyć pełniejszy obraz tego, co użytkownik „myśli” lub „czuje”, co pozwoli mu odpowiednio dostosować treść.

Głównym wynalazcą tych patentów jest Sterling Crispin, inżynier oprogramowania pracujący nad neurotechnologią dla Apple Vision Pro. W ćwierkaćzagłębił się w ten interfejs, stwierdzając:

„Inne sztuczki służące do wnioskowania o stanie poznawczym obejmowały szybkie wyświetlanie użytkownikowi obrazów lub dźwięków w sposób, którego może on nie dostrzegać, a następnie mierzenie jego reakcji na to… To prymitywny interfejs komputera mózgowego za pośrednictwem oczu, ale bardzo fajny”.

Przyszłość dla BCI?

Jak stwierdził Crispin, jest to preferowany sposób łączenia się z komputerami zamiast poddawania się inwazyjnej operacji mózgu. Rzeczywiście, problemy, z którymi Musk borykał się z Neuralink, takie jak duża liczba zabitych zwierząt i trudności z dotarciem do prób na ludziach, pokazują tylko ilość pracy, którą trzeba jeszcze wykonać, aby uzyskać prawdziwy BCI.

Rozwiązanie Vision Pro jest nie tylko rozwiązaniem wyraźnie Apple, ale jest także prekursorem sposobu, w jaki będziemy wchodzić w interakcje z komputerami w przyszłości. AI i ML to największy czynnik przyczyniający się do wypełnienia luki między organicznymi mózgami a nieorganicznymi procesorami.

Weźmy na przykład wprowadzanie głosowe. To, co kiedyś było trudnym problemem do rozwiązania i wymagało wielu potężnych zasobów obliczeniowych, jest teraz możliwe nawet na urządzeniach brzegowych, takich jak telefony komórkowe, dzięki ich możliwościom przetwarzania na urządzeniu. Postęp ten był również możliwy dzięki lekkim algorytmom zamiany mowy na tekst, które z czasem stają się coraz lepsze.

Łącząc algorytmy uczenia maszynowego z wysoce zaawansowanymi czujnikami i skanerami, Vision Pro jest w stanie odczytać stan psychiczny użytkowników, kwalifikując go jako interfejs komputera mózgowego. Podobnie do tego, jak algorytmy STT zrewolucjonizowały interfejsy głosowe, wydaje się, że badania Crispin i Apple mogą zrewolucjonizować interfejsy wizualne. Co więcej, przyszłość tej technologii może stać się powszechnym sposobem interakcji z komputerami, pozostawiając klawiatury i myszy w kurzu.