Utrata zdolności mówienia z powodu uszkodzeń neurologicznych może być niezwykle izolująca. Jednak dzięki najnowszemu postępowi technologicznemu na horyzoncie widać nadzieję. Naukowcy pracowali nad neuronalnymi protezami mowy – specjalnymi urządzeniami, które mogą pomóc osobom mającym problemy z mówieniem poprzez przełożenie aktywności mózgu na mowę.

W niedawnym badaniu opublikowanym w Inteligencja maszyny natury, zespół badaczy z Uniwersytetu Nowojorskiego pod kierownictwem Yao Wanga – profesora inżynierii elektrycznej i komputerowej oraz inżynierii biomedycznej na Uniwersytecie Nowojorskim w Tandon, a także członka NYU WIRELESS – i Adeen Flinker – profesora nadzwyczajnego inżynierii biomedycznej na Uniwersytecie Nowojorskim Tandon oraz neurologii na Uniwersytecie Nowojorskim Grossman School of Medicine — i dr Tandon ECE student Xupeng Chen przedstawił znaczący postęp w dekodowaniu mowy przy użyciu architektur neuronowych.

Rejestrowali sygnały z mózgu i przekształcali je w mowę słyszalną. Opierając się na wcześniejszych badaniach, w ich pracy wprowadzono modyfikacje zwiększające dokładność dekodowania szerszego zakresu głosów.

Jedna z kluczowych innowacji polega na dostosowaniu architektur neuronowych do różnorodnych wzorców mowy. Niedawne postępy w uczeniu maszynowym i systemach interfejsu mózg-komputer (BCI) pobudziły rozwój neuronalnych protez mowy, dając nadzieję osobom dotkniętym zaburzeniami mowy.

Jedną ze skutecznych metod gromadzenia danych w celu opracowania takich protez są zapisy elektrokortykograficzne (ECoG) uzyskane od pacjentów poddawanych operacjom padaczki. Wszczepione elektrody zapewniają rzadką możliwość gromadzenia z dużą precyzją danych korowych podczas mowy, co prowadzi do obiecujących wyników w dekodowaniu mowy.

Ich zaktualizowane podejście, zweryfikowane wcześniej na pięciu pacjentach, zostało teraz sprawdzone na 48 osobach – o rząd wielkości więcej niż w przypadku innych podobnych prac, co zapewnia solidniejszy i uogólniony proces dekodowania.

Nadal istnieją dwa istotne wyzwania związane z dekodowaniem mowy na podstawie sygnałów neuronowych. Po pierwsze, ograniczony czas trwania danych szkoleniowych kontrastuje z obszernymi danymi wymaganymi w przypadku modeli głębokiego uczenia się. Po drugie, zmienność produkcji mowy, obejmująca zmiany tempa, intonacji i wysokości dźwięku, komplikuje reprezentację modelu.

Podejście zespołu z Uniwersytetu Nowojorskiego wykorzystuje unikalny syntezator mowy opracowany w ramach wcześniejszych badań. Ten syntezator tłumaczy szereg możliwych do zinterpretowania „parametrów” mowy, w tym wysokość, częstotliwość, głośność itp., na naturalnie brzmiącą mowę. Opracowany system wykorzystuje architekturę sieci neuronowych do dekodowania sygnałów neuronowych na parametry mowy, które syntezator wykorzystuje do wytworzenia zamierzonej mowy.

Zespół opracował wydajny potok uczenia sieci neuronowej, który skutecznie działa przy ograniczonych danych szkoleniowych, i porównał skuteczność różnych architektur sieci neuronowych. System może wytwarzać mowę znacznie bliższą rzeczywistemu głosowi uczestników badania, co jest unikalną cechą tego podejścia.

Być może najbardziej intrygujące jest odkrycie dotyczące udziału prawej półkuli w dekodowaniu mowy. Tradycyjnie prawa półkula jest przyćmiona przez lewą półkulę, która jest głównie związana z funkcjami językowymi. Jednak niektórym uczestnikom wszczepiono elektrody tylko w prawej półkuli, co nie dostarczyło badaczom żadnych informacji na temat aktywności lewej półkuli. Co najważniejsze, nadal byli w stanie wykorzystywać informacje z prawej półkuli do dokładnego dekodowania mowy.

Nie tylko ujawnia to, w jaki sposób mowa jest przetwarzana i wytwarzana przez mózg na obu półkulach, ale także otwiera nowe możliwości interwencji terapeutycznych, szczególnie w leczeniu zaburzeń mowy, takich jak afazja, powstałych po uszkodzeniu lewej półkuli.

Oprócz wyników naukowych badanie oferuje narzędzie do neurodekodowania typu open source, ułatwiające współpracę i replikację wyników w społeczności badawczej. Inicjatywa ta promuje przejrzystość i przyspiesza postęp w dziedzinie dekodowania neuronowego.

Implikacje badań dla zrozumienia złożoności przetwarzania mowy i potencjalnych możliwości terapeutycznych wydają się ogromne i stanowią ważny kamień milowy w odkrywaniu tajemnic zdolności językowych ludzkiego umysłu, torując drogę przyszłym przełomom w neuroinżynierii i interwencjach klinicznych.