Budeme brzy schopni číst myšlenky? Nová studie dekóduje obrazy mozkové aktivity, aby extrahovala slova – a význam

Z technologického hlediska je stále realističtější představit si dekódování myšlenek lidí. Neurovědci byli poprvé schopni „dekódovat“ neinvazivní zobrazovací data z mozků tří účastníků, aby rekonstruovali sekvence slov a celkový význam příběhů, které účastníci slyšeli, sledovali nebo si představovali.

V této nové studii publikované v Nature Neuroscience, Alexandru Huthovi a jeho kolegům z Texaské univerzity se podařilo extrahovat celkový význam a také věty ze snímků mozkové aktivity získaných funkční magnetickou rezonancí (nebo funkční MRI).

Dekódujte jazyk

Syntetizace slov prostřednictvím mozkových signálů by mohla být velmi užitečná pro lidi, kteří nemají přístup k řeči kvůli nemocem, jako je např onemocnění motorických neuronů, které ovlivňují neurony ovládající dobrovolné pohyby těla. Tento výzkum také vyvolává otázky o existenci našeho nejintimnějšího soukromého života, života našich myšlenek.

Les vzory dekódování jazyků, neboli „dekodéry řeči“, se snaží používat nahrávky mozkové aktivity k odvození slov, která subjekty slyší, říkají nebo si představují.

Až dosud byly jazykové dekodéry používány pouze na datech získaných ze zařízení implantovaných do mozku, což omezuje jejich užitečnost. A dosud dekodéry využívající neinvazivní záznamy mozkové aktivity dekódovaly jednotlivá slova nebo velmi krátké věty, ale nebyly použity k extrakci významu ze souvislé řeči.

V tomhle nová studie, je to velmi specifický signál z funkční MRI, který byl využit: tento signál závisí na průtoku krve v mozku a na úrovni okysličení krve.

Zaměřením se na mozkovou aktivitu v oblastech mozku a v neuronových sítích, o kterých je známo, že zpracovávají jazyk, vědci ukázali, že jejich dekodér by mohl být trénován tak, aby rekonstruoval souvislou řeč, včetně konkrétních slov, ale také významu, souhrnu ucelenějších vět.

Dekodér použil mozkové reakce tří účastníků zaznamenané, když poslouchali příběhy, a vygeneroval sekvence slov, které mohly způsobit zaznamenanou mozkovou aktivitu. Tyto sekvence slov docela dobře reprodukovaly obecnou myšlenku příběhu a v některých případech dokonce obsahovaly přesná slova nebo fráze.

Uvnitř funkčního MRI skeneru byli účastníci také vedeni ke sledování němých filmů a představování si odpovídajících příběhů. V obou případech byl dekodér schopen předpovědět většinu příběhů.

Například jeden účastník si myslel: „Nemám řidičský průkaz“ (Ještě nemám řidičák) a dekodér předpověděl „Ještě se ani nenaučila řídit“ (Ještě se ani nezačala učit řídit).

Navíc, když účastníci museli aktivně poslouchat jeden příběh a ignorovat simultánní druhý příběh, dekodér byl schopen identifikovat pouze první děj.

Jak to funguje ?

Nejprve vědci požádali účastníky, aby strávili 16 hodin ve funkčním MRI skeneru, kde poslouchali čtené příběhy, zatímco byly zaznamenávány jejich mozkové aktivity.

Tyto mozkové reakce byly použity k trénování „kodéru“, což je počítačový model, který předpovídá, jak mozek reaguje na slova, která účastník slyší. Po tomto školení může kodér s dobrou přesností předvídat, na co by mozek každého účastníka reagoval při poslechu sekvence konkrétních slov.

Ale jít opačným směrem, tedy vydolovat sled slov z mozkové činnosti, je mnohem obtížnější.

Model kodéru je skutečně navržen tak, aby vztahoval mozkové aktivity a „sémantické prvky“ nebo celkový význam slov nebo vět. K dosažení tohoto cíle systém používá Jazykový model „GPT“, pro generativní předtrénovaný transformátor, předchůdce dnešního GPT-4. Dekodér pak vygeneruje sekvenci slov, která mohla vyvolat pozorovanou mozkovou odezvu.

Správnost každé predikce dekodéru je kontrolována jeho použitím k výpočtu odpovídající mozkové aktivity. Tato mozková aktivita předpovězená dekodérem je pak porovnána s tou, která byla skutečně zaznamenána.

Během tohoto procesu, který spotřebovává mnoho výpočetních zdrojů, je generováno mnoho předpovědí jedna po druhé a jsou klasifikovány podle jejich přesnosti: nevhodné předpovědi jsou eliminovány, nejpřesnější jsou zachovány. Poté se předpovídá další slovo v pořadí, dokud není určena nejsprávnější sekvence.

slova a význam

Nová studie ukazuje, že k provedení procesu predikce byla potřeba data z více oblastí mozku. Tyto oblasti jsou různorodé, ale velmi specifické: jsou to řečová síť, parietální/temporální/okcipitální asociační oblast a prefrontální kortex.

Hlavním rozdílem mezi touto prací a předchozími studiemi je typ použitých dat. Většina dekodérů totiž spojuje data z oblastí mozku, které se podílejí na konečné fázi tvorby řeči, konkrétně pohyby úst a jazyka. Tento dekodér pracuje na jiné úrovni, na nápadech a významu myšlenek.

Jedním z omezení funkčních MRI dat je jejich nízké „časové rozlišení“. Signál okysličení krve skutečně stoupá a klesá asi za 10 sekund, což je doba, během níž slyšíme asi dvacet slov nebo více. Proto tato technika nedetekuje jednotlivá slova, ale pravděpodobný význam sekvencí slov.

Nepanikaříme (zatím ne)

Myšlenka, že umíme číst myšlenky, přirozeně vyvolává obavy o existenci našich nejintimnějších soukromých životů, o to, co se nám odehrává v hlavě. Vědci provedli další experimenty, aby objasnili možnosti této techniky.

Tyto experimenty ukazují, že se stále není třeba obávat, že by naše myšlenky byly čteny, když jdeme po ulici, nebo když nejsme ochotni spolupracovat.

Dekodér natrénovaný na mozkových datech jedné osoby skutečně špatně předpovídá sémantické prvky z dat mozku jiné osoby. Účastníci si navíc mohou úkol dekódování zkomplikovat tím, že svou pozornost zaměří na jiný úkol, jako je pojmenování zvířat nebo vyprávění jiného příběhu.

Dekodér také selže, pokud se účastníci pohybují ve funkčním MRI skeneru, protože se jedná o zobrazovací techniku ​​velmi citlivou na pohyb. Spolupráce účastníků je zde nezbytná.

S těmito technickými omezeními, kromě potřeby velmi výkonných počítačů pro provoz dekodéru, je v této fázi velmi nepravděpodobné, že by v této fázi bylo možné dekódovat něčí myšlenky proti jeho vůli.

Konečně, dekodér prozatím pracuje pouze s daty získanými funkční magnetickou rezonancí, což je nákladná a často složitá technika na implementaci. Výzkumná skupina má v úmyslu otestovat tuto metodu s daty z jiných neinvazivních technologií zobrazování mozku.

Christina Maherová, biomedicínský inženýr a neurovědec, Univerzita v Sydney

Tento článek je publikován z Konverzace pod licencí Creative Commons. Čístpůvodní článek.

Obrazový kredit: Shutterstock / VÝROBA ORION