19.03.2011 20:10
"Je to významný krok k rekonstruování vnitřních obrazů," řekl profesor Jack Gallant, neurovědec z University of California v Berkeley a spoluautor studie, která byla zveřejněna 22. září v časopise Current Biology. "Otevíráme okno k filmům v našich myslích."
Praktické využití této technologie by mohlo zahrnovat lepší porozumění tomu, co se děje v myslích lidí, kteří nemohou komunikovat verbálně, jako jsou oběti cévních mozkových příhod, pacienti v komatu, či lidé s neuro-degenerativními chorobami.
Objev by se také mohl stát základem pro rozhraní mozek-stroj, resp. mozek-počítač, díky němuž by například lidé s mozkovou obrnou nebo ochrnutím končetin mohli ovládat počítač pouze svojí myslí.
Výzkumníci nicméně upozorňují, že tato technologie je ještě značně vzdálená přístroji z filmové sci-fi "Brainstorm", jenž je schopen zaznamenávat lidské emoce a zážitky a zprostředkovávat je ostatním.
Již dříve J. Gallant a jeho kolegové zaznamenávali mozkové aktivity ve zrakové kůře při prohlížení statických černobílých fotografií. Později pak sestavili výpočetní model, který jim s ohromující přesností umožňoval stanovit, na který obrázek se pozorovaná osoba dívá.
V jejich posledním pokusu se jim však podařilo vyřešit problém mnohem složitější a to dekódovat mozkové signály generované pohybujícími se obrázky.
"Náš přirozený vizuální zážitek je jako sledování filmu," říká Shinji Nishimoto, vedoucí autor studie a postgraduální výzkumník v Gallantově laboratoři. "Aby tato technologie mohla mít široké uplatnění, musíme porozumět tomu, jak mozek zpracovává tyto dynamické vizuální zážitky."
Nishimoto a dva další členové výzkumného týmu sloužili v tomto experimentu jako dobrovolníci, protože postup vyžaduje, aby pozorovaná osoba pobývala uvnitř MRI skeneru řádově hodiny v kuse.
Zatímco se dívali na dvě oddělené sady Hollywoodských filmových ukázek, byl pomocí fMRI měřen průtok krve jejich zrakovou kůrou, tedy částí mozku, která zpracovává vizuální informace. Na počítači byl mozek rozdělen na malé 3-dimenzionální kostičky, kterým se říká "voxely" z anglického volumetric pixels objemový pixel.
"Vytvořili jsme model pro každý voxel, který popisuje, jak jsou tvar a pohyb informací ve filmu mapovány do činnosti mozku," řekl Nishimoto.
Zaznamenané mozkové činnosti pokusných osob při sledování první sady klipů byly vloženy do počítačového programu, který se vteřinu po vteřině učil spojovat vizuální vzory ve filmu s odpovídající mozkovou aktivitou.
Mozkové aktivity vyvolané druhou sadou klipů byly využity k testování algoritmu rekonstrukce filmu. Ta probíhala tak, že se počítačový program nakrmil 18 milióny sekund náhodných videí z YouTube, čímž byl schopen předpovídat mozkovou činnost, kterou každý filmový klip s největší pravděpodobností v každé pokusné osobě vyvolá.
100 klipů, které počítačový program považoval za se nejvíc podobné videosekvenci, kterou pozorovaná osoba před tím viděla, bylo nakonec sloučeno a použito k vytvoření sice rozmazaného ale neustálé se rekonstruujícího originálního filmu.
Rekonstruování filmů v naší mysli danou metodou je celkem složitý problém. Signály měřené ze změn průtoku krve pomocí fMRI mají totiž mnohem pomalejší odezvu než nervové signály, které kódují dynamické informace ve filmech. Proto se také naprostá většina dosavadních pokusů o dekódování mozkové činnosti zaměřovala pouze na statické obrázky.
"Vyřešili jsme tento problém tím, že jsme vyvinuli dvoustupňový model, který zvlášť popisuje signály základní nervové populace a zvlášť signály krevního oběhu," říká Nishimoto.
V konečném důsledku vědci usilují o to pochopit, jak mozek zpracovává vizuální dynamické události, které prožíváme v každodenním životě.
"K tomu potřebujeme vědět, jak mozek pracuje v přirozených podmínkách. Musíme proto nejdřív porozumět tomu, jak pracuje, když sledujeme filmy," dodává Nishimoto.
Ostatními spoluautory studie jsou Thomas Naselaris (UC Berkeley), Helen Wills (UC Berkeley, Neuroscience Institute), An T. Vu (UC Berkeley, Joint Graduate Group in Bioengineering), Yuval Benjamini (UC Berkeley, Department of Statistics) a profesor Yu Bin (UC Berkeley, Department of Statistics).
Výzkumníci používají fMRI k určení obsahu krátkodobé paměti
Představte si, že se ráno probudíte a při snídani můžete na YouTube shlédnout, co se vám v noci zdálo. Výzkumníci z University of California v Berkeley se k této futuristické vizi značně přiblížili díky technologii založené na kombinaci moderních zobrazovacích technik a počítačové simulace.
|
Výzkumníkům se podařilo dekódovat a rekonstruovat dynamické vizuální zážitky osob, které v daném experimentu sledovali hollywoodské filmové upoutávky. |
 |
|
Technologie, která je založena na kombinaci funkční magnetické rezonance (fMRI) a výpočetních modelech, může zatím rekonstruovat pouze videosekvence, které dotyční již shlédli. Nicméně tento objev podle výzkumníků připravuje půdu pro reprodukování celých filmů v naší hlavě, které nikdo jiný dosud neměl možnost vidět, jako jsou sny a vzpomínky.
"Je to významný krok k rekonstruování vnitřních obrazů," řekl profesor Jack Gallant, neurovědec z University of California v Berkeley a spoluautor studie, která byla zveřejněna 22. září v časopise Current Biology. "Otevíráme okno k filmům v našich myslích."
Praktické využití této technologie by mohlo zahrnovat lepší porozumění tomu, co se děje v myslích lidí, kteří nemohou komunikovat verbálně, jako jsou oběti cévních mozkových příhod, pacienti v komatu, či lidé s neuro-degenerativními chorobami.
Objev by se také mohl stát základem pro rozhraní mozek-stroj, resp. mozek-počítač, díky němuž by například lidé s mozkovou obrnou nebo ochrnutím končetin mohli ovládat počítač pouze svojí myslí.
Výzkumníci nicméně upozorňují, že tato technologie je ještě značně vzdálená přístroji z filmové sci-fi "Brainstorm", jenž je schopen zaznamenávat lidské emoce a zážitky a zprostředkovávat je ostatním.
Již dříve J. Gallant a jeho kolegové zaznamenávali mozkové aktivity ve zrakové kůře při prohlížení statických černobílých fotografií. Později pak sestavili výpočetní model, který jim s ohromující přesností umožňoval stanovit, na který obrázek se pozorovaná osoba dívá.
V jejich posledním pokusu se jim však podařilo vyřešit problém mnohem složitější a to dekódovat mozkové signály generované pohybujícími se obrázky.
"Náš přirozený vizuální zážitek je jako sledování filmu," říká Shinji Nishimoto, vedoucí autor studie a postgraduální výzkumník v Gallantově laboratoři. "Aby tato technologie mohla mít široké uplatnění, musíme porozumět tomu, jak mozek zpracovává tyto dynamické vizuální zážitky."
Nishimoto a dva další členové výzkumného týmu sloužili v tomto experimentu jako dobrovolníci, protože postup vyžaduje, aby pozorovaná osoba pobývala uvnitř MRI skeneru řádově hodiny v kuse.
Zatímco se dívali na dvě oddělené sady Hollywoodských filmových ukázek, byl pomocí fMRI měřen průtok krve jejich zrakovou kůrou, tedy částí mozku, která zpracovává vizuální informace. Na počítači byl mozek rozdělen na malé 3-dimenzionální kostičky, kterým se říká "voxely" z anglického volumetric pixels objemový pixel.
"Vytvořili jsme model pro každý voxel, který popisuje, jak jsou tvar a pohyb informací ve filmu mapovány do činnosti mozku," řekl Nishimoto.
Zaznamenané mozkové činnosti pokusných osob při sledování první sady klipů byly vloženy do počítačového programu, který se vteřinu po vteřině učil spojovat vizuální vzory ve filmu s odpovídající mozkovou aktivitou.
Mozkové aktivity vyvolané druhou sadou klipů byly využity k testování algoritmu rekonstrukce filmu. Ta probíhala tak, že se počítačový program nakrmil 18 milióny sekund náhodných videí z YouTube, čímž byl schopen předpovídat mozkovou činnost, kterou každý filmový klip s největší pravděpodobností v každé pokusné osobě vyvolá.
100 klipů, které počítačový program považoval za se nejvíc podobné videosekvenci, kterou pozorovaná osoba před tím viděla, bylo nakonec sloučeno a použito k vytvoření sice rozmazaného ale neustálé se rekonstruujícího originálního filmu.
Rekonstruování filmů v naší mysli danou metodou je celkem složitý problém. Signály měřené ze změn průtoku krve pomocí fMRI mají totiž mnohem pomalejší odezvu než nervové signály, které kódují dynamické informace ve filmech. Proto se také naprostá většina dosavadních pokusů o dekódování mozkové činnosti zaměřovala pouze na statické obrázky.
"Vyřešili jsme tento problém tím, že jsme vyvinuli dvoustupňový model, který zvlášť popisuje signály základní nervové populace a zvlášť signály krevního oběhu," říká Nishimoto.
V konečném důsledku vědci usilují o to pochopit, jak mozek zpracovává vizuální dynamické události, které prožíváme v každodenním životě.
"K tomu potřebujeme vědět, jak mozek pracuje v přirozených podmínkách. Musíme proto nejdřív porozumět tomu, jak pracuje, když sledujeme filmy," dodává Nishimoto.
Ostatními spoluautory studie jsou Thomas Naselaris (UC Berkeley), Helen Wills (UC Berkeley, Neuroscience Institute), An T. Vu (UC Berkeley, Joint Graduate Group in Bioengineering), Yuval Benjamini (UC Berkeley, Department of Statistics) a profesor Yu Bin (UC Berkeley, Department of Statistics).
—————