Ha képesek lennénk látni az emberek fejében megjelenő mentális képeket, azzal egyszerre segíthetnénk a bénulástól szenvedők kommunikációját, rögzíthetnénk az álmainkat és alapíthatnánk új rendvédelmi szervezetet gondolatrendőrség néven. Japán kutatók munkája révén a technika fejlődésének ehhez a vidám fordulópontjához került most közelebb az emberiség.

Az Oszakai Egyetem agykutatója, Ju Takagi egy olyan rendszert épített, amely funkcionális mágnesesrezonancia-képalkotó vizsgálat (fMRI) segítségével az aktív agyi régiókról kapott adatokat a Stable Diffusion képalkotó mesterséges intelligenciával alkotta ismét képpé. 

A Stable Diffusion, a Dall-E 2 és a Midjourney az a program, amely 2022 óta felforgatta a vizuális szakmákat minden korábbinál jobb minőségű képeivel.

A japán kutatók az agyi jeleket értelmező algoritmust a Minnesotai Egyetem különleges adatbázisán tanították be, amelyet önkéntesek által megtekintett tízezer fotóból és a hozzájuk tartozó fMRI-felvételből állt. A betanított rendszer azután négy önkéntes gondolatait próbálta kifürkészni a Stable Diffusion képességeit igénybe véve.

A nyakszirti lebenyben érzékelt aktivitás a kép elrendezéséről és perspektívájáról adott támpontot, míg a halántéklebeny a kép tartalmának (ember, tárgy, táj) érzékeléséért felel. Magát a kép tartalmát az agyi képalkotás segítségével nagyon nehéz beazonosítani. Ezt a problémát a szakemberek úgy próbálták megoldani, hogy kulcsszavazták a minnesotai adathalmaz fotóit – így az ismétlődő agyi mintázatokat a megfelelő kulcsszóhoz rendelték. Amikor így megfejtették a kép tárgyát, alkalmazták rá a képelrendezésről és perspektívatulajdonságairól szerzett ismereteket.

A kulcsszavak ugyan behatárolták a letapogatható tárgyak körét, de az eljárást végül új képeket nézegető önkénteseken próbálták ki. Takagi szerint a rendszerük hatékonyabb volt, kevesebb betanítással tudott elfogadható eredményeket produkálni – egy új alany mentális képeinek letapogatásához tehát így is szükség lenne betanításra, csak a korábbi módszereknél kevesebbre.

A fejlesztésben részt vevő Sindzsi Nisimotó úgy vélte, hogy további fejlesztéssel a rendszer használható lesz gondolatok vagy álmok megjelenítésére, és akár azt is lehetővé teheti, hogy megértsük, hogyan látják a valóságot különböző állatok.

(Borítókép: Jakub Porzycki / NurPhoto / Getty Images)

(Science.org)