Крок у майбутнє: японські дослідники знайшли спосіб декодувати думки

Нове дослідження вчених з Кіотського університету наробило значного галасу, оскільки науковці створили першу у своєму роді комп’ютерну нейронну мережу, яка читає та відтворює думки людини.

Команда дослідників на чолі з Гохуа Шеном вивчала особливості глибинної реконструкції зображень та успішно розробила алгоритм, який може створити нові, схожі образи практично з нуля.

І хоча комп’ютерна реконструкція зображень на основі нейронної активності у мозку вже була реалізована раніше, попередні дослідження спирались лише на піксельний розбір зображень та аналіз базових геометричних форм.

“Ми вважаємо, що глибинна нейронна мережа є гарним посередником для ієрархічної обробки мозку.”

– пише Юкіясу Камітані, співавтор дослідження.

Глибока реконструкція: зображення природи. Ліворуч – зображення, яке бачив піддослідний, праворуч – відтворене нейронною мережею. Джерело: KamitaniLab

“Ми вивчали методи реконструкції або відтворення зображення, яке бачить людина, лише спостерігаючи з мозковою активністю цієї людини.”

– розповів Камітані у інтерв’ю виданню CNBC Make It.

Новий спосіб відтворення образів

Він зазначив, що наш мозок обробляє візуальну інформацію ієрархічно, вишукуючи та виокремлюючи риси або компоненти різної складності. Саме тому японські дослідники звернулися до нової методології, яка оптимізує значення піксельного зображення так, щоби дані можна було передати до глибинної нейронної мережі (Deep neural network). Такі мережі складаються з серії шарів, кожен з яких може виконувати прості операції.

Схема системи глибинної реконструкції зображення
Схематичне зображення системи для глибинної реконструкції зображень. Значення пікселів вхідних зображень оптимізовано так, що характеристики зображення у мережі глибинного навчання (DNN) відповідають тим, які зчитуються комп’ютером з фМРТ (пристрій функціональної магнітно-резонансної томографії). Джерело: bioRxiv (2017). DOI: 10.1101/240317

У публікації зазначається, що у експерименті взяли участь три особи з нормальним або скорегованим до нормального зором. Вони переглядали зображення з трьох категорій, тобто отримували “візуальні стимули”, серед яких були зображення природи, штучні геометричні форми та букви алфавіту.

Дослідники не підключалися до електричних сигналів мозку за допомогою електроенцефалограми, а використовували функціональний магнітно-резонансний томограф – фМРТ.

Сучасні фМРТ здатні реєструвати найменші зміни у кровотоку різних ділянок мозку, тому дослідники мали можливість відслідковувати відповідні зміни у когнітивній (нейронній) активності у цих ділянках. І, з певною похибкою, це дало свої результати. Їм вдалося виміряти активність візуальної кори піддослідних під час перегляду зображень та “згодувати” ці дані мережі глибинного навчання. З рештою, ця DNN мережа навчилася створювати власні зображення, які відповідали тому, що бачили люди.

Глибока реконструкція: геометричні фігури. Джерело: KamitaniLab

Щоби навчити DNN мережу генерувати образи, дослідники показали кожному з піддослідних по 1000 зображень, зокрема прості кольорові фігури та фото тварин.

І ще раз: комп’ютерна мережа глибинного навчання створила образи, які бачила жива людина, і для цього їй знадобилися лише дані про рух крові у судинах, де активізувалися мільярди різних нервових клітин. Схожість з оригіналом цілком помітна, і це лише з використанням тисячі зображень.

Ця робота демонструє, як швидко технології можуть перенести нас у майбутнє, де технічні системи зможуть читати наші думки – показувати фільми з наших власних сновидінь чи допомагати паралізованим пацієнтам знову комунікувати зі зовнішнім світом.

bioRxiv (2018), doi: 10.1101/240317

Сподобалась стаття? Придбайте нам , а ми напишемо ще.
Повідомити про помилку: підкресліть текст та натисніть CTRL+Enter або
Валентин Солонечний
  • 52 записів
  • 0 дописів
Засновник Science Ukraine, науковий журналіст та популяризатор науки. Слідкує за розвитком гравітаційної астрономії, ДНК-медицини та термоядерного синтезу. Підтримує позитивізм та гуманне ставлення до природи.