ПРИХОВАТИ

Крок у майбутнє: японські дослідники знайшли спосіб декодувати думки

Нове дослідження вчених з Кіотського університету наробило значного галасу, оскільки науковці створили першу у своєму роді комп’ютерну нейронну мережу, яка читає та відтворює думки людини.

Команда дослідників на чолі з Гохуа Шеном вивчала особливості глибинної реконструкції зображень та успішно розробила алгоритм, який може створити нові, схожі образи практично з нуля.

І хоча комп’ютерна реконструкція зображень на основі нейронної активності у мозку вже була реалізована раніше, попередні дослідження спирались лише на піксельний розбір зображень та аналіз базових геометричних форм.

“Ми вважаємо, що глибинна нейронна мережа є гарним посередником для ієрархічної обробки мозку.”

– пише Юкіясу Камітані, співавтор дослідження.

Глибока реконструкція: зображення природи. Ліворуч – зображення, яке бачив піддослідний, праворуч – відтворене нейронною мережею. Джерело: KamitaniLab

“Ми вивчали методи реконструкції або відтворення зображення, яке бачить людина, лише спостерігаючи з мозковою активністю цієї людини,”

– розповів Камітані в інтерв’ю виданню CNBC Make It.

Новий спосіб відтворення образів

Він зазначив, що наш мозок обробляє візуальну інформацію ієрархічно, вишукуючи та виокремлюючи риси або компоненти різної складності. Саме тому японські дослідники звернулися до нової методології, яка оптимізує значення піксельного зображення так, щоби дані можна було передати до глибинної нейронної мережі (Deep neural network). Такі мережі складаються з серії шарів, кожен з яких може виконувати прості операції.

Схема системи глибинної реконструкції зображення
Схематичне зображення системи для глибинної реконструкції зображень. Значення пікселів вхідних зображень оптимізовано так, що характеристики зображення у мережі глибинного навчання (DNN) відповідають тим, які зчитуються комп’ютером з фМРТ (пристрій функціональної магнітно-резонансної томографії). Джерело: bioRxiv (2017). DOI: 10.1101/240317

У публікації зазначається, що в експерименті взяли участь три особи з нормальним або скорегованим до нормального зором. Вони переглядали зображення з трьох категорій, тобто отримували “візуальні стимули”, серед яких були зображення природи, штучні геометричні форми та букви алфавіту.

Дослідники не підключалися до електричних сигналів мозку за допомогою електроенцефалограми, а використовували функціональний магнітно-резонансний томограф – фМРТ.

Сучасні фМРТ здатні реєструвати найменші зміни у кровотоку різних ділянок мозку, тому дослідники мали можливість відстежувати відповідні зміни у когнітивній (нейронній) активності у цих ділянках. І, з певною похибкою, це дало свої результати. Їм вдалося виміряти активність візуальної кори піддослідних під час перегляду зображень та “згодувати” ці дані мережі глибинного навчання. Зрештою, ця DNN мережа навчилася створювати власні зображення, які відповідали тому, що бачили люди.

Глибока реконструкція: геометричні фігури. Джерело: KamitaniLab

Щоби навчити DNN мережу генерувати образи, дослідники показали кожному з піддослідних по 1 000 зображень, зокрема прості кольорові фігури та фото тварин.

І ще раз: комп’ютерна мережа глибинного навчання створила образи, які бачила жива людина, і для цього їй знадобилися лише дані про рух крові у судинах, де активізувалися мільярди різних нервових клітин. Схожість з оригіналом цілком помітна, і це лише з використанням тисячі зображень.

Ця робота демонструє, як швидко технології можуть перенести нас у майбутнє, де технічні системи зможуть читати наші думки – показувати фільми з наших власних сновидінь чи допомагати паралізованим пацієнтам знову комунікувати з зовнішнім світом.

bioRxiv (2018), doi: 10.1101/240317

Якщо ви знайшли помилку, будь ласка, виділіть фрагмент тексту та натисніть Ctrl+Enter.

Total
22
Shares
22 Shares:
Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *

Перегляньте також
Біполярний розлад
Далі

Біполярний розлад психіки може бути пов’язаний з біологією клітин

Вчені з підрозділу Масcачусетського технологічного інституту опублікували роботу, у якій вказали на можливий зв’язок між мутацією гену, білком…
Далі

На крок ближче до нейролінку та цифрового збереження спогадів

Американські дослідники створили квантовий матеріал, який може допомогти трансформувати електрохімічні сигнали мозку в електричні, придатні для обробки комп’ютером.