С развитием систем распознавания предпочтений и адресной рекламы, предложения к просмотру видео и друзей в социальных сетях вызывают у пользователя иллюзию, что компьютер читает его мысли. Однако, к лучшему это, или к худшему, мы реально двигаемся в направлении компьютеров и систем, читающих наши мысли на самом деле. Новое исследование, проведенные разработчиками из Япония является, без преувеличения, абсолютно прорывным шагом в этом направлении.
Команда из Киотского университета решила использовать виртуальную нейросеть, чтобы попытаться читать и интерпретировать мысли в живой нейронной сети, в мозге человека. Хотя это звучит довольно безумно, тем не менее, эксперимент принципиально не нов и японцы не первая группа, которая в этом направлении работает. Разница между командой из Киото и их предшественниками состоит в том, что более ранние методики реконструировали изображения на основе состовляющих картинки пикселей и основных геометрических фигур. Однако новая технология, получившая название «глубокая реконструкция изображения», перемещается за пределы двоичных пикселей и дает исследователям возможность декодировать изображения с несколькими слоями цвета и структуры.
«Наш мозг обрабатывает визуальную информацию путем иерархического извлечения различных уровней признаков или компонентов различных сложностей», – говорит в интервью Юкиясу Камитани (Yukiyasu Kamitani), один из ученых, участвующих в исследовании. «Эти нейронные сети или модели ИИ могут использоваться в качестве приближения к иерархической структуре человеческого мозга».
Исследование длилось в течении 10 месяцев. Три подопытных добровольца в течение различной продолжительности времени смотрели на изображения трех разных категорий: природные объекты (такие как животные или люди), искусственные геометрические фигуры и буквы алфавита .
При этом регистрировалась активность мозга во время просмотра изображений. Далее изображение убиралось и подопытного просили подумать о картинке, на которую он только что смотрел. При этом активность мозга снова фиксировалась и данные сопоставлялись с предыдущими, после чего результаты вводились в виртуальную нейронную сеть, которая в дальнейшем использовала их для интерпретации мозговой активности как тех или иных мыслей.
У людей (и, фактически, у всех млекопитающих) зрительная кора расположена в задней части мозга, в затылочной доле, которая выше мозжечка. Активность в зрительной коре измеряли с использованием функциональной магнитно-резонансной томографии (fMRI), преобразуя полученную картинку в иерархические особенности виртуальной нейронной сети.
Начиная со случайного изображения, создаваемая сеть многократно оптимизирует значения пикселей этого изображения. В результате функции нейронной сети входного изображения похожи на функции, декодированные из активности мозга.
Важно отметить, что экспериментальная модель предполагала использование не только естественных образов (людей или природы), но так же предполагалась генерация и распознавание искусственных структур и геометрических фигур:
Как можно видеть из ролика, системе гораздо сложнее декодировать изображение в ситуации, когда человек не смотрит на изображение, а только об увиденном думает. Однако это, видимо, абсолютно естественно: далеко не всякий мозг помнит каждую деталь только что увиденного изображения, например страницу из книги. Наши воспоминания, как правило, очень размытые и нечеткие.
На данном этапе исследования восстановленные из мозговой активности изображения лишь сохраняют некоторое сходство с исходными изображениями, просматриваемыми участниками экперимента, в основном они выглядят как минимально-подробные сгустки пикселей. Однако это только начало пути и со временем точность распознавания будет все более, хотя уже и сейчас уверенно можно сказать, о каком объекте подопытный думает.
Все это открывает перед разработчиками поражающие воображение перспективы. Представьте себе «мгновенное моделирование», когда вы только представляете себе в голове какой-то объект – арт-концепт или деталь механизма – и компьютер его тут же, без нажатия кнопок автоматически создает необходимый трехмерный объект.
Или же ИИ может пойти и гораздо дальше, записывать вашу деятельность мозга, когда вы спите, а затем воссоздавая в трехмерном мире все ваши сны? Существует бесчисленное количество приложений этой разработки, поэтому японская команда упорно над всем работает. Тем не менее, в наших общих всех интересах, чтобы чтения мыслей продвигалось постепенно и достаточно осторожно ибо технология несет в себе много опасностей
