Нейроинтерфейс впервые воспроизвел прослушанную песню
|
Американские ученые разработали подход, позволяющий использовать данные с внутричерепных электроэнцефалографов для реконструкции и воспроизведения песен, которые недавно прослушал носитель этого измерительного прибора. Это открытие ускорит создание систем, способных "читать" эмоции и интонации речи инвалидов, сообщила во вторник пресс-служба Университета Калифорнии в Беркли. Исследование опубликовано во вторник в журнале PLoS Biology. "Удивительные результаты наших экспериментов помогут сделать более "музыкальными" и естественными новые нейроинтерфейсы для носителей бокового амиотрофического склероза и других людей, утерявших способность самостоятельно говорить. Эти устройства смогут не только считывать лингвистическое содержимое мыслей, но и интонации и эмоции", - заявил профессор Университета Калифорнии в Беркли Роберт Найт, чьи слова передает пресс-служба вуза. |
За последние годы ученые создали десятки нейроинтерфейсов, трансформирующих активность мозга пациентов в устную или письменную речь. Самые успешные из подобных разработок позволяют инвалидам и немым людям общаться при помощи систем синтеза речи, однако они не позволяют передавать эмоции и интонации. Ученые сделали шаг к решению этой проблемы во время наблюдений за работой мозга 29 пациентов-эпилептиков, готовившихся к операциям на очагах приступов. Для поиска этих областей в мозг пациентов имплантируют электроды, что позволило авторам работы отслеживать изменения мозговой активности в ответ на различные сигналы. Ученые заинтересовались тем, можно ли использовать эти данные для декодирования речи и музыки, которую слышит человек. Так, они предложили добровольцам прослушать запись песни "Another Brick in the Wall, Part 1" рок-группы Pink Floyd, проследили за переменами в активности разных областей головного мозга, в том числе верхней височной извилины, отвечающей за обработку речи и других аудиосигналов. |
Ученые сопоставили полученные данные с тем, какие ноты, аккорды и звуки голоса звучали в каждый момент изменения мозговой активности. Этот анализ показал, что сигналы от верхней височной извилины в целом "синхронизировались" со звучанием композиции. Затем исследователи разработали систему машинного обучения, которая позволяла практически полностью реконструировать прослушанную песню по данным от 346 электродов, подключенных к верхней височной извилине и к связанным с ней регионам мозга. При этом ученые обнаружили, что прослушанные звуки можно было услышать и понять, даже если для реконструкции использовались данные со всего 40 электродов. Последующий анализ сигналов позволил выделить конкретные наборы нейронов и области в верхней височной извилине, которые отвечали за восприятие ритма, различных музыкальных инструментов, голоса людей, а также высоких и низких звуков. Последующее изучение этих областей мозга, как надеются исследователи, позволит создать новое поколение нейроинтерфейсов, способных считывать не только мысли, но и эмоции и интонацию речи. |
Источник |
При использовании материалов с сайта активная ссылка на него обязательна
|