Нейроинтерфейсы — технологии, позволяющие связать мозг и компьютер, — постепенно становятся рутиной: мы уже видели, как с помощью мысленных приказов человек может управлять протезом или набирать текст на компьютере. Означает ли это, что уже скоро станут реальностью обещания фантастов, писавших о полноценном чтении мыслей с помощью компьютера или даже о переносе человеческого сознания в вычислительную машину?
Этой же теме — «Дополненная личность» — в 2019 году посвящен конкурс научно-фантастических рассказов «Будущее время», организованный благотворительным фондом «Система». Вместе с организаторами конкурса редакция N + 1 разбиралась, на что способны современные нейроинтерфейсы и сможем ли мы действительно создать полноценную связь мозг-компьютер. А помогал нам в этом Александр Каплан, основатель первой в России лаборатории интерфейсов в МГУ имени Ломоносова.
«Взломать» тело
У Нила Харбиссона врожденная ахроматопсия, лишившая его цветного зрения. Британец, решив обмануть природу, вживил себе специальную камеру, преобразующую цвет в звуковую информацию и отправляющую ее во внутреннее ухо. Нил считает себя первым официально признанным государством киборгом. В 2012 году в США Эндрю Шварц из Питсбургского университета продемонстрировал парализованную 53-летнюю пациентку, которая при помощи имплантированных в мозг электродов посылала сигналы роботу. Она научилась управлять роботом настолько, что смогла сама подать себе плитку шоколада.
В 2016 году в той же лаборатории 28-летний пациент с тяжелой травмой позвоночника протянул управляемую от мозга искусственную руку навестившему его Бараку Обаме. Сенсоры на кисти позволили пациенту почувствовать рукопожатие 44-го президента США. Современные биотехнологии дают возможность людям «взломать» ограничения своего тела, создавая симбиоз между человеческим мозгом и компьютером. Похоже, все идет к тому, что биоинженерия скоро станет частью повседневной жизни.
Что будет дальше? Философ и футурист Макс Мор, последователь идеи трансгуманизма, с конца прошлого столетия развивал идею перехода человека на новую ступень эволюции при помощи, помимо прочего, компьютерных технологий. В литературе и кинематографе последних двух столетий проскальзывает похожая игра футуристического воображения.
В мире научно-фантастического романа Уильяма Гиббсона «Нейромант», опубликованного в 1984 году, разработаны имплантаты, позволяющие их носителю подключаться к интернету, расширять интеллектуальные возможности и заново переживать воспоминания. Масамуне Сиро, автор экранизированной недавно в США культовой японской сай-фай манги «Призрак в доспехах», описывает будущее, в котором любой орган можно заменить на бионику, вплоть до полного переноса сознания в тело робота. Как далеко смогут зайти нейроинтерфейсы в мире, где, с одной стороны, незнание множит фантазии, а с другой, фантазии зачастую оказываются провидением?
Разность потенциалов
Центральная нервная система (ЦНС) — это сложнейшая коммуникативная сеть. В одном только мозге больше 80 миллиардов нейронов, а связей между ними — триллионы. Каждую миллисекунду внутри и снаружи любой нервной клетки меняются распределения положительно и отрицательно заряженных ионов, определяя то, как и когда она отреагирует на новый сигнал. В состоянии покоя нейрон имеет отрицательный потенциал относительно окружающей среды (в среднем -70 милливольт), или «потенциал покоя». Иными словами, он поляризован. Если нейрон получает электрический сигнал от другого нейрона, то, чтобы он был передан дальше, положительные ионы должны попасть внутрь нервной клетки. Происходит деполяризация. Когда деполяризация достигает порогового значения (примерно -55 милливольт, однако это значение может меняться), клетка возбуждается и впускает все больше положительно заряженных ионов, благодаря чему создается положительный потенциал, или «потенциал действия».
Далее потенциал действия по аксону (каналу связи клетки) передается в дендрит — канал-реципиент следующей клетки. Однако аксон и дендрит не связаны напрямую, и электрический импульс не может просто перейти от одного к другому. Место контакта между ними называется синапсом. Синапсы производят, передают и принимают нейромедиаторы — химические соединения, осуществляющие непосредственную «переправку» сигнала от аксона одной клетки к дендриту другой.
Когда импульс доходит до окончания аксона, тот выпускает в синаптическую щель нейромедиаторы, преодолевающие пространство между клетками и прикрепляющиеся к окончанию дендрита. Они вынуждают дендрит впустить внутрь положительно заряженные ионы, перейти из потенциала покоя к потенциалу действия и передать сигнал в тело клетки.
От типа нейромедиатора также зависит, какой сигнал будет отправлен дальше. Например, глутамат приводит к возбуждению нейронов, гамма-аминомасляная кислота (ГАМК) является важнейшим тормозным медиатором, а ацетилхолин способен делать и то, и другое в зависимости от ситуации.
Более того, реакция клетки-реципиента зависит от количества и ритма поступающих импульсов, идущей от остальных клеток информации, а также от зоны мозга, из которой был отправлен сигнал. Различные вспомогательные клетки, эндокринная и иммунная системы, внешняя среда и предыдущий опыт — все это определяет состояние ЦНС в данный момент и тем самым влияет на поведение человека.
И хотя, как мы понимаем, ЦНС — это не набор «проводов», работа нейроинтерфейсов основывается именно на электрической активности нервной системы.
Позитивный скачок
Основная задача нейроинтерфейса — декодировать электрический сигнал, поступающий от мозга. Программа имеет набор «шаблонов», или «событий», состоящий из различных характеристик сигнала: частот колебаний, спайков (пиков активности), локаций на коре и так далее. Программа анализирует поступающие данные и пытается обнаружить в них эти события.
От полученного результата, как и от функционала системы в целом, зависят посылаемые далее команды.
Примером такого шаблона является вызванный потенциал P300 (Positive 300), часто используемый для так называемых спеллеров — механизмов набора текста при помощи сигналов мозга.
Когда человек видит на экране нужный ему символ, через 300 миллисекунд на записи активности мозга можно обнаружить позитивный скачок электрического потенциала. Обнаружив P300, система посылает команду о печати соответствующего символа.
При этом с одного раза обнаружить потенциал алгоритм не может из-за зашумленности сигнала случайной электрической активностью. Поэтому символ необходимо предъявить несколько раз, а полученные данные — усреднить.
Помимо одномоментного изменения потенциала, нейроинтерфейс может искать изменения в ритмической (то есть осцилляторной) активности мозга, вызванные определенным событием. Когда достаточно большая группа нейронов входит в синхронный ритм колебаний активности, то это можно обнаружить на спектрограмме сигнала в виде ERS (event-related synchronisation). Если же, наоборот, происходит рассинхронизация колебаний, то на спектрограмме присутствует ERD (event-related desynchronisation).
В момент, когда человек производит или просто представляет движение рукой, в двигательной коре противоположного полушария наблюдается ERD на частоте колебаний примерно 10–20 герц.
Этот и иные шаблоны могут быть заданы программе вручную, но зачастую они создаются в процессе работы с каждым конкретным индивидом. Наш мозг, как и особенности его активности, индивидуален и требует адаптации системы к нему.
Записывающие электроды
Большинство нейроинтерфейсов для записи активности используют электроэнцефалографию (ЭЭГ), то есть неинвазивный метод нейровизуализации — в силу его относительной простоты и безопасности. Электроды, прикрепленные к поверхности головы, регистрируют изменение электрического поля, вызванное изменением потенциала дендритов после того, как потенциал действия «перебрался» через синапс.
В момент, когда положительные ионы проникают в дендрит, в прилегающей к нему внешней среде образуется отрицательный потенциал. На другом конце нейрона ионы с тем же зарядом начинают покидать клетку, создавая снаружи положительный потенциал, и окружающее нейрон пространство превращается в диполь. Электрическое поле, распространяющееся от диполя, регистрируется электродом.
К сожалению, метод обладает рядом ограничений. Череп, кожа и остальные слои, отделяющие нервные клетки от электродов, хоть и являются проводниками, но не настолько хорошими, чтобы не искажать информацию о сигнале.
Электроды способны регистрировать только суммарную активность множества соседних нейронов. Основной вклад в результат измерения дают нейроны, расположенные в верхних слоях коры, чьи отростки перпендикулярны к ее поверхности, потому что именно они создают диполь, электрическое поле которого сенсор может уловить лучше всего.
Все это приводит к потере информации из глубинных структур и снижению точности, поэтому система вынуждена работать с неполными данными.
Инвазивные электроды, имплантируемые на поверхность или непосредственно внутрь мозга, позволяют добиваться куда большей точности.
Если нужная функция связана с поверхностными слоями мозга (например, двигательная или сенсорная активность), то имплантация ограничивается трепанацией и прикреплением электродов к поверхности коры. Сенсоры считывают суммарную электрическую активность многих клеток, но этот сигнал не так искажен, как при ЭЭГ.
Если же важна активность, расположенная глубже, то электроды внедряют внутрь коры. Возможна даже регистрация активности единичных нейронов при помощи специальных микроэлектродов. К сожалению, инвазивная методика представляет потенциальную опасность для человека и применяется в медицинской практике только в крайних случаях.
Однако есть надежда, что в будущем методика станет менее травмирующей. Американская компания Neuralink планирует осуществить идею безопасного внедрения тысяч тонких гибких электродов без сверления черепа, при помощи лазерного луча.
Еще несколько лабораторий работают над созданием биоразлагаемых сенсоров, что позволит удалять электроды из мозга.
Банан или апельсин?
Запись сигнала — это только первый этап. Далее необходимо его «прочесть», чтобы определить намерения, которые за ним стоят. Есть два возможных пути декодирования активности мозга: позволить алгоритму самому вычленить из набора данных релевантные характеристики или же дать системе описание параметров, которые надо искать.
В первом случае алгоритм, не ограниченный параметрами поиска, сам классифицирует «сырой» сигнал и найдет элементы, предсказывающие намерения с наибольшей вероятностью. Если, например, испытуемый попеременно думает о движении правой и левой рукой, то программа способна найти параметры сигнала, максимально отличающие один вариант от другого.
Проблема этого подхода заключается в слишком высокой многомерности параметров, описывающих электрическую активность мозга, и большой зашумленности данных различными помехами.
При втором алгоритме декодирования необходимо заранее знать, где и что искать. Например, в описанном выше примере спеллера P300 мы знаем, что при виде нужного человеку символа электрический потенциал изменяется определенным образом. Мы учим систему искать эти изменения.
В подобной ситуации возможность расшифровать намерения человека завязана на наших знаниях о том, как функции мозга закодированы в нейронной активности. Как то или иное намерение или состояние проявляется в сигнале? К сожалению, в большинстве случаев у нас нет ответа на этот вопрос.
Нейробиологические исследования когнитивных функций активно ведутся, но тем не менее, мы можем расшифровать очень малую долю сигналов. Мозг и сознание остаются для нас пока «черным ящиком».
Александр Каплан, нейрофизиолог, доктор биологических наук и основатель лаборатории нейрофизиологии и нейроинтерфейсов МГУ имени Ломоносова, получивший первый в России грант на разработку нейроинтерфейса для связи мозга и компьютера, рассказывает, что исследователям удается по признакам ЭЭГ автоматически расшифровывать некоторые намерения человека или мысленно представляемые им образы.
Однако на данный момент таких намерений и образов набралось не более десятка. Это, как правило, состояния, связанные с расслаблением и умственным напряжением или с представлением движений частей тела. И даже их распознавание происходит с ошибками: например, установить по ЭЭГ, что человек намерен сжать в кулак правую кисть, даже в самых лучших лабораториях удается не более чем в 80-85 процентах случаев от общего числа попыток.
А если попробовать понять по ЭЭГ, представляет себе человек банан или апельсин, то количество правильных ответов лишь слегка превысит уровень случайного угадывания.
Главное препятствие — это отсутствие ключей к расшифровке сигналов, которыми общаются между собой нервные клетки. Не зная кодов, невозможно подключиться к потокам информации. Проблема здесь не в том, что эти ключи трудно подобрать, а в исходном их отсутствии. В каждой паре нервных клеток их взаимное понимание обусловлено не только пробегающими между ними нервными импульсами, но и их взаимодействием с тысячами других нервных клеток. Это взаимодействие ежесекундно модифицируется, реагируя на мимолетные мыслей, колики в животе, дуновения ветра. Как это учесть, чтобы правильно подключиться к мозгу?
Александр Каплан,
основатель лаборатории нейрофизиологии и нейроинтерфейсов МГУ имени Ломоносова
Самое печальное в том, что повысить надежность нейроинтерфейсных систем в деле распознавания намерений человека по ЭЭГ и расширить список таких намерений не удается вот уже более 15 лет, несмотря на значительные успехи в развитии алгоритмики и вычислительной техники, достигнутые за это же время.
Видимо, в ЭЭГ отражается лишь малая часть мыслительной деятельности человека. Потому и к нейроинтерфейсным системам следует подходить с умеренными ожиданиями и четко очерчивать сферы их реального применения.
Трудности перевода
Почему мы не можем создать систему, делающую то, что с легкостью осуществляет мозг? Если вкратце, то схема работы мозга слишком сложна для наших аналитических и вычислительных возможностей.
Во-первых, мы не знаем «языка», на котором общается нервная система. Кроме импульсных рядов, его характеризует множество переменных: особенности путей и самих клеток, химические реакции, происходящие в момент передачи информации, работа соседних нейронных сетей и других систем организма.
Помимо того, что «грамматика» этого «языка» сама по себе сложна, у разных пар нервных клеток он может отличаться. Ситуация усугубляется тем, что правила коммуникации, а также функции клеток и отношения между ними — все это очень динамично и постоянно меняется под воздействием новых событий и условий. Это экспоненциально увеличивает количество информации, которую необходимо принимать в расчет.
Данные, полностью описывающие активность мозга, просто утопят любой алгоритм, который возьмется за их анализ. Поэтому декодирование намерений, воспоминаний, движений оказывается практически нерешаемой задачей.
Если импульсы передаются от одного компьютера в другой, то можно по адресам, по протоколам понять, что это, например, переброска из одних адресов памяти в другие адреса памяти, потому что протокол обмена и формат данных нам об этом свидетельствует. В случае мозга нет никаких шансов сделать прямую связь так, как связываются два процессора. Поэтому нет никаких теоретических предпосылок к тому, что информация из мозга потечет в компьютер, а из компьютера в мозг. Нет форматов данных, нет адресов, нет кодов.
Александр Каплан
Второе препятствие заключается в том, что мы и о самих функциях мозга, которые пытаемся обнаружить, не очень много знаем. Что такое память или зрительный образ, из чего они состоят? Нейрофизиология и психология давно пытаются ответить на эти вопросы, но пока большого продвижения в исследованиях нет.
Когда мы создаем зрительный образ — где он? Во всей голове. Потому что он синтетический: в него вплетаются не только зрительные, но и тактильные, обонятельные и другие ощущения. И как же мы будем подключаться?
Мозг это не та система, которая может поддаться таким элементарным процедурам, какие используются для тренировки распознавания номеров пролетающих мимо автомобилей. В ходе таких тренировок нейросетям много раз предъявляют номера и каждый раз говорят, что это за номера.
В нашем случае надо эти нейросети подключить к нейронам, много раз давать разную электрическую активность и каждый раз говорить, что она означает. Но мы-то этого не знаем. Вся мощь компьютеров и алгоритмики нейросетей оказывается бесполезна, потому что мы даем эти импульсы и не говорим, что они означают.
Александр Каплан
Простейшие функции вроде двигательных и сенсорных имеют в этом смысле преимущество, так как они лучше изучены. Поэтому имеющиеся на данный момент нейроинтерфейсы взаимодействуют в основном с ними.
Они способны распознавать тактильные ощущения, воображаемое движение конечностью, ответ на зрительную стимуляцию, а также простые реакции на события внешней среды вроде реакции на ошибку или на рассогласование между ожидаемым стимулом и реальным. Но высшая нервная деятельность остается на сегодня для нас большой тайной.
Двусторонняя связь
До сих пор мы обсуждали только ситуацию одностороннего считывания информации без какого-либо обратного воздействия. Однако сегодня уже существует технология передачи сигналов от компьютера в мозг — CBI (computer-brain interface). Она делает канал связи нейроинтерфейса двусторонним.
Информация (например, звук, тактильные ощущения и даже данные о работе мозга) поступает в компьютер, анализируется и через стимуляцию клеток центральной или периферической нервной системы передается в мозг. Все это может происходить полностью в обход естественных органов восприятия и успешно используется для их замещения.
По словам Александра Каплана, в настоящее время уже нет теоретических ограничений для оснащения человека искусственными сенсорными «органами», подключенными непосредственно к мозговым структурам. Более того, они активно внедряются в повседневную жизнь человека, например для замещения нарушенных естественных органов чувств.
Людям с нарушениями слуха уже сегодня доступны так называемые кохлеарные имплантаты: микрочипы, объединяющие микрофон со слуховыми рецепторами. Начато тестирование ретинальных имплантов для восстановления зрения.
По мнению Каплана, нет технических ограничений и для подключения к мозгу любых других сенсоров, реагирующих на ультразвук, изменение радиоактивности, скорости или давления.
Проблема в том, что эти технологии приходится полностью основывать на имеющихся у нас знаниях о работе мозга. Которые, как мы уже выяснили, довольно ограничены.
Единственный вариант обхода этой проблемы, по мнению Каплана, — создать принципиально новый канал связи, со своим языком общения, и учить распознавать новые сигналы не только компьютер, но и мозг.
Есть надежда на то, что благодаря чрезвычайно подвижной архитектонике межнейронных связей, модифицирующихся чуть ли не каждую секунду, с одной стороны, и последним достижениям в области разработки технологий машинного обучения, с другой стороны, станет возможным построение самообучающегося канала связи между мозгом и компьютером.
Александр Каплан
Такие разработки уже начаты. К примеру, в лаборатории прикладной физики Университета Джона Хопкинса несколько лет назад протестировали бионическую руку, способную передавать тактильную информацию в мозг.
Во время прикосновения к сенсорам искусственной руки электроды стимулируют пути периферической нервной системы, передающие далее сигнал в сенсорные зоны мозга. Человек учится распознавать поступающие сигналы как разные виды прикосновения. Таким образом, вместо попытки воспроизвести тактильную систему сигналов, естественную для человека, создается новый канал и язык коммуникации.
Однако этот путь развития ограничен числом новых каналов, которые мы можем создать, и тем, насколько информативными для мозга они будут, говорит Александр Каплан.
Можно раздражать с какой-то частотой какую-то группу клеток, но это же не естественный код. Поэтому никакой информации компьютер таким образом не передает. Во всех этих ситуациях можно очень грубо обучать мозг. Но обучить на все случаи жизни, как он обучен воспринимать природу, невозможно. Так что тут тоже нет шансов подобрать эти коды так, чтобы мозг понял, о чем компьютер хочет ему сообщить.
Александр Каплан
Будущее время
Каплан считает, что на данный момент нового пути развития технологий нейроинтерфейса не видно. По его словам, сама возможность интерфейса для связи мозга и компьютера была открыта в 70-х годах прошлого века, а принципы работы мозга, на которых основаны сегодняшние разработки, описаны около тридцати лет назад, и с тех пор новых идей практически не появлялось.
Так, широко применяемый сейчас потенциал Р300 было открыт в 1960-х, воображение движения (motor imagery) — в 1980-х-1990-х, а негативность рассогласования (mismatch negativity) — в 1970-х годах).
Когда-то ученые питали надежды, что им удастся наладить более плотный информационный контакт мозга с процессорной техникой, но сегодня стало ясно, что они не оправдались.
Однако, говорит Каплан, пришло понимание, что нейроинтерфейсы можно реализовать для медицинского применения. По мнению ученого, сейчас развитие нейроинтерфейсов в наибольшей мере идет по линии внедрения технологии в клиническую сферу.
«Футуристический мозг» — это здоровый мозг, даже в самом преклонном возрасте человека. В настоящее время нейродегенеративные заболевания, снижающие продуктивность работы мозга, распространяются еще быстрее, чем увеличивается возраст человека. Представьте, сколько можно было бы сделать в любом возрасте, если бы не ухудшение памяти, не замедление мышления, не расстройства внимания и не снижение интеллектуальных способностей. И все это как раз тогда, когда уже набран профессиональный опыт, когда накоплены необходимые знания, когда любой человек уже близок к самым высоким интеллектуальным достижениям.
Поэтому здоровый мозг – это новый потенциал человека и на сегодняшний день — главная задача современных нейротехнологий. Заложенный природой полный потенциал мозга человека далеко еще не исчерпан, а технологии искусственного интеллекта могут обеспечить раскрытие этого потенциала и без вживляемой в мозг электроники.
Александр Каплан
Тем не менее, благодаря исследованиям мозга и развитию технологий сегодняшние нейроинтерфейсы способны на то, что когда-то казалось неосуществимым. Мы не знаем наверняка, что ждет нас через 30, 50 или 100 лет. Историк науки Томас Кун выдвинул идею о том, что развитие науки — это цикл: периоды стагнации сменяются парадигмальными сдвигами и идущими следом научными революциями. Вполне возможно, в будущем нас ждет революция, которая позволит вынуть мозг из черного ящика. Причем придет она с самой неожиданной стороны.
