Специалист объяснил, чем круто видео с макакой
|
Недавно опубликованный компанией Neuralink ролик с макакой, которая играет в пинг-понг силой мысли, произвел неизгладимое впечатление на публику. Но стэнфордский доктор наук проанализировал ролик с позиции профессионала в области нейрофизиологии. Он считает, что эта демонстрация имеет огромное значение и для научного сообщества. Пол Нуюжукиан (Paul Nuyujukian) — доцент кафедры биоинженерных наук, нейрохирургии и электротехники Стэнфордского университета. Сейчас он занимает должность директора лаборатории интерфейсов мозг-компьютер. |
В общей сложности за плечами у ученого — 15 лет опыта научной деятельности в области нейроинтерфейсов, он работал как с животными, так и с людьми. Он квалифицированный врач (MD) и доктор наук (PhD). На ютьюб-канале своей лаборатории Нуюжукиан разместил получасовое видео, в котором разобрал недавно выпущенный ролик Neuralink. С точки зрения квалифицированного специалиста на поприще разработки и эксплуатации нейроинтерфейсов, эта демонстрация достижений очередного стартапа Илона Маска вызывает интерес. Попробуем изложить суть небольшой лекции. |
Правила приличия |
Поскольку Нуюжукиан не первый день в научных кругах, свое выступление он начинает важной формальностью — обозначением возможных связей (или их отсутствия) с объектом обсуждения. Это необходимо, чтобы зрители и коллеги понимали, насколько сильно ученый сам может быть подвержен когнитивным искажениям в своих суждениях. Номинально к Neuralink он не имеет никакого отношения, никогда не работал на эту компанию, не оказывал консультационных услуг или иным образом не взаимодействовал с ней. И тем более стартап никогда не платил ему ранее или за публикацию этого видео. |
Тем не менее область нейронаук сравнительно тесная, так что многие близкие знакомые и коллеги Нуюжукиана связаны с Neuralink. Например, оба его советника во время его постдокторантуры — Кришна Шэнной и Джейми Хендерсон — консультируют компанию многие годы. Как и Нуюжукиан, они работают в Стэнфорде, но в полном соответствии с профессиональной этикой в детали сотрудничества с Neuralink коллег не посвящают. |
Иными словами, ученый не обладает никакой инсайдерской информацией: все его суждения основаны исключительно на тех данных, что стартап публиковал в открытых источниках. Что касается обсуждаемого видео, речь идет еще и о соответствующей записи в официальном блоге Neuralink. Все нижеизложенное — только профессиональное мнение Нуюжукиана как сотрудника лаборатории Стэнфордского университета. |
Среда проведения эксперимента |
С первых же секунд ролика специалист отмечает массу полезных посланий, которые заметны профессионалу. Например, обычному зрителю может показаться, что окружающая подопытную макаку Пейджера обстановка — лишь красивые декорации. Но, как объясняет ученый, на самом деле, это важно для проведения эксперимента. Обезьяна садится на удобный насест в виде толстой ветки, что для нее привычно и знакомо, похоже на естественную среду обитания. Одновременно с этим на стены бокса, где макаке предстоит играть на компьютере, проецируются джунгли. |
Все эти элементы формируют комфортное окружение, минимизирующее стресс и благоприятствующее продуктивной деятельности животного. Люди и большая часть оборудования (кроме самого дисплея, джойстика и трубки, подающей вознаграждение — банановый смуззи) находятся снаружи бокса и не отвлекают Пейджера ни звуками, ни самим фактом своего присутствия. Со стороны макака выглядит расслабленной и ведет себя совершенно естественно. |
Кстати о животном: Нуюжукиан и тут смог предоставить больше информации, чем считывается из ролика неподготовленным зрителем. На видео показан обыкновенный макак-резус — весьма распространенный модельный организм в нейронауках, ученые обладают богатым опытом работы с этим видом. Фактически значительная часть наших знаний об устройстве центральной нервной системы человека и приматов в целом получена благодаря именно этим животным. Нуюжукиан и сам много работал с резусами в своей практике. |
Имплантация и подключение |
Диктор в видео отмечает, что проплешина на голове животного — след недавней (около шести недель до съемок) имплантации чипа. По словам Нуюжукиан, этот факт действительно поражает. Даже имея большой опыт общения с резусами со стороны, невозможно сказать, что Пейджеру что-то внедрили в череп. Настолько незаметный дизайн импланта важен для последующей клинической практики при установке чипа людям. Обычные нейроинтерфейсы громоздки, даже беспроводные. А самые распространенные вовсе представляют собой толстый пучок проводов, торчащий из головы. Фактически Neuralink — первый полностью имплантируемый интерфейс мозг-компьютер с большим количеством каналов. |
Момент подключения чипа к смартфону по Bluetooth может показаться некой данью моде, работой на массовую аудиторию, привыкшую к зрелищным презентациям гаджетов. Однако, как отмечает Нуюжукиан, это скорее послание коллегам-нейрофизиологам. Использование протоколов — стандартных в IT-индустрии — говорит о многом. Например, что настройка, совершенствование и отслеживание ошибок в таком подключении будут простыми, понятными и удобными. Кроме того, считывание статуса имплантата без использования специализированного оборудования банально сэкономит время исследователям. |
Фантастический объем данных и новизна для отрасли |
Отдельно специалист объясняет некоторые технические моменты Neuralink, выглядящие поистине сногсшибательно в сравнении с существующими решениями. Последние два десятилетия стандартом для нейроинтерфейсов служил типовой массив электродов, носящий название Utah Electrode Array. Это матрица 10х10 волокон, позволяющая считывать данные с сотни каналов. Однако технология, проверенная временем и работающая как часы, уже практически исчерпала свой потенциал. Устройства Neuralink состоят из четырех чипов с 16 нитями, на каждой из которых расположены 16 электродов. В сумме это дает 1024 канала для считывания электрических сигналов с головного мозга. Напомним, в голове Пейджера находится сразу два таких гаджета. |
Неподдельное восхищение у Нуюжукиана вызвало дополнительное видео, опубликованное стартапом в своем блоге. На нем представлена визуализация мощности сигналов на каждом электроде с привязкой к структуре мозга подопытного животного. Каждая колонна на трехмерном графике — нить с 16 контактами (сферы). Чем крупнее сфера, тем интенсивнее сигнал, а его цвет показывает, во время какого движения рукой макака нейроны активизировались (направление). Что немаловажно, специалисты Neuralink наглядно продемонстрировали: они точно знают положение каждого электрода в тканях. |
Это важно для более точного анализа активности различных отделов головного мозга. А следовательно, для получения огромного количества подробных данных как для медицинских целей, так и для научных. Нуюжукиан объяснил, что на фото с операции хорошо видно, куда именно имплантировали устройство: это моторная кора, расположенная около центральной борозды, различимой внизу кадра. |
Кстати говоря, в дополнение к своим словам Нуюжукиан собрал целую коллекцию научных работ, которые наверняка знакомы сотрудникам Neuralink. Они описывают различные варианты нейроинтерфейсов и их компонентов, а также методики декодирования сигналов. Своеобразный список для чтения тем, кто хочет погрузиться в тему по-настоящему глубоко. Среди прочего одна из статей, которая точно использовалась стартапом, — за авторством самого стэнфордского доктора наук. Она посвящена упражнению, выполняемому Пейджером в ролике: выбор одной подсвеченной плитки из массива 6х6. Помимо важности процесса выполнения задания, программа позволяет измерять поток данных, генерируемых подопытным с помощью нейроинтерфейса (цифры посередине правого края экрана). |
Софт |
Настоящий праздник души для Нуюжукиан наступает, когда в ролике Neuralink камера переходит на программу, анализирующую сигналы, которые поступают с имплантата. Для непосвященного человека это лишь интерфейс какой-то служебной «софтины», но Нуюжукиан показывает, какой объем информации специалист с этого кадра считывает. Там и подробности об устройстве нейроинтерфейса и о том, как полученные данные обрабатываются: |
Судя по времени в заголовке окна и названию файла с логом сессии, видео записано утром в пятницу, 2 апреля. Ролик опубликован в течение недели после этого, будто компания спешила поделиться своими достижениями без задержек; |
Верхняя строка, сразу под заголовком окна, содержит техническую информацию. Название выбранного оператором чипа (одного из четырех в каждом импланте Neuralink) и пункт streaming замазаны, но остальное различимо. Аппаратный адрес (MAC) беспроводного модуля и версия прошивки нам ни о чем не говорят, статус настроек спящего режима и выхода из режима ожидания просто любопытны. Занимательно, что разработчики интегрировали в устройство датчики температуры и влажности. А вот остальные пункты — самое интересное; |
Во время записи видео устройство не заряжалось (Charging — -64 пикоампера на индуктивной катушке) и было подключено к компьютеру по беспроводной сети (RSSI — мощность радиосигнала). Напряжение батареи составляло около 3,7 вольта, из чего можно сделать вывод, что, скорее всего, используется литийионный аккумулятор. Учитывая текущий расход энергии — 17,3 миллиампера, — Нуюжукиан примерно оценивает потребляемую мощность всей электроники импланта в 64 милливатта. И, по его мнению, это хорошее значение, устройство получилось крайне энергоэффективным; |
Отдельно указано количество потерянных при передаче пакетов данных (drops); |
Большая черно-белая полоса ниже — растровое представление поступающих с чипа сигналов активности головного мозга. По вертикали показаны каналы, по горизонтали — время замера с шагом в 25 миллисекунд. Данные нормализованы, чтобы слишком сильные сигналы не заглушали соседние каналы; |
Есть возможность буквально послушать выбранный канал. Это интересная и распространенная практика в нейрофизиологии — взять сигналы с головного мозга подопытного и преобразовать их в звук. Человек по-разному воспринимает информацию визуально и на слух, так что это может быть полезно; |
В нижней области экрана собраны различные настройки приема, записи и обработки сигналов. Можно выбрать между разными режимами (пики активности или замер изменений сопротивления), а также сохранять отдельные каналы; |
Из лога становится очевидно, что в момент съемки видео пакеты данных приходили каждые 10 секунд и содержали данные по отдельным каналам за это время; |
Исходя из факта, что в соединении были потери, на транспортном уровне использовался протокол UDP, а данные упаковывали с помощью библиотеки ZMQ. Учитывая энергопотребление и ограниченный размер пакетов, инженеры выбрали спецификацию Bluetooth 2.1 с пропускной способностью до двух мегабит в секунду (возможно, и третью версию, но маловероятно). Это простое, изящное решение, основанное на хорошо известных и широко применяющихся технологиях. Иными словами, так делают почти все разработчики нейроинтерфейсов. |
Свой обзор программного обеспечения Neuralink Нуюжукиан резюмирует фразой о том, что, по его мнению, система получилась интересная, сложная и продвинутая. Потенциально она обладает широким спектром возможностей для самых разных применений. |
Упражнение с квадратами, пинг-понг и выводы |
Глядя на то, как Пейджер наводит курсор на подсвеченный квадрат, когда джойстик уже отключен от компьютера, Нуюжукиан отмечает деталь, о которой диктор умолчал. Ученый считает, что в Neuralink умолчали о разнице в обработке сигналов во время калибровки и при выполнении упражнения обезьяной. Это никак не отражается на сути эксперимента — просто любопытная техническая подробность. Когда макак во время калибровки системы управляет курсором при помощи джойстика, выбор квадрата определяется задержкой указателя на нем. А после отключения устройства ввода, когда курсор двигается на основании данных, полученных через нейроинтерфейс, имитируется клик по цели. Судя по всему, декодер сигналов был настроен так для повышения надежности работы. |
Отдельно Пол указывает на «битрейт» сбоку от игрового поля. По его словам, цифры вполне обычные, как и у других нейроинтерфейсов, то есть Пейджер справляется с заданием наравне с подопытными в аналогичных экспериментах. При этом ученый считает, что алгоритмы Neuralink явно еще не оптимизированы, так что производительность будет существенно выше. Игра в пинг-понг с инженерной точки зрения гораздо проще выбора квадратов. Тут нужно отслеживать всего одно измерение, а не три (x, y и «клик»). С другой стороны, для животного понять принципы такого задания может быть поначалу непросто. Но Нуюжукиан знает, зачем Neuralink включила в ролик этот фрагмент: он хорошо запоминается и производит впечатление на самую широкую публику. |
Завершает импровизированную лекцию Нуюжукиан на позитивной ноте. Он ждет дальнейших шагов команды Neuralink, а компания, как он считает, уже готова к клиническим испытаниям технологии. Судя по тому, что Пол увидел и прочитал в открытых источниках, стартап либо активно собирает, либо уже собрал все необходимые документы для получения разрешения использовать имплант на людях от Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA). Возможно, первые парализованные пациенты получат устройства Neuralink в течение года или двух. |
Для специалиста эта демонстрация достижений выглядела очень убедительно. Компания показала, что впервые за 20 лет появилось полностью новое оборудование для считывания мозговой активности. Оно обладает на порядок большей производительностью и успешно испытано на приматах. По сути, в арсенале нейрофизиологов появился первый компактный, беспроводной, полнофункциональный интерфейс мозг-компьютер. Это невероятно обнадеживающее достижение и для науки, и для медицины. |
Источник |
При использовании материалов с сайта активная ссылка на него обязательна
|