25.01.2025. - Интерфейс, позволяющий мысленно управлять дроном

Интерфейс, позволяющий мысленно управлять дроном

Демонстрируя передовые достижения нейробиологии и инженерии, исследователи достигли того, что когда-то считалось научной фантастикой — интерфейса мозг-компьютер (BCI), который позволил парализованному человеку успешно управлять виртуальным квадрокоптером, используя только свой разум.

Это достижение знаменует собой поворотный момент в области вспомогательных технологий, демонстрируя, как инновации могут преодолеть разрыв между физическими ограничениями и беспрецедентными возможностями.

Исследование, недавно опубликованное в журнале Nature Medicine, раскрывает передовые возможности нового внутрикоркового ИМК, который преобразует сигналы мозга в точные движения пальцев, и все это достигается с помощью одной только мысли.

Предыдущие исследования продемонстрировали потенциал интерфейсов мозг-компьютер, позволяющих человеку выполнять простые задачи, такие как прием пищи или даже игра в видеоигру.

Однако впервые исследователи продемонстрировали применение технологии интерфейса мозг-компьютер в режиме реального времени, позволяющей участнику с полным параличом беспрепятственно управлять виртуальным дроном с помощью серии сложных маневров.

Это не только удовлетворяет значительные неудовлетворенные потребности людей с ограниченными возможностями, но и открывает двери для множества практических применений BCIs.

“Имея возможность двигать несколькими виртуальными пальцами под управлением мозга, вы можете использовать многофакторные схемы управления для самых разных задач”, - сказал в пресс-релизе профессор нейрохирургии Стэнфорда и соавтор исследования доктор Джейми Хендерсон. “Это может означать все, что угодно, от работы с программным обеспечением CAD до сочинения музыки”.

Участник исследования, 69-летний мужчина, известный как “Т5”, перенес травму спинного мозга, из-за которой он не мог пользоваться конечностями. Используя массивы микроэлектродов, имплантированных в моторную кору головного мозга — область, ответственную за произвольные движения, — исследователи разработали систему, способную расшифровывать определенные движения пальцев.

T5 может управлять виртуальным дроном с поразительной ловкостью, преобразуя эти нейронные сигналы в цифровые команды, преодолевая полосы препятствий и выполняя точные задания в виртуальной среде.

По словам ведущего автора исследования, доктора Мэтью Уилси из Мичиганского университета, система BCI представляет собой значительный шаг вперед в области вспомогательных технологий.

“Он использует сигналы, генерируемые в моторной коре головного мозга, которые возникают, когда участник просто пытается пошевелить пальцами, и использует искусственную нейронную сеть для интерпретации намерений управлять виртуальными пальцами в симуляторе”, - сказал доктор Уилси. “Затем мы посылаем сигнал для управления виртуальным квадрокоптером”.

“Это более высокая степень функциональности, чем все, что ранее основывалось на движениях пальцев”.

Интерфейс мозг-компьютер работает с помощью набора кремниевых микроэлектродов, каждый из которых имеет 96 каналов, регистрирующих нейронную активность в моторной коре головного мозга.

Затем система использует передовые алгоритмы для расшифровки этих сигналов, интерпретируя их как движения трех различных групп пальцев, включая движения большого пальца в двух измерениях. Этот прорыв предусматривает четыре степени свободы, что позволяет точно управлять виртуальным дроном.

Для T5 ключевым моментом была интуитивность системы. Когда он визуализировал движение пальцев, BCI легко интерпретировал активность его мозга, чтобы управлять скоростью, направлением и ориентацией дрона. В отличие от более ранних систем, которые были ориентированы на простое управление курсором или манипулирование роботизированной рукой, этот BCI использовал естественную ловкость воображаемых движений пальцев для достижения беспрецедентной точности и отзывчивости.

Результаты этого исследования выходят далеко за рамки технологических достижений. Согласно опросам, люди, страдающие параличом, часто сообщают о неудовлетворенных потребностях в социальной активности, развлечениях и чувстве расширения личных возможностей.

Значение видеоигр и виртуальной среды для людей с ограниченными возможностями широко задокументировано. Многопользовательские игры, в частности, дают ощущение социальной связанности и расширяют возможности.

В будущем, благодаря интеграции технологии BCI в такие платформы, люди с двигательными нарушениями смогут полноценно участвовать в играх, удаленной работе и других цифровых мероприятиях — не только как пассивные пользователи, но и как активные участники.

“Люди, как правило, сосредотачиваются на восстановлении тех функций, которые являются основными потребностями — приеме пищи, одевании, передвижении, — и все это важно”, - сказал доктор Хандерсон. “Но часто другим, не менее важным аспектам жизни, таким как отдых или общение со сверстниками, уделяется мало внимания. Люди хотят играть в игры и общаться со своими друзьями”.

На пути к этому достижению не обошлось без трудностей. В ходе первых испытаний были выявлены ограничения в точности декодирования и быстродействии, особенно при управлении несколькими степенями свободы.

Однако, благодаря итеративным улучшениям и усовершенствованиям в области машинного обучения, система теперь достигает скорости обнаружения 76 целей в минуту при почти 100% успешном выполнении задач. Эти показатели превосходят показатели предыдущих систем взаимодействия мозг-компьютер, которые часто испытывали проблемы с надежностью и скоростью.

Более того, отзывы T5 во время испытаний сыграли ключевую роль в совершенствовании системы. Например, визуальные подсказки, такие как изображение руки, отображающее положение пальцев, улучшили его способность интуитивно управлять дроном.

“Это похоже на езду на велосипеде по дороге на работу”, - отметил T5, подчеркнув простоту использования системы после первоначального обучения. “Что я собираюсь делать сегодня на работе, а вы все еще переключаете передачи на своем велосипеде и продолжаете двигаться вперед”.

Несмотря на успех, исследователи признают, что эта технология все еще находится на ранней стадии развития. Существующая система основана на инвазивных имплантатах и лабораторных установках, что делает ее недоступной для широкого применения. Однако достижения в области неинвазивных ИМК и миниатюрного аппаратного обеспечения могут проложить путь к более практичному применению в ближайшем будущем.

Последствия этого прорыва огромны. Помимо использования в рекреационных целях, те же принципы могут быть применены для управления протезами конечностей, работы с устройствами "умного дома" или взаимодействия с цифровыми интерфейсами в повседневной жизни. Для людей с тяжелыми формами инвалидности такие приложения могут значительно улучшить качество их жизни и способствовать большей независимости.

Опыт T5 продемонстрировал влияние этой технологии на человека. Он продемонстрировал обновленное чувство самостоятельности, когда управлял виртуальным дроном, преодолевая препятствия.

“Во время управления квадрокоптером в BCI Т5 говорил о социальной связанности, возможностях и отдыхе”, - пишут исследователи. “Он чувствовал, что управление квадрокоптером позволит ему, впервые после травмы, образно говоря, ”подняться" со своей кровати / стула".

“Симуляция квадрокоптера не была произвольным выбором, у участника исследования была страсть к полетам”, - добавил соавтор исследования и специалист по информатике из Стэнфордского университета Дональд Авансино. “Помимо удовлетворения желания участника летать, платформа также продемонстрировала управление несколькими пальцами”.

В конечном счете, поскольку область интерфейсов мозг-компьютер продолжает развиваться, возможности безграничны. В будущем BCIS могут позволить людям играть на музыкальных инструментах, создавать 3D-модели или даже пилотировать реальные беспилотные летательные аппараты.

Это слияние нейронауки, искусственного интеллекта и инженерии может по-новому определить возможности людей с ограниченными возможностями и технологического сектора в целом.

“Управление пальцами - это шаг вперед”, - объясняет соавтор и профессор электротехники и вычислительной техники Университета Райса доктор Нишал Шах. “Конечная цель - восстановление движений всего тела”.

Источник