Инженеры из Школы инженерии и прикладных наук Пенсильванского университета представили PanoRadar - инновационную систему визуализации на основе радара, предназначенную для оснащения роботов зрением, превосходящим возможности традиционных камер и сенсоров.
PanoRadar позволяет роботам “видеть” окружающую обстановку с уровнем детализации, сравнимым с технологией LiDAR, но с использованием радиочастотных волн. Этот новый подход позволяет роботам эффективно работать в условиях, когда оптические датчики обычно отказывают, например, при слабом освещении, тумане или запыленности.
Этот прорыв может произвести революцию в отраслях, использующих робототехнику, - от здравоохранения и управления складами до поисково-спасательных операций.
В статье, которая будет представлена на Международной конференции по мобильным вычислениям и сетям (MobiCom) в 2024 году, исследователи представили PanoRadar, подчеркнув способность системы повысить надежность и точность автономной навигации.
“Наши полевые испытания в разных зданиях показали, что радиолокационное зондирование может преуспеть там, где традиционные датчики испытывают трудности”, - сказал Ифэй (Фредди) Лю, научный сотрудник и соавтор исследования. “Система обеспечивает точное отслеживание сквозь дым и может отображать даже помещения со стеклянными стенами.
Роботы, оснащенные камерами или лидарами, стали привычными на складах и фабриках, однако у этих датчиков есть ограничения.
Камеры требуют хорошего освещения и подвержены помехам от частиц в воздухе, в то время как лидарные датчики, использующие лазеры, могут быть неэффективны в условиях пыли, дыма или экстремального освещения.
Напротив, исследователи утверждают, что PanoRadar может использовать уникальные свойства радиоволн, чтобы обойти эти проблемы, предлагая надежное решение с высоким разрешением для роботизированного зрения.
PanoRadar работает с однокристальным радаром миллиметрового диапазона, который вращается на моторизованной платформе, создавая при повороте плотную цилиндрическую решетку виртуальных антенн.
При вращении эта решетка излучает и собирает радиоволны, создавая всеобъемлющее трехмерное изображение окружающей среды. Согласно результатам исследования, PanoRadar достигает уровня детализации изображения, который не уступает LiDAR, фиксируя сложные элементы окружающей среды, такие как стены, полы и человеческие фигуры, в режиме реального времени с впечатляющей точностью.
Помимо конструктивных особенностей, PanoRadar использует передовые алгоритмы машинного обучения для улучшения своих возможностей получения детализированных изображений. Модели машинного обучения специально обучены для компенсации ограничений, присущих радиочастотной технологии, таких как низкое разрешение по вертикали.
Эти алгоритмы позволяют PanoRadar генерировать 3D-изображения окружающей среды с высоким разрешением, предоставляя данные для сложных задач визуального распознавания, таких как обнаружение объектов и семантическая сегментация.
“Ключевое новшество заключается в том, как мы обрабатываем эти измерения радиоволн”, - пояснил доктор Мингмин Чжао, доцент кафедры компьютерных и информационных наук университета Пенсильвании и соавтор исследования. “Наши алгоритмы обработки сигналов и машинного обучения способны извлекать богатую трехмерную информацию из окружающей среды”.
Разработка PanoRadar обусловлена очевидной потребностью в оснащении роботов способностью ориентироваться и работать в условиях, когда визуальные данные могут быть искажены.
Эта потребность особенно остро ощущается в таких областях, как поисково-спасательные работы, где роботы часто используются в задымленных помещениях или в зонах с плохой видимостью. Благодаря возможностям PanoRadar в области радиочастотной визуализации автономные системы могут работать более надежно, точно различая объекты, препятствия и даже людей в сложных условиях.
Инновация основана на многолетних исследованиях в области радиосвязи и визуализации и использует коммерчески доступное оборудование, что позволяет сохранить компактность и доступность системы по цене.
Как отмечает команда Penn Engineering, в сканере PanoRadar используются серийно выпускаемые компоненты, такие как однокристальный радар миллиметрового диапазона и стандартный двигатель, что делает его экономичным и мобильным, идеально подходящим для применения в реальных роботизированных приложениях.
В ходе тестов, проведенных в 12 зданиях кампуса Пенсильванского университета, PanoRadar неизменно предоставлял высокоточные данные 3D-картографии, демонстрируя высокую производительность даже тогда, когда робот находился в движении. Такая надежность является ключевой характеристикой для задач, где мобильность имеет решающее значение, таких как роботы, помогающие в логистике или перемещении в местах скопления людей.
Первоначальные исследования были сосредоточены на тестировании PanoRadar в закрытых помещениях. Однако исследователи говорят, что система перспективна и для других настроек, включая сценарии автономного вождения. “Эти приложения остаются интересными темами для будущих исследований”, - написали они.
Одним из важнейших достижений PanoRadar является полная интеграция машинного обучения, которая повышает точность и надежность системы радиочастотной визуализации.
Традиционные системы радиочастотной визуализации испытывали трудности с созданием четких изображений с высоким разрешением из-за ограничений радиочастотных датчиков, которые, как правило, имеют более низкое разрешение, чем оптические датчики.
Однако, обучая модели машинного обучения на основе парных лидарных и радиочастотных данных, разработчики PanoRadar нашли способ преодолеть этот пробел, позволив получать радиочастотные изображения с точностью, близкой к лидарной.
Аспект машинного обучения в PanoRadar не только улучшает разрешение изображений. Это также позволяет системе интерпретировать окружающую обстановку на уровне, ранее недостижимом для радиочастотных систем.
Например, алгоритмы могут распознавать типичные структуры и текстуры внутренних помещений, таких как стены, лестницы и полы, даже в условиях недостаточного освещения. Это усовершенствование открывает возможности для применения визуального распознавания на основе радиочастотных сигналов, которое ранее было возможно только с использованием высококачественных оптических датчиков.
Потенциал PanoRadar выходит далеко за рамки лабораторных испытаний и находит широкое применение в различных отраслях промышленности. Например, в здравоохранении роботы, оснащенные PanoRadar, могут безопасно перемещаться по больничным коридорам ночью, доставляя медикаменты, не беспокоя пациентов.
При управлении складами роботы могли бы автономно перемещаться по пыльным или загроможденным помещениям, выполняя управление запасами с большей эффективностью, чем раньше. В то же время в поисково-спасательных службах автономные системы могли бы проникать в задымленные здания, обнаруживать людей или выходить из них в условиях резкого ухудшения видимости.
В последние годы предприятия и образовательные учреждения начали экспериментировать с автономными роботами-охранниками для повышения безопасности, наблюдения и эффективности работы. Эти роботы патрулируют коридоры, контролируют периметры и могут быстро реагировать на необычные действия.
С помощью PanoRadar автономные охранные роботы могут эффективно работать в хорошо освещенных помещениях и зонах с ограниченной видимостью, таких как слабо освещенные автостоянки, что повышает их полезность в реальных приложениях для обеспечения безопасности в кампусах, офисах и на крупных промышленных объектах.
Будущие версии PanoRadar могут включать в себя радиочастотные датчики еще более высокого разрешения и оптимизированные модели машинного обучения, что позволит достичь новых уровней детализации и еще больше расширить область применения системы.
“Для решения сложных задач крайне важно иметь несколько способов измерения окружающей среды”, - сказал доктор Чжао. “У каждого датчика есть свои сильные и слабые стороны, и, разумно комбинируя их, мы можем создавать роботов, которые лучше приспособлены к решению реальных задач”.
Публикуя код и набор данных PanoRadar, исследовательская группа поощряет дальнейшие инновации и разработки в области радиочастотного зрения. Они стремятся заложить основу для других исследователей и разработчиков для создания еще более совершенных систем радиочастотной визуализации.
“Мы ожидаем, что эта работа, наряду с опубликованным набором данных, будет способствовать дальнейшим исследованиям и разработкам в области технологий визуализации на основе радиочастотного излучения”, - заключили исследователи. “Это надежная и в то же время экономичная альтернатива существующим технологиям визуализации, таким как лидар и камеры”.
