Закройте глаза и представьте культовую сцену "время пуль" из "Матрицы" — ту, где Нео, которого играет Киану Ривз, уворачивается от пуль в замедленной съемке. А теперь представьте, что вы можете наблюдать тот же эффект, но вместо летящих со скоростью пули вы наблюдаете нечто, движущееся в миллион раз быстрее: сам свет.
Ученые-компьютерщики из Университета Торонто создали усовершенствованную камеру, которая может визуализировать движущийся свет с любой точки зрения, открывая возможности для дальнейшего изучения новых методов трехмерного зондирования.
Исследователи разработали сложный алгоритм искусственного интеллекта, который может моделировать, как будет выглядеть сцена со сверхбыстрой съемкой - вспышка света, пролетающая сквозь бутылку с газировкой или отражающаяся от зеркала, — с любой точки зрения.
Работа опубликована на сервере препринтов arXiv.
Дэвид Линделл, доцент кафедры компьютерных наук факультета искусств и естественных наук, говорит, что для этого требуется умение создавать видеоролики, в которых камера, кажется, "летит" вместе с фотонами света во время их движения.
"Наша технология позволяет фиксировать и визуализировать реальное распространение света с такими же впечатляющими, замедленными деталями", - говорит Линделл. "Мы получаем представление о мире в масштабах скорости света, которые обычно невидимы".
Исследователи полагают, что подход, который был недавно представлен на Европейской конференции по компьютерному зрению 2024 года, может открыть новые возможности в нескольких важных областях исследований, в том числе: расширенные возможности распознавания, такие как визуализация вне прямой видимости, метод, который позволяет зрителям "заглядывать" за углы или за препятствия с помощью многократное отражение света; получение изображений с помощью рассеивающих сред, таких как туман, дым, биологические ткани или мутная вода; и 3D-реконструкция, где понимание поведения многократно рассеивающегося света имеет решающее значение.
Помимо Линделла, в исследовательскую группу входили аспирантка Университета компьютерных наук Ана Малик, студент четвертого курса инженерных наук Ной Журавски, профессор Кирос Кутулакос, доцент Стэнфордского университета Гордон Ветцштейн и аспирант Райан По.
Ключевая инновация исследователей заключается в разработанном ими алгоритме искусственного интеллекта для визуализации сверхбыстрых видеороликов с любой точки зрения — задача, известная в компьютерном зрении как "синтез нового изображения".
Традиционно для изображений или видеозаписей, снятых обычными камерами, разрабатываются новые методы синтеза изображений. Однако исследователи расширили эту концепцию для обработки данных, снятых сверхскоростной камерой, работающей на скоростях, сравнимых со скоростью света, что создало уникальные проблемы, в том числе необходимость в том, чтобы их алгоритм учитывал скорость света и моделировал, как он распространяется по сцене.
В ходе своей работы исследователи наблюдали, как движущаяся камера визуализирует свет в движении, в том числе преломляющийся в воде, отражающийся от зеркала или рассеивающийся на поверхности. Они также продемонстрировали, как визуализировать явления, которые происходят только при значительной части скорости света, как предсказывал Альберт Эйнштейн.
Например, они визуализируют "эффект прожектора", который делает объекты ярче при приближении к наблюдателю, и "сокращение длины", когда быстро движущиеся объекты кажутся короче в том направлении, в котором они движутся. Исследователи также смогли создать способ увидеть, как объекты будут уменьшаться в длину при движении с такими высокими скоростями.
В то время как современные алгоритмы обработки сверхбыстрых видеороликов обычно фокусируются на анализе одного видео с одной точки зрения, исследователи говорят, что их работа является первой, которая расширила этот анализ на видео с несколькими видами освещения в полете, что позволяет изучать распространение света с разных точек зрения.
"Наши видеоролики о свете в полете с несколькими вариантами просмотра служат мощным образовательным инструментом, предлагая уникальный способ обучения физике переноса света", - говорит Малик. "Визуально фиксируя поведение света в режиме реального времени - будь то преломление в материале или отражение от поверхности — мы можем получить более интуитивное представление о движении света в кадре.
- Кроме того, наша технология может вдохновить на творческие применения в искусстве, такие как создание фильмов или интерактивных инсталляций, где красота светотранспорта может быть использована для создания новых типов визуальных эффектов или иммерсивных впечатлений".
Исследование также имеет значительный потенциал для совершенствования технологии лидарных датчиков (датчиков обнаружения света и определения дальности), используемых в автономных транспортных средствах. Как правило, эти датчики обрабатывают данные для немедленного создания 3D-изображений. Но работа исследователей предполагает возможность хранения необработанных данных, включая подробные световые характеристики, что поможет создать системы, которые будут работать лучше, чем обычные лидары, позволяя видеть больше деталей, преодолевать препятствия и лучше понимать материалы.
Хотя проект исследователей был сосредоточен на визуализации того, как свет перемещается по сцене с любого направления, они отмечают, что он несет "скрытую информацию" о форме и внешнем виде всего, к чему прикасается. Поскольку исследователи планируют свои дальнейшие шаги, они хотят получить доступ к этой информации, разработав метод, который использует видео с несколькими видами освещения в полете для восстановления трехмерной геометрии и внешнего вида всей сцены.
"Это означает, что потенциально мы могли бы создавать невероятно подробные трехмерные модели объектов и окружающей среды, просто наблюдая за тем, как свет проходит через них", - говорит Линделл.
