 |
|
Управление роботами-гуманоидами с помощью Apple Vision Pro
|
| Возможно, Apple не очень-то использует NVIDIA, но это не значит, что NVIDIA не нужна Apple. В частности, гарнитура Apple Vision Pro используется для разработки своего робота-гуманоида. Смотрите, как это сделать ниже: |
| Видео является частью кампании по продвижению разработок NVIDIA в области робототехники. |
| В пресс-релизе Apple Vision Pro дважды упоминается как инструмент для управления роботами NVIDIA в рамках микросервиса MimicGen NIM: |
| Обучение базовым моделям человекоподобных роботов требует невероятного объема данных. Одним из способов получения демонстрационных данных от человека является телеоперация, но этот процесс становится все более дорогостоящим и длительным. |
|
| Эталонный рабочий процесс телеуправления с поддержкой искусственного интеллекта NVIDIA и Omniverse, продемонстрированный на конференции SIGGRAPH computer graphics conference, позволяет исследователям и разработчикам искусственного интеллекта генерировать огромные объемы синтетических данных о движении и восприятии на основе минимального количества удаленных демонстраций, выполненных людьми. |
| Сначала разработчики используют Apple Vision Pro для записи небольшого количества демонстраций с дистанционным управлением. Затем они моделируют записи в NVIDIA Isaac Sim и используют микросервис MimicGen NIM для создания синтетических наборов данных на основе записей. |
| Разработчики обучают модель Project GR00T humanoid foundation на реальных и синтетических данных, что позволяет разработчикам экономить время и снижать затраты. Затем они используют микросервис Robocasa NIM в Isaac Lab, платформу для обучения роботов, для получения опыта по переобучению модели робота. На протяжении всего рабочего процесса NVIDIA OSMO легко распределяет вычислительные задачи между различными ресурсами, экономя разработчикам недели на административных задачах. |
| Источник |
