Использование глубокой нейронной сети для улучшения виртуальных изображений

Трио исследователей из Университета Карнеги-Меллон вывели использование сигналов WiFi для идентификации людей в здании на новый уровень с помощью глубокой нейронной сети. Цзяци Генг, Донг Хуанг и Фернандо Де ла Торре в своей работе, размещенной на сервере препринтов arXiv, утверждают, что их подход позволяет создавать изображения наравне с RGB-камерами.

Еще в 2013 году команда инженеров из Массачусетского технологического института обнаружила, что сигналы WiFi могут быть использованы для обнаружения присутствия человека в здании. Они отметили, что, отображая сигналы во времени, они могут увидеть, где сигналы блокируются телом человека. Продолжая этот процесс в течение следующих нескольких лет, они обнаружили, что смогли создать фигуры, показывающие, где находится человек в данном здании в любой момент времени.

Этот процесс теперь известен как DensePose. В новой работе исследовательское трио вывело этот подход на новый уровень, внедрив нейронную сеть, которая помогает заполнить тела фигурок, создавая гораздо более реалистичные изображения, и она может делать это на лету, позволяя в реальном времени отслеживать движение нескольких людей в определенной области.

В ходе работы команда разместила три WiFi-передатчика и три выровненных приемника в месте действия — внутри комнаты или снаружи в выбранном месте — вместе с компьютером для обработки и отображения. Они отмечают, что оборудование WiFi, использованное в их экспериментах, стоит всего 30 долларов США, что гораздо меньше, чем системы LiDAR или радары.

Во время работы сигналы WiFi улавливаются приемниками, которые передают их на GPU внутри компьютера для обработки. Обработка включает в себя использование нейронной сети для сопоставления амплитуды и фазы сигналов с координатами виртуально созданного человеческого тела — процесс, известный как плотное соответствие поз человека.

В ходе процесса виртуальное человеческое тело разбивается на 24 компонента, на которые на основе сигналов WiFi наносятся координаты двумерной текстуры. Затем части тела собираются вместе, чтобы они напоминали реалистичную человеческую форму — и все это в реальном времени. В результате на экране компьютера появляется виртуальная анимация, имитирующая расположение и действия людей в оригинальной сцене.