Цифровые аватары научились создавать по звуку
В CU разработали наушники для создания цифровых аватаров с помощью звука
Фото: Iryna Imago / Shutterstock
Американские ученые научились сканировать лица людей с помощью звука. Об этом сообщает издание Engaget.
Об исследовании рассказали специалисты Корнельского университета (CU). Инженеры разработали технологию EarIO, которая позволяет отсканировать лицо человека и захватить его мимику, чтобы воссоздать в виде цифрового аватара. Получившийся виртуальный слепок можно использовать во время видеозвонков.
Чтобы зафиксировать черты лица и мимику, пользователь должен надеть специальные наушники на голову. Гарнитура начнет воспроизводить звук, затем отражающееся от лица эхо будут фиксировать микрофоны. На основе полученных данных нейросеть сможет выстраивать цифровую копию человеческого лица в реальном времени.
По словам ведущего участника исследования Ченга Чжана, существуют подобные системы, которые работают на основе камер. Однако камеры как правило тяжелые и энергоемкие, также они собирают излишнюю информацию, что может навредить конфиденциальности пользователя.
В ходе тестирования выяснилось, что EarIO корректно работает, когда человек находится в сидячем состоянии или движении. Однако высокая чувствительность прибора создает некоторые проблемы — цифровой аватар может видоизменяться, когда пользователь вращает головой.
В середине июля специалисты Вашингтонского университета (UW) рассказали о создании прототипа наушников, которые могут обеспечивать максимально возможное шумоподавление. За функцию активного шумоподавления девайса отвечает искусственный интеллект.
