Apple разработала собственную нейросеть NeuMan для создания дипфейков
Американская компания Apple разработала собственную нейросеть NeuMan. Программа разработчиков из Купертино «учится» создавать дипфейки с помощью коротких видео. Исходный код опубликован на GitHub.
Отмечается, что нейросеть способна создать собственный правдоподобный ролик с участием человека после просмотра видео длительностью не более 10 секунд. Алгоритм NeuMan способен создать трехмерную модель человека. В результате человек может выполнять разные другие действия на том же фоне, что и в оригинальном ролике.
Например, на сгенерированных нейросетью роликах герой видео может начать бегать, сделать кувырок или подпрыгнуть. Однако в результате такой «обработки» у видео снижается качество, однако действия персонажа все еще выглядят правдоподобно.
Для обучения нейросети используются две модели NeRF (Neural Radiance Fields for Unconstrained, умеет превращать фотографии в объемную анимацию). Первая модель вычисляет человека на фоне и формирует трехмерную модель, а вторая — определяет фон и «дополняет» его. Разработчики посчитали, что нейросеть будет использоваться для приложений в дополненной реальности.
Ранее в соцсетях опубликовали дипфейк, в котором актер с лицом Киану Ривза в роли Данилы Багрова прогуливается по Санкт-Петербургу и отыгрывает сцены из первой части фильма «Брат».
