Приложение NVIDIA Broadcast поможет стримерам очистить звук и улучшить картинку

В этом году игровые трансляции переживают настоящий скачок популярности (в том числе из-за повсеместных карантинных мер против COVID-19): количество стримеров в Twitch выросло на 89 %, а зрителей — на 56 %. Неудивительно, что в новых игровых ускорителях NVIDIA Ampere направлению обработки видео уделено особое значение.

Например, NVIDIA оснастила свои ускорители новой версией блока кодирования и декодирования видео (NVENC), который обещает отличное качество и позволяет разгрузить ЦП, чтобы минимально снижать частоту кадров в играх во время трансляций. Мы уже писали об аппаратной поддержке декодирования AV1 в Ampere. NVIDIA тесно сотрудничает с разработчиками популярных приложений для организации трансляций вроде OBS, Discord, Streamlabs, Twitch Studio и Xsplit, чтобы повысить качество потоков.

Качество звука, камера и визуальный ряд тоже играют важную роль, но не все могут позволить собственную студию или дорогие камеры, микрофоны и хромакей, чтобы повысить качество своих стримов. Эту проблему NVIDIA стремится решить с помощью интеллектуальных возможностей GeForce RTX 3000 через новое приложение Broadcast.

Оно содержит три инструмента на базе ИИ:

• Устранение шумов удаляет фоновый шум микрофона, включая, например, лай собаки или звонок в дверь. Возможности этой функции можно также использовать для входящих аудиопотоков;
• Виртуальный фон позволяет заменить фон с видеоряда на кадры из игры, другое изображение или эффект размытия. По сути, это аналог хромакея, но без зелёного экрана;
• Автоматическое кадрирование приближает изображение и при помощи ИИ отслеживает движения головы, фокусируя камеру на стримера, даже если он отодвигается в сторону — своеобразный личный оператор.

Эти возможности можно задействовать не только для трансляций, но и для видеоконференций через Zoom или игр с друзьями через Discord. NVIDIA Broadcast — это универсальное дополнение, призванное работать в связке с популярными приложениями для стриминга, видеоконференций и голосовых чатов. Оно поддерживается всеми видеокартами NVIDIA GeForce RTX, TITAN RTX и Quadro RTX, которые обладают тензорными ядрами. То есть не только новыми GeForce RTX 30-й серии, но GeForce RTX 20-й. 

Кстати, эффективное устранение шума при помощи ИИ можно проверить с помощью утилиты RTX Voice, которую компания пообещала официально выпустить для всех видеокарт GeForce (раньше оно было доступно только неофициально). Скачать же приложение NVIDIA Broadcast можно будет в конце этого месяца.