Facebook создала аппаратно независи..

Facebook создала аппаратно независимую альтернативу NVIDIA DLSS

Новая статья, опубликованная исследователями Facebook перед SIGGRAPH 2020, рассказывает о технологии полноэкранного сглаживания Neural Supersampling, основанной на машинном обучении она не слишком отличается от технологии NVIDIA Deep Learning Super Sampling (DLSS), но при этом не требует какого-либо запатентованного аппаратного или программного обеспечения.

При этом результаты работы технологии весьма впечатляют: как можно видеть на примерах изображений, качество оказывается вполне сопоставимым с DLSS. Наиболее близкой к нашей работе является недавно представленная технология NVIDIA Deep-Learned Supersampling (DLSS), которая в реальном времени повышает качество рендеринга контента с низким разрешением с помощью нейронной сети , сообщает описание.

Как отмечают исследователи, их метод легко интегрировать в современные игровые движки, он не требует специального оборудования (например, для отслеживание глаз) или программного обеспечения (например, специальных драйверов DLSS), что делает его применимым к более широкому спектру существующих программных платформ, аппаратных ускорителей и дисплеев.

Мы выяснили, что для нейросуперсемплинга дополнительная вспомогательная информация, предоставляемая векторами движения, оказалась особенно эффективной. Векторы движения определяют геометрические соответствия между пикселями в последовательных кадрах. Другими словами, каждый вектор движения указывает на субпиксельное местоположение, где точка поверхности, видимая в одном кадре, могла появиться в предыдущем кадре. Эти значения обычно оцениваются методами компьютерного зрения для фотографических изображений, но такие алгоритмы оценки оптического потока подвержены ошибкам. В отличие от этого, конвейер рендеринга может непосредственно генерировать плотные векторы движения, тем самым обеспечивая надёжные и насыщенные входные данные для нейросуперсемплинга, применяемого к визуализированному контенту.

Наш метод основан на вышеупомянутых наблюдениях и объединяет дополнительную вспомогательную информацию с новым пространственно-временным дизайном нейронной сети, который нацелен на максимальное качество изображения и видео, обеспечивая при этом производительность в реальном времени.

Во время принятия решений наша нейронная сеть принимает в качестве входных данных атрибуты рендеринга (цвет, карту глубины и плотные векторы движения на каждый кадр) как текущего, так и нескольких предыдущих кадров, визуализированных с низким разрешением. На выходе нейросеть получает цветное изображение высокого разрешения, соответствующее текущему кадру. Сеть проходит контролируемое обучение: в процессе в качестве эталонного изображения выступает картинка в высоком разрешении, полученная методами полноэкранного сглаживания, она используется в паре с каждым входным кадром низкого разрешения .

Очевидно, Facebook упомянула и о возможном применении метода Neural Supersampling в приложениях дополненной и виртуальной реальности в рамках собственной платформы Oculus. Однако нет причин, по которым подобную многообещающую альтернативу DLSS нельзя было бы применять и в обычных играх.

Видео

Программное обеспечение

slesherplatformer-demon-skin-doberetsia-do-konsolei-v-sentiabre-i-poluchit-besplatnuiu-siuzhetnuiu-glavu_1.jpg

Слешер-платформер demon skin доберётся до кон...

  • Май 07, 2021
  • 376

Издательство Бука и студия-разработчик Ludus Future на сайте Steam анонсировали контентное обновление и дату релиза консольных версий своего слешер-пл...

Видеокарты

gigabyte-vypustit-flagmanskuiu-videokartu-aorus-radeon-rx-6900-xt-xtreme-waterforce-wb-s-massivnym-vodoblokom_1.jpg

Gigabyte выпустит флагманскую видеокарту aoru...

  • Май 07, 2021
  • 115

Компания Gigabyte собирается выпустить графический ускоритель Aorus Radeon RX 6900 XT Xtreme WaterForce WB. Новинку выделяет оснащение водоблоком для ...

Наверх