24 декабря Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
В нашей жизни может быть много моментов, которые нужно записать на камеру в замедленном режиме – первые шаги ребенка, первая поездка на море, трюк любимой собаки. Современный смартфон позволяет снимать с частотой 240 кадров в секунду или выше, но постоянно в таком режиме записывать не получится — памяти не хватит, и батарея сядет быстро. Созданная Nvidia нейросеть работает с уже отснятыми видео, превращая их в замедленные.
Исследователи из Nvidia создали систему на основе глубинного обучения для переработки видеороликов с частотой 30 кадров в секунду в замедленные видео. Они использовали библиотеку глубинного обучения PyTorch и графические процессоры Nvidia Tesla V100 GPUs. Систему тренировали с помощью 11 000 видеороликов повседневной и спортивной активности, снятых с частотой в 240 кадров в секунду. Благодаря этому она стала предсказывать промежуточные кадры. Чтобы проверить точность технологии, исследователи использовали отдельную базу данных с видео.
Технология позволяет делать видео гораздо более плавными и менее размытыми, чем в случае обычного замедления скорости. Частота кадров повышается до 480 в секунду. Для демонстрации результатов команда сравнила замедленные ролики, снятые видеоблогерами The Slo Mo Guys, с теми же видео, замедленными новым способом.
Первая нейронная сеть оценивает видеопоток — структуру движения, объектов, поверхностей и рёбер в сцене. Делает она это и вперёд по временной шкале, и в обратной последовательности для двух входных кадров. Затем система предсказывает, как пиксели будут перемещаться из одного кадра в следующий, создавая 2D-векторы этих перемещений.
Затем работает вторая нейросеть, которая предсказывает карту видимости – исключает те пиксели, которые должны быть перекрыты объектами, чтобы убрать артефакты. И система с помощью всех полученных данных искажает новые кадры между двумя выходными, чтобы обеспечить плавность перехода.
На видео можно сравнить результаты. Конечно, есть отличия между искусственно созданными замедленными видео и оригиналом, отснятым изначально с высокой частотой кадров. Это особенно заметно в сравнении с прыжком на надувной шар в бассейн от Slo Mo Guys на 54 секунде. Но если бы сравнивать было не с чем — отличить настоящее видео от «поддельного» было бы сложно.
Команда пока не знает, как коммерциализировать свою разработку. По их мнению, она ещё далеко до идеала и требует много ресурсов, в том числе временных. Вероятно, даже если такая технология и будет реализована в качестве продукта, она не будет запускаться на устройстве пользователя — вычисления произойдут в облаке.
>>3117326 (OP) Какие нахуй нейросети? Модифицируй стандартный мпеговский кодек, который собственно и работает по принципу предсказания и получишь то же самое.
>>3117518 Только у европейцев. У аборигенов Австралии глаз различает более 60 кадров в секунду. Поэтому они не могут смотреть наши фильмы. Что нам кажется непрерывной картинкой, они воспринимают как набор отдельных кадров.
>>3117642 >Только у европейцев. Нет, ты тоже различаешь. Раскрути велосипедное колесо и попробуй "словить" глазом движение спицы. Там и 60 кадров мало будет.
>>3118024 Кому это выгодно, наивный гой? Либо плати дохуя денег за то, что есть, либо ничего не получишь. И так каждый год, ведь производительность запланированно падает, чтобы ты быстрее покупал. Олигополия АМД/Нвидиа-с.
>>3118024 Зачем тебе дешёвые и мощные видеокарты? Тебе надо дешёвую и сочную картинку. Какая, тебе, плебею, разница, будет она рисоваться подсчётом полигонов через брутфорс тригонометрии, или через имитацию картинки реального мира на нейроночках?
>>3117893 биореатор - это же заебись! Вот настоящая наука, а не эта бесполезная хуйня для хипстоты. Хочешь замедлить видео - снимай на высокоскоростную камеру. А это говно без задач. Мыльное.
https://www.youtube.com/watch?v=MjViy6kyiqs
Исследователи из Nvidia создали систему на основе глубинного обучения для переработки видеороликов с частотой 30 кадров в секунду в замедленные видео. Они использовали библиотеку глубинного обучения PyTorch и графические процессоры Nvidia Tesla V100 GPUs. Систему тренировали с помощью 11 000 видеороликов повседневной и спортивной активности, снятых с частотой в 240 кадров в секунду. Благодаря этому она стала предсказывать промежуточные кадры. Чтобы проверить точность технологии, исследователи использовали отдельную базу данных с видео.
Технология позволяет делать видео гораздо более плавными и менее размытыми, чем в случае обычного замедления скорости. Частота кадров повышается до 480 в секунду. Для демонстрации результатов команда сравнила замедленные ролики, снятые видеоблогерами The Slo Mo Guys, с теми же видео, замедленными новым способом.
Первая нейронная сеть оценивает видеопоток — структуру движения, объектов, поверхностей и рёбер в сцене. Делает она это и вперёд по временной шкале, и в обратной последовательности для двух входных кадров. Затем система предсказывает, как пиксели будут перемещаться из одного кадра в следующий, создавая 2D-векторы этих перемещений.
Затем работает вторая нейросеть, которая предсказывает карту видимости – исключает те пиксели, которые должны быть перекрыты объектами, чтобы убрать артефакты. И система с помощью всех полученных данных искажает новые кадры между двумя выходными, чтобы обеспечить плавность перехода.
На видео можно сравнить результаты. Конечно, есть отличия между искусственно созданными замедленными видео и оригиналом, отснятым изначально с высокой частотой кадров. Это особенно заметно в сравнении с прыжком на надувной шар в бассейн от Slo Mo Guys на 54 секунде. Но если бы сравнивать было не с чем — отличить настоящее видео от «поддельного» было бы сложно.
Команда пока не знает, как коммерциализировать свою разработку. По их мнению, она ещё далеко до идеала и требует много ресурсов, в том числе временных. Вероятно, даже если такая технология и будет реализована в качестве продукта, она не будет запускаться на устройстве пользователя — вычисления произойдут в облаке.
https://habr.com/post/414953/