K² · Искусственный интеллект
ИИ уже знает, где что движется в кадре — надо лишь его подслушать
В статье представлена MVTrack4Gen — фреймворк обучения, ориентированный на движение, который использует отслеживание точек в мультивью в качестве дополнительного геометрического и кинематического супервизии для моделей диффузии видео с новых углов обзора, обусловленных только камерой.
JL
JJ
JoungBin Lee, Jaewoo Jung, Jongmin Lee и др.
11 авторов · cs.CV
Суть за 30 секунд
У вас есть видео с одной камеры.
- Задача состоит в синтезе видео с новой точки зрения из монокулярного видео-эталона по целевой траектории камеры, что требует как геометрической согласованности, так и соответствия движения.
- Авторы указывают, что существующие методы на основе явного трёхмерного представления ограничены точностью готовых модулей реконструкции, которые часто дают неточную геометрию для динамических объектов в монокулярных видео.
- Авторы отмечают, что методы, обусловленные только камерой, могут достичь высокого визуального качества, но часто испытывают трудности с сохранением геометрической и кинематической согласованности.