K² · Искусственный интеллект
3D-модели умеют лепить форму, но не красить. Ink3D зовёт на помощь видео
Авторы представляют Ink3D — фреймворк, который объединяет 3D-генерацию с крупномасштабными видеогенеративными моделями для синтеза чрезвычайно сложных текстур.
YH
CL
Yue Han, Chong Li, Zhening Liu и др.
8 авторов · cs.CV
Суть за 30 секунд
Современные ИИ-системы, которые создают трёхмерные объекты, отлично строят форму, но проваливаются на поверхности.
- Ink3D сначала восстанавливает геометрию белой сетки с помощью готовой модели 3D-генерации.
- Ink3D использует OrbitPainter — условную видеогенеративную модель, которая создаёт плотные видео орбитальных сканов, захватывающие внешний вид объекта с разных точек зрения.
- Авторы представляют TextureOptimizer — модуль нейросетевого запекания, который интегрирует плотные наблюдения с множественных точек зрения и снижает геометрические несоответствия, возникающие при видеогенерации.
Visual generative models are trained on datasets several orders of magnitude larger than 3D datasets