Lumos-Nexus: Puenteo Eficiente de Frecuencia con Espacio Latente Homogéneo para Modelos Unificados de Video (2023)

Abstract

Los modelos unificados de video basados en conectores han demostrado una gran capacidad en la síntesis de video basada en instrucciones, pero la integración de un generador de alta fidelidad grande en el bucle de entrenamiento unificado es computacionalmente prohibitiva, lo que limita la calidad visual alcanzable.ORIGINAL EN INGLÉSConnector-based video unified models have demonstrated strong capability in instruction-grounded video synthesis, but integrating a large high-fidelity generator into the unified training loop is computationally prohibitive, limiting achievable visual quality.

Propuesta de Lumos-Nexus

Por lo tanto, proponemos Lumos-Nexus, un marco de generación de video unificado eficiente en entrenamiento que facilita el desarrollo de capacidades de generación impulsadas por razonamiento fuertes mientras mejora significativamente la fidelidad visual.ORIGINAL EN INGLÉSWe therefore propose Lumos-Nexus, a training-efficient unified video generation framework that facilitates the development of strong reasoning-driven generation capabilities while significantly enhancing visual fidelity. Lumos-Nexus adopta un diseño de dos etapas: 1) Durante el entrenamiento, solo un generador ligero se alinea con el bloque de comprensión para aprender a recibir control semántico impulsado por razonamiento.ORIGINAL EN INGLÉSLumos-Nexus adopts a two-stage design: 1) During training, only a lightweight generator is aligned with the understanding block to learn to take in reasoning-driven semantic control. Transformadores pueden ser utilizados para mejorar la comprensión del lenguaje en este bloque.

Arquitectura de Lumos-Nexus

2) Durante la inferencia, introducimos el Puenteo de Frecuencia Progresivo Unificado (UPFB) para progresivamente entregar la generación a un generador preentrenado de alta capacidad en el espacio latente compartido, lo que permite un refinamiento de grueso a fino y produce videos de alta fidelidad sin comprometer la calidad del razonamiento.ORIGINAL EN INGLÉS2) During inference, we introduce Unified Progressive Frequency Bridging (UPFB) to progressively hand off generation to a high-capacity pretrained generator in the shared latent space, enabling coarse-to-fine refinement and producing high-fidelity videos without compromising reasoning quality.

Evaluación y Resultados

Para llenar la brecha en las pruebas de generación de video impulsadas por razonamiento, introducimos VR-Bench, que evalúa la capacidad de un modelo para traducir la intención inferida en contenido de video coherente y alineado semánticamente.ORIGINAL EN INGLÉSTo fill the gap in reasoning-driven video generation benchmarks, we introduce VR-Bench, which assesses a model's capability to translate inferred intent into coherent and semantically aligned video content. Experimentos extensivos demuestran que Lumos-Nexus logra ganancias sustanciales en realismo visual y coherencia temporal en VBench, mientras exhibe un rendimiento generativo basado en razonamiento fuerte en VR-Bench.ORIGINAL EN INGLÉSExtensive experiments demonstrate that Lumos-Nexus achieves substantial gains in visual realism and temporal coherence on VBench, while exhibiting strong reasoning-based generative performance on VR-Bench. Leyes de escala pueden ser aplicadas para mejorar el rendimiento del modelo.

Conclusión

Lumos-Nexus ofrece un enfoque innovador para la generación de video unificado, combinando la capacidad de razonamiento con alta fidelidad visual. Los resultados experimentales demuestran su eficacia en la generación de videos de alta calidad. El código y los modelos están disponibles en https://jiazheng-xing.github.io/nexus-lumos-home/.