En la actualidad, la inteligencia artificial (IA) está revolucionando diversos campos, y la creación de imágenes 3D no es una excepción. Los investigadores de IA de ByteDance, la empresa matriz de TikTok, han desarrollado un modelo de IA llamado ImageDream, capaz de generar impresionantes modelos 3D a partir de imágenes.
¿Puede la IA crear un modelo 3D a partir de una imagen?
ImageDream es capaz de generar difusiones de múltiples vistas de objetos desde cualquier punto de vista al ingresar una sola imagen. Por ejemplo, si introduces una imagen de un bulldog usando un sombrero de pirata negro, ImageDream generará múltiples vistas del objeto y luego utilizará esas vistas para crear un modelo 3D.
El equipo detrás de ImageDream afirma que el uso de imágenes como entradas para generar modelos 3D en lugar de texto permite una forma más intuitiva y directa para que los usuarios comuniquen los resultados deseados, especialmente para aquellos que pueden encontrar difícil articular sus visiones textualmente.
Existían modelos de generación 3D de IA mucho antes de ImageDream. Incluso el equipo de ImageDream utilizó el sitio web temple para uno de los modelos más destacados, Google DreamFusion, presentado en octubre pasado. Incluso OpenAI tiene su propio modelo de generación 3D de IA, Point-E, que puede generar esculturas 3D a partir de entradas de texto.
Incluso antes de ImageDream, ByteDance, la empresa matriz de TikTok, construyó un modelo de generación 3D llamado MVDream. Publicado en agosto, este modelo de difusión puede generar representaciones 3D de alta calidad a partir de entradas de texto. Desarrollado en colaboración con la Universidad de California, San Diego, MVDream puede ajustarse para generar de manera personalizada modelos 3D utilizando herramientas como DreamBooth3D.
Ventajas de ImageDream sobre otros modelos
Según el equipo que construyó ImageDream, este último modelo se destaca en comparación con los sistemas anteriores en que puede generar objetos con geometría correcta a partir de una imagen dada, permitiendo a los usuarios aprovechar modelos de generación de imágenes bien desarrollados para una mejor alineación de imagen-texto que los modelos condicionados exclusivamente por texto como mvdream.
El documento técnico de ImageDream afirma: imagedream supera a los generadores de modelos 3d de imagen única sin entrenamiento previo del estado del arte (sota), como magic123, en términos de geometría y calidad de textura.
Como la mayoría de los modelos, ImageDream tiene sus limitaciones, incluidos problemas con las restricciones de la imagen. Por ejemplo, cuando se trata de detalles minuciosos, como los rostros de un avatar de cuerpo completo, el modelo tiene dificultades para capturar matices.
Aplicaciones de la IA en generación 3D
El uso de la IA para la generación 3D es un concepto en crecimiento y sus casos de uso podrían incluir la generación de activos para entornos de realidad virtual o aumentada (VR o AR) o videojuegos. Entre las generaciones de ejemplo, ImageDream se utilizó para crear modelos de katanas y AK47, objetos que se encuentran en varios títulos de videojuegos, así como el personaje de Pokémon, Pikachu, usando un sombrero.
Acceso a ImageDream
Puedes explorar las diversas generaciones de ImageDream en la página del proyecto de ByteDance.
Al momento de escribir este artículo, parece haber un problema al acceder al código de ImageDream en su página de proyecto. AI Business ha contactado a los autores para obtener aclaraciones.
Si quieres conocer otras notas parecidas a Crear imágenes 3d con ia: imagedream, generación intuitiva puedes visitar la categoría Inteligencia.