Saltar al contenido

Nvidia ha desarrollado una forma de convertir fotos 2D en escenas 3D

1648518200 Nvidia ha desarrollado una forma de convertir fotos 2D en
TOP. 1
Nvidia SHIELD TV Pro, Procesador con Control Remoto, Chrome, Negro
Nvidia SHIELD TV Pro, Procesador con Control Remoto, Chrome, Negro
SHIELD Stand se vende por separado
219,00 EUR

Los investigadores de inteligencia artificial de Nvidia han ideado una forma de convertir un puñado de imágenes 2D en una escena 3D casi instantáneamente utilizando un entrenamiento de red neuronal ultrarrápido junto con un renderizado rápido.

Conocido como representación inversa, el proceso aprovecha la IA para aproximar el comportamiento de la luz en el mundo real para transformar imágenes 2D tomadas desde diferentes ángulos en escenas 3D.

Los investigadores de Nvidia aplicaron su nuevo enfoque a una nueva tecnología popular llamada Neural Radiation Fields, o NeRF para abreviar. El resultado, que la empresa ha denominado Instant NeRF, es la técnica NeRF más rápida hasta la fecha y, en algunos casos, es más de 1000 veces más rápida. El modelo neuronal utilizado tarda solo unos segundos en entrenarse en unas pocas docenas de fotos fijas, aunque también requiere datos sobre los ángulos de cámara desde los que se tomaron.

El vicepresidente de Investigación de Gráficos de Nvidia, David Luebke, brindó información adicional sobre la diferencia entre NeRF e Instant NeRF en una publicación de blog, diciendo:

“Mientras que las representaciones 3D tradicionales, como las mallas poligonales, son similares a las imágenes vectoriales, los NeRF son como mapas de bits: capturan densamente la forma en que la luz se irradia desde un objeto o hacia una escena. En este sentido, Instant NeRF podría ser tan importante para el 3D como lo han sido las cámaras digitales y la compresión JPEG para la fotografía en 2D, aumentando drásticamente la velocidad, la facilidad y el alcance de la captura y el uso compartido en 3D.

Posibles casos de uso

Usando redes neuronales, los NeRF pueden representar escenas 3D realistas basadas en una colección de entrada de imágenes 2D. Sin embargo, la parte más interesante es cómo las redes neuronales utilizadas para crearlas pueden llenar los espacios entre las imágenes 2D incluso cuando los objetos o las personas en ellas están bloqueados por obstáculos.

Normalmente, la creación de una escena 3D con métodos tradicionales puede llevar de unas pocas a varias horas, según la complejidad y la resolución de la visualización. Al introducir IA en la imagen, incluso los primeros modelos NeRF pudieron generar escenas nítidas sin artefactos en cuestión de minutos después de haber sido entrenados durante varias horas.

Los NeRF instantáneos de Nvidia son capaces de reducir el tiempo de renderizado requerido en órdenes de magnitud utilizando una técnica desarrollada por la compañía llamada codificación de cuadrícula hash de resolución múltiple que se ha optimizado para ejecutarse de manera eficiente en las GPU de Nvidia. El modelo que la compañía presentó en GTC 2022 utiliza Nvidia CUDA Toolkit y Tiny CUDA Neural Networks Library, que se pueden entrenar y ejecutar en una sola GPU Nvidia, aunque las tarjetas gráficas con Nvidia Tensor Cores pueden manejar el trabajo aún más rápido.

En el futuro, la tecnología Instant NeRF podría usarse para crear rápidamente avatares o escenas para mundos virtuales, capturar participantes de videoconferencias y sus entornos en 3D, o reconstruir escenas para mapas digitales en 3D. Alternativamente, la tecnología también podría usarse para entrenar robots y automóviles autónomos para comprender mejor el tamaño y la forma de los objetos del mundo real mediante la captura de imágenes en 2D o secuencias de video de ellos. Al mismo tiempo, las industrias de la arquitectura y el entretenimiento pueden usar Instant NeRF para generar rápidamente representaciones digitales de entornos reales que los creadores pueden modificar y expandir.

Los investigadores de Nvidia también están explorando cómo su nueva técnica de codificación de entrada podría usarse para acelerar varios desafíos de IA, como el aprendizaje por refuerzo, la traducción de idiomas y los algoritmos de aprendizaje profundo de uso general.

Share This