16 febrero, 2024

OpenAI Sora convierte los textos en videos ultra realistas

Comparte

El avance de OpenAI en la creación de video sigue adelante con el lanzamiento de Sora. La nueva aplicación espera dominar el cine sin ir a la escuela de cine.

Sora, que por ahora es un producto de investigación, se crea para unos cuantos creadores y a varios expertos en seguridad, que lo someterán a un examen para detectar vulnerabilidades de seguridad.

Cabe señalar que OpenAI tiene previsto ponerlo a disposición de todos los aspirantes a autores en una fecha no especificada.

Aunque las escenas son ciertamente impresionantes, las capacidades más sorprendentes de Sora son aquellas para las que no es entrenado.

Gracias a una versión del modelo de difusión usado por el generador de imágenes DALL-E 3 de OpenAI y al motor basado en transformadores de GPT-4, Sora no se limita a producir videos que satisfacen las demandas de las instrucciones, sino que lo hace de una forma que demuestra una comprensión emergente de la gramática cinematográfica.

Bill Peebles, investigador del proyecto, señala que Sora crea un empuje narrativo gracias a sus ángulos de cámara y a la sincronización. “En realidad, hay varios cambios de plano: no están cosidos, sino generados por el modelo de una sola vez. No le dijimos que lo hiciera, lo hizo automáticamente”

Sora podrá sacar videos a partir de una imagen

La capacidad de generar videos a partir de una sola imagen o una secuencia de fotogramas es una de sus funciones, aunque por el momento no se muestra pero se espera que esté lista más adelante.

“Esta va a ser otra forma realmente genial de mejorar las capacidades de narración. Puedes dibujar exactamente lo que tienes en mente y luego animarlo para que cobre vida”.

OpenAI es consciente de que esta función también tiene el potencial de producir deepfakes y desinformación. Por lo que serán Vamos a ser muy cuidadosos con todas las implicaciones de seguridad de esto”, añade Peebles.

Mismas restricciones que DALL-E 3

Sora tendrá las mismas restricciones de contenido que DALL-E 3: nada de violencia, nada de porno, nada de apropiarse de personas reales o del estilo de artistas conocidos.

Al igual que en DALL-E 3, OpenAI ofrecerá a los espectadores la posibilidad de identificar los resultados como creados por la IA. Aun así, OpenAI afirma que la seguridad y la veracidad es un problema continuo que va más allá de una empresa.

“La solución a la desinformación implicará cierto nivel de mitigación por nuestra parte, pero también necesitará la comprensión de la sociedad y que las redes sociales se adapten”, Aditya Ramesh, investigador principal y jefe del equipo de DALL-E 3.

Otro posible problema es si el contenido del video que produce Sora infringe los derechos de autor de otros.

“Los datos de entrenamiento proceden de contenidos cuya licencia hemos adquirido y también de contenidos de dominio público”, Peebles. Por supuesto, el meollo de una serie de demandas contra OpenAI gira en torno a la cuestión de si los contenidos protegidos por derechos de autor “disponibles públicamente” son lícitos para el entrenamiento de la IA.

Pasará mucho tiempo, si es que llega a pasar, antes de que la conversión de texto en video amenace a la producción cinematográfica real. No, no se pueden hacer películas coherentes juntando 120 clips de Sora de un minuto de duración, ya que el modelo no responderá a las instrucciones exactamente de la misma manera: la continuidad no es posible.

Pero el límite de tiempo no es un obstáculo para que Sora y programas similares transformen TikTok, Reels y otras plataformas sociales. “Para hacer una película profesional se necesita un equipo muy caro. Este modelo va a capacitar a la persona promedio que hace videos en las redes sociales para hacer contenido de muy alta calidad”, Peebles.

🚨 Good Bye Reality
Every single video in this thread was generated by Open AI’s new text to video model “Sora” 🤯
🧵
1/48 pic.twitter.com/ze4Mom2Bgs
— Sambhav Gupta (@sambhavgupta6) February 15, 2024

The OpenAI Sora research article has been released
The release includes even more incredible AI generated video examples!
Here are 10 more wild generated examples:
(1/10) pic.twitter.com/Cn6mwgkLSU
— Allen T (@Mr_AllenT) February 16, 2024

6. This Minecraft video clip was generated 100% by Sora! pic.twitter.com/DYOiBPXp69
— Rowan Cheung (@rowancheung) February 16, 2024

Prompt: A Chinese Lunar New Year celebration video with Chinese Dragon pic.twitter.com/cOeo3u92jG
— Dogan Ural (@doganuraldesign) February 16, 2024

This is the “holy shit” moment of AI 🤯
OpenAI just launched Sora, an AI that can create hyperrealistic videos from just text prompts.
It’ll be nearly impossible to tell the difference between AI and real in 2024.
(THREAD 🧵) 1/13 pic.twitter.com/QMlg2j2wXC
— Barsee 🐶 (@heyBarsee) February 16, 2024

4/ Sora can create detailed scenes with many characters, actions, and precise backgrounds.
It knows what the user wants and how things look in real life. pic.twitter.com/28LRzehKx3
— Barsee 🐶 (@heyBarsee) February 16, 2024

10/ OpenAI’s Sora can also create seamless infinite loop videos. pic.twitter.com/d0hm4o5IYD
— Barsee 🐶 (@heyBarsee) February 16, 2024

🧵28/48
Prompt: An extreme close-up of an gray-haired man with a beard in his 60s, he is deep in thought pondering the history of the universe as he sits at a cafe in Paris, his eyes focus on people offscreen as they walk as he sits mostly motionless, he is dressed in a wool… pic.twitter.com/Ru5ekhSgyd
— Sambhav Gupta (@sambhavgupta6) February 15, 2024

🧵25/48
Prompt: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes. pic.twitter.com/WDSmqTJWdO
— Sambhav Gupta (@sambhavgupta6) February 15, 2024