Imagine uma experiência de RV de próxima geração onde você pode materializar cenas realistas, personagens inteligentes e situações complexas, e interagir com elas em tempo real. Isso está no horizonte, graças à convergência de tecnologias como os avanços recentes em vídeo 3D em tempo real. Por meses, avanços em geradores de vídeo com IA como o Sora, ferramentas de criação de personagens e narrativas com IA, ferramentas de criação de música e efeitos sonoros com IA e projetos como o Google Genie (dedicado à criação ao vivo de jogos e experiências interativas) têm preparado o terreno. A maioria dos ingredientes principais já está aqui, embora em forma embrionária.
Apple Vision Pro: um exemplo de tecnologia que aproxima a experiência do Holodeck.
Embora um verdadeiro gerador de hologramas ainda não exista, se você estiver disposto a usar um fone de ouvido de RV, os únicos obstáculos restantes para uma experiência Holodeck totalmente funcional parecem ser velocidade, latência e convergência. Imagine simplesmente declarar sua localização, personagens e cenário desejados, e então vê-los se materializarem diante de seus olhos como uma experiência totalmente interativa.
No meio da enxurrada de progresso na IA, certos desenvolvimentos se destacam como passos significativos em direção a esse futuro imersivo. Um desses desenvolvimentos é um artigo de pesquisa intitulado “Representando Vídeo Volumétrico Longo com Hierarquia Gaussiana Temporal”.
Vídeo Volumétrico: Um mergulho mais profundo
O vídeo volumétrico é inerentemente mais complexo do que o vídeo regular. Em vez de uma matriz 2D de pixels mudando ao longo do tempo, ele gera “voxels” cúbicos em um espaço 3D. Isso fornece uma representação muito mais útil de uma cena para experiências interativas, permitindo que os usuários se movam e mudem sua perspectiva. Jogando um videogame com um mundo 3D? Você está olhando para um vídeo volumétrico.
O artigo de pesquisa detalha uma inovação na apresentação de vídeo volumétrico, reduzindo drasticamente a RAM de vídeo e o armazenamento necessários para renderizar vídeo fotorrealista a partir de ativos 3D. Usando uma GPU NVIDIA RTX 4090 padrão, ele pode renderizar cenas altamente detalhadas em resolução 1080p a 450 quadros por segundo por 10 minutos ou mais – tudo em tempo real, permitindo movimento de câmera interativo e outras interações.
Hierarquia Gaussiana Temporal: O ingrediente secreto
A técnica, chamada Hierarquia Gaussiana Temporal, analisa a cena para identificar áreas que mudam rapidamente versus aquelas que se movem lentamente ou permanecem estáticas. Em seguida, ela cria uma representação hierárquica, dedicando mais poder de processamento aos elementos complexos e de movimento rápido, enquanto economiza tempo nas partes mais lentas ou estáticas.
Os resultados são impressionantes. A equipe de pesquisa multinacional da Zhejiang University, Stanford University e da Hong Kong University of Science and Technology relataram a geração de 18.000 quadros de vídeo usando apenas 17,2 GB de VRAM e 2,2 GB de armazenamento – uma redução de 30x e 26x, respectivamente, em comparação com o método 4K4D de última geração anterior.
Renderização em tempo real: Um vislumbre do futuro
Essa renderização eficiente em tempo real de mundos 3D complexos pode ser um componente crucial da experiência Holodeck VR. Gerar 450 quadros de vídeo volumétrico por segundo se traduz em 225 quadros de visão 1080p estéreo por segundo para um fone de ouvido de RV, como demonstrado com o Apple Vision Pro.
Este é um avanço notável, destacando a rápida aceleração em vários campos tecnológicos em 2024. Na Wonder Academy, nós nos inspiramos em inovações como essa para criar cursos que preparam os alunos para as profissões do futuro. Se você quer mergulhar mais fundo nesse universo de tecnologia imersiva, acesse nosso site e explore as opções de cursos!
Inspiração
Avanços em vídeo volumétrico: um futuro imersivo.
— Nomad Blogger
