No primeiro dia do Unreal Fest Seattle 2024, a NVIDIA apresentou importantes inovações para desenvolvedores que trabalham com criação de personagens digitais. Os novos plug-ins da tecnologia NVIDIA ACE (Avatar Cloud Engine) para a Unreal Engine 5 prometem transformar o desenvolvimento de Meta-Humanos com inteligência artificial, simplificando sua implementação em jogos e outras aplicações interativas.
Plug-ins NVIDIA ACE na Unreal Engine 5
Entre as novidades, o destaque vai para a integração de três novos plug-ins com a Unreal Engine 5, voltados para a animação facial, diálogos interativos e interações contextuais:
Audio2Face-3D: Esse plug-in utiliza IA para sincronizar a animação facial dos personagens com o áudio, gerando expressões em tempo real. Ele simplifica o processo de animação ao automatizar a sincronização labial, o que antes exigia muito trabalho manual.
Nemotron-Mini 4B Instruct: Projetado para diálogos interativos, o Nemotron-Mini gera respostas inteligentes para os personagens, tornando as interações mais naturais e envolventes dentro de jogos e ambientes virtuais.
Retrieval Augmented Generation (RAG): Esse sistema aprimora as interações dos personagens ao fornecer informações contextuais durante as conversas, tornando as respostas mais realistas e adequadas à situação.
Integração com Autodesk Maya
Além dos plug-ins para a Unreal Engine 5, a NVIDIA expandiu as possibilidades de animação para o Autodesk Maya com o Audio2Face-3D. Agora, desenvolvedores podem criar animações faciais detalhadas e personalizáveis diretamente no Maya, utilizando áudio como base para o movimento facial dos personagens. Esse recurso também facilita a integração com a Unreal Engine 5, acelerando o fluxo de trabalho entre as duas ferramentas.
Microsserviço de Renderização e Streaming de Pixel
A NVIDIA também introduziu um microsserviço de renderização para a Unreal Engine 5, que utiliza a tecnologia Unreal Pixel Streaming da Epic Games. Esse sistema permite transmitir personagens Meta-Humanos de alta qualidade para qualquer dispositivo via Web Real-Time Communication (WebRTC). Essa funcionalidade é especialmente interessante para desenvolvedores que buscam expandir seus jogos para plataformas menos potentes sem sacrificar a qualidade visual dos personagens.
O microsserviço já está disponível em acesso antecipado, suportando o NVIDIA ACE Animation Graph e o sistema operacional Linux. Essa flexibilidade facilita o desenvolvimento em diferentes ambientes, oferecendo suporte a diversas plataformas.
Otimização e Flexibilidade para Desenvolvedores
Com essas novas ferramentas, a NVIDIA visa simplificar o processo de criação e integração de humanos digitais com IA em jogos e aplicações. O foco está em garantir que os desenvolvedores tenham à disposição ferramentas que otimizem a latência e o consumo de memória, especialmente em PCs com Windows, ao mesmo tempo em que oferecem escalabilidade para projetos que demandam implantações na nuvem.
Além disso, a possibilidade de personalizar os plug-ins com código-fonte aberto e adaptá-los às necessidades específicas de cada projeto é um diferencial importante para desenvolvedores que buscam criar experiências únicas. O plug-in Maya ACE já está disponível para download no GitHub, enquanto o microsserviço de renderização da Unreal Engine 5 pode ser solicitado em acesso antecipado.
Essas novidades da NVIDIA prometem expandir os horizontes dos jogos e experiências digitais, permitindo que personagens Meta-Humanos interajam de maneira mais realista, fluida e em diferentes dispositivos
