O Google apresentou um novo projeto que combina modelos de linguagem avançados com tecnologias existentes da empresa, criando as plantas de IA generativa chamadas “Talking Character“.
Essa ferramenta permite que os desenvolvedores criem avatares 3D personalizados que interagem com os usuários através de conversas verbais ou texto.
Os usuários podem ajustar a personalidade, a história e a base de conhecimentos do avatar, permitindo que se crie um especialista especializado com uma perspectiva única em qualquer tema.
O projeto utiliza o serviço de reconhecimento de voz do Google para converter entradas de voz em texto, que são enviados à API Preserve and Learn More (PaLM) para gerar respostas, e a tecnologia de síntese de voz para criar uma voz que soa como a de um ser humano.
Para uma experiência visual interativa, a Google desenvolveu um avatar 3D “falante” que se anima em função do patrão e da entonação da voz gerada.
Utilizando o framework MediaPipe, um modelo de aprendizagem automática foi utilizado para gerar expressões faciais e movimentos dos lábios que se sincronizam com opadrão de voz, oferecendo uma interação mais natural e imersiva.
As possibilidades de aplicação dessa tecnologia são diversas em diferentes setores, como em jogos, educação e comércio.
Por exemplo, em jogos, os personagens gerados por IA poderiam enriquecer os universos dos jogos, oferecendo experiências mais imersivas através de conversas em linguagem natural sobre o mundo do jogo, sua história e seus personagens.
Na educação, os personagens virtuais poderiam representar diferentes matérias que os estudantes devem estudar, ou ser personagens com diferentes níveis de dificuldade em um cenário interativo de perguntas e respostas.
Já no comércio, o Talking Character poderia ser utilizada para dar vida a marcas e lojas, ou para fornecer suporte aos comerciantes em um mercado de comércio eletrônico, melhorando assim a experiência do usuário.
