[ad_1]
Meta e um grupo de pesquisadores da Universidade do Texas em Austin (UT Austin) estão trabalhando para trazer áudio realista para o metaverso.
Como Kristen Garuman, diretora de pesquisa da Meta AI, explica (abre em nova aba), há mais na realidade aumentada e digital (AR e VR, respectivamente) do que apenas recursos visuais. O áudio desempenha um papel muito importante em fazer um mundo parecer vivo. Garuman diz que “o áudio é moldado pelo ambiente que [it’s] dentro.” Existem vários fatores que influenciam como o som se comporta, como a geometria de uma sala, o que está na sala e a distância de uma fonte.
Para conseguir isso, o plano da Meta é usar óculos AR para gravar áudio e vídeo de um native e, em seguida, usar um conjunto de três modelos de IA, transformar e limpar a gravação para que pareça que está acontecendo na sua frente quando você a reproduz. em casa. Os AIs levarão em conta a sala em que você está para que ela possa corresponder ao ambiente.
Olhando para os projetos, parece que a Meta está se concentrando em óculos AR. O plano da Meta para fones de ouvido VR inclui replicar as imagens e sons de um ambiente, como um concerto, para que pareça que você está lá pessoalmente.
Perguntamos ao Meta como as pessoas podem ouvir o áudio aprimorado. As pessoas precisarão de um par de fones de ouvido para ouvir ou virá do fone de ouvido? Não obtivemos resposta.
Também perguntamos ao Meta como os desenvolvedores podem obter esses modelos de IA. Eles foram feitos de código aberto para que desenvolvedores de terceiros possam trabalhar na tecnologia, mas a Meta não ofereceu mais detalhes.
Transformado por IA
A questão é como o Meta pode gravar áudio em um par de óculos AR e fazer com que ele reflita uma nova configuração.
A primeira solução é conhecida como AViTAR que é um ”Modelo de correspondência acústica visible.” (abre em nova aba) Esta é a IA que transforma o áudio para combinar com um novo ambiente. Meta oferece o exemplo de uma mãe gravando o recital de dança de seu filho em um auditório com um par de óculos AR.
Um dos pesquisadores afirma que a mãe em questão pode pegar essa gravação e reproduzi-la em casa, onde a IA transformará o áudio. Ele varrerá o ambiente, levará em conta quaisquer obstáculos em uma sala e fará com que o recital soe como se estivesse acontecendo bem na frente dela com os mesmos óculos. A pesquisadora afirma que o áudio virá dos óculos.
Para ajudar a limpar o áudio, há Deseverberação visualmente informada (abre em nova aba). Basicamente, ele take away a reverberação do clipe. O exemplo dado é gravar um concerto de violino em uma estação de trem, levá-lo para casa e fazer com que a IA limpe o clipe para que você não ouça nada além de música.
O último modelo de IA é VisualVoice (abre em nova aba), que united states of america uma combinação de dicas visuais e de áudio para separar vozes de outros ruídos. Believe gravar um vídeo de duas pessoas discutindo. Essa IA isolará uma voz para que você possa entendê-la enquanto silencia todo o resto. Meta explica que as dicas visuais são importantes porque a IA precisa ver quem está falando para entender certas nuances e saber quem está falando.
Em relação aos recursos visuais, a Meta afirma que planeja trazer vídeo e outras sugestões para aprimorar ainda mais o áudio orientado por IA. Como essa tecnologia ainda está no início do desenvolvimento, não se sabe se e quando a Meta trará essas IAs para um fone de ouvido Quest perto de você.
Não deixe de ler nossa última análise sobre o Oculus Quest 2 se você está pensando em comprar um. Alerta de spoiler: nós gostamos.
[ad_2]
Fonte da Notícia: www.techradar.com
