Por que glTF é o JPEG para o metaverso e gêmeos digitais

O formato de arquivo JPEG desempenhou um papel a very powerful na transição da internet de um mundo de texto para uma experiência visible por meio de um contêiner aberto e eficiente para compartilhamento de imagens. Agora, o formato de transmissão de linguagem gráfica (glTF) promete fazer a mesma coisa para objetos three-D no metaverso e gêmeos digitais.

O JPEG aproveitou vários truques de compactação para reduzir drasticamente as imagens em comparação com outros formatos como o GIF. A versão mais recente do glTF também aproveita as técnicas para compactar a geometria de objetos three-D e suas texturas. O glTF já está desempenhando um papel elementary no comércio eletrônico, como evidenciado pela Adobe Empurre no metaverso.

VentureBeat conversou com Neil Trevett, presidente da Fundação Khronos que está administrando o padrão glTF, para saber mais sobre o que o glTF significa para as empresas. Ele também é vice-presidente de ecossistemas para desenvolvedores da Nvidia, onde seu trabalho é facilitar o uso de GPUs pelos desenvolvedores. Ele explica como o glTF complementa outros formatos de gêmeos digitais e metaversos como USDcomo usá-lo e para onde está indo.

VentureBeat: O que é glTF e como ele se encaixa no ecossistema dos formatos de arquivo relacionados ao metaverso e aos gêmeos digitais?

Neil Trevett: Na Khronos, nos esforçamos muito em APIs three-D como OpenGL, WebGL e Vulkan. Descobrimos que todo aplicativo que united states of america three-D precisa importar ativos em algum ponto ou outro. O formato de arquivo glTF é amplamente adotado e muito complementar ao USD, que está se tornando o padrão para criação e autoria em plataformas como Omniverse. O USD é o lugar certo se você deseja reunir várias ferramentas em pipelines sofisticados e criar conteúdo de alta qualidade, incluindo filmes. É por isso que a Nvidia está investindo pesadamente em dólares para o ecossistema Omniverse.

Por outro lado, o glTF se concentra em ser eficiente e fácil de usar como formato de entrega. É um formato leve, simplificado e fácil de processar que qualquer plataforma ou dispositivo pode usar, incluindo navegadores da Internet em telefones celulares. O slogan que usamos como analogia é que “glTF é o JPEG do three-D”.

Também complementa os formatos de arquivo usados ​​nas ferramentas de autoria. Por exemplo, o Adobe Photoshop united states of america arquivos PSD para editar imagens. Nenhum fotógrafo profissional editaria JPEGs porque muitas informações foram perdidas. Os arquivos PSD são mais sofisticados que os JPEGs e suportam várias camadas. No entanto, você não enviaria um arquivo PSD para o celular da minha mãe. Você precisa do JPEG para lançá-lo em um bilhão de dispositivos da maneira mais eficiente e rápida possível. Portanto, USD e glTF se complementam de maneira semelhante.

VentureBeat: Como você vai de um para outro?

Trevett: É essencial ter um processo de destilação contínuo, desde ativos em USD até ativos em glTF. A Nvidia está investindo em um conector glTF para Omniverse para que possamos importar e exportar facilmente ativos glTF para dentro e fora do Omniverse. No grupo de trabalho glTF da Khronos, estamos felizes que o USD atenda às necessidades da indústria para um formato de autoria porque isso é uma grande quantidade de trabalho. O objetivo é que o glTF seja o alvo de destilação perfeito para o USD para dar suporte à implantação generalizada.

Um formato de autoria e um formato de entrega têm imperativos de design bastante diferentes. O design do USD tem tudo a ver com flexibilidade. Isso ajuda a compor coisas para fazer um filme ou um ambiente de RV. Se você quiser trazer outro ativo e misturá-lo com a cena existente, deverá reter todas as informações do projeto. E você quer tudo em níveis reais de resolução e qualidade.

O design de um formato de transmissão é diferente. Por exemplo, com glTF, as informações de vértice não são muito flexíveis para reautorização. Mas é transmitido precisamente na forma que a GPU precisa para executar essa geometria da maneira mais eficiente possível por meio de uma API three-D como WebGL ou Vulkan. Portanto, o glTF coloca muito esforço de design na compactação para reduzir o pace de obtain. Por exemplo, o Google contribuiu com seus Draco malha three-D tecnologia de compressão e a Binomial contribuiu com sua Base tecnologia de compressão de textura common. Também estamos começando a nos esforçar bastante no gerenciamento de nível de detalhe (LOD), para que você possa baixar modelos com muita eficiência.

A destilação ajuda a passar de um formato de arquivo para outro. Uma grande parte disso é eliminar as informações de design e autoria que você não precisa mais. Mas você não quer reduzir a qualidade visible a menos que realmente actual. Com o glTF, você pode manter a fidelidade visible, mas também tem a opção de comprimir as coisas quando estiver visando a implantação de baixa largura de banda.

VentureBeat: Quanto menor você pode torná-lo sem perder muita fidelidade?

Trevett: É como JPEG, onde você tem um dial para aumentar a compactação com uma perda aceitável de qualidade de imagem, apenas o glTF tem a mesma coisa tanto para geometria quanto para compactação de textura. Se for um modelo CAD com uso intensivo de geometria, a geometria será a maior parte dos dados. Mas se for mais um modelo orientado ao consumidor, os dados de textura podem ser muito maiores que a geometria.

Com o Draco, reduzir os dados de 5 a ten vezes é razoável sem nenhuma queda significativa na qualidade. Há algo semelhante para textura também.

Outro fator é a quantidade de memória necessária, que é um recurso precioso em telefones celulares. Antes de implementarmos a compressão binomial no glTF, as pessoas enviavam JPEGs, o que é ótimo porque são relativamente pequenos. Mas o processo de descompactar isso em uma textura de tamanho commonplace pode levar centenas de megabytes até mesmo para um modelo simples, o que pode prejudicar a potência e o desempenho de um telefone celular. As texturas glTF permitem que você pegue uma textura tremendous compactada de tamanho JPEG e descompacte-a imediatamente em uma textura nativa de GPU, para que ela nunca cresça até o tamanho general. Como resultado, você reduz a transmissão de dados e a memória necessária em 5 a ten vezes. Isso pode ajudar se você estiver baixando ativos em um navegador em um telefone celular.

VentureBeat: Como as pessoas representam eficientemente as texturas de objetos three-D?

Trevett: Bem, existem duas categories básicas de textura. Um dos mais comuns são apenas texturas baseadas em imagem, como mapear uma imagem de logotipo em uma camiseta. A outra é a textura procedural, na qual você gera um padrão, como mármore, madeira ou pedra, apenas executando um algoritmo.

Existem vários algoritmos que você pode usar. Por exemplo, Allegorithmic, que a Adobe adquiriu recentemente, foi pioneira em uma técnica interessante para gerar texturas agora usadas em Fashion designer de substância da Adobe. Você costuma transformar essa textura em uma imagem porque é mais fácil de processar em dispositivos clientes.

Depois de ter uma textura, você pode fazer mais do que apenas colocá-la no modelo como um pedaço de papel de embrulho. Você pode usar essas imagens de textura para obter uma aparência de subject matter mais sofisticada. Por exemplo, materiais renderizados com base física (PBR) são onde você tenta levá-lo até onde pode emular as características dos materiais do mundo actual. É metálico, o que faz com que pareça brilhante? É translúcido? Ele refrata a luz? Alguns dos algoritmos PBR mais sofisticados podem usar até 5 ou 6 mapas de textura diferentes alimentando parâmetros que caracterizam o quão brilhante ou translúcido é.

VentureBeat: Como o glTF progrediu no lado do gráfico de cena para representar os relacionamentos dentro dos objetos, como como as rodas do carro podem girar ou conectar várias coisas?

Trevett: Esta é uma área onde o USD está muito à frente do glTF. A maioria dos casos de uso de glTF foi satisfeita por um único ativo em um único arquivo de ativo até agora. O comércio three-D é um caso de uso líder em que você deseja trazer uma cadeira e soltá-la em sua sala de estar como a Ikea. Esse é um único ativo glTF, e muitos dos casos de uso ficaram satisfeitos com isso. À medida que avançamos para o metaverso e VR e AR, as pessoas querem criar cenas com vários ativos para implantação. Uma área ativa que está sendo discutida no grupo de trabalho é a melhor forma de implementar cenas e ativos multi glTF e como vinculá-los. Não será tão sofisticado quanto o USD, pois o foco está na transmissão e entrega em vez de autoria. Mas a glTF terá algo para permitir a composição e vinculação de vários ativos nos próximos 12 a 18 meses.

VentureBeat: Como o glTF evoluirá para oferecer suporte a mais casos de uso de metaversos e gêmeos digitais?

Trevett: Precisamos começar a trazer coisas além da aparência física. Temos geometria, texturas e animações hoje em glTF 2.0. O glTF atual não diz nada sobre propriedades físicas, sons ou interações. Acho que muito da próxima geração de extensões para glTF colocará esses tipos de comportamento e propriedades.

A indústria está meio que decidindo agora que vai ser USD e glTF daqui para frente. Embora existam formatos mais antigos como OBJ, eles estão começando a mostrar sua idade. Existem formatos populares como o FBX que são proprietários. USD é um projeto de código aberto e glTF é um padrão aberto. As pessoas podem participar de ambos os ecossistemas e ajudar a evoluí-los para atender às necessidades de seus clientes e do mercado. Acho que os dois formatos vão evoluir lado a lado. Agora o objetivo é mantê-los alinhados e manter esse processo de destilação eficiente entre os dois.