O modelo de IA de código aberto da Meta não deixa nenhuma linguagem para trás

A cada inovação, empresa do metaverso social, Meta, está cada vez mais perto de cumprir sua missão de “dar às pessoas o poder de construir uma comunidade e unir o mundo”. Hoje, a empresa anunciou um avanço de pesquisa em seu projeto No Language Left At the back of (NLLB), projetado para desenvolver recursos de tradução automática de alta qualidade para a maioria dos idiomas do mundo.

Nas palavras do fundador e CEO da Meta, Mark Zuckerburg, “Acabamos de abrir o código-fonte de um modelo de IA que construímos que pode traduzir em 200 idiomas diferentes – muitos dos quais não são suportados pelos sistemas de tradução atuais. Chamamos esse projeto de No Language Left At the back of, e as técnicas de modelagem de IA que usamos estão ajudando a fazer traduções de alta qualidade para idiomas falados por bilhões de pessoas em todo o mundo.”

Mais idiomas, menos comunicação

Com um população virtual mundial de mais de cinco bilhões de pessoas falando 7.151 idiomas, não é de admirar que os sistemas de tradução modernos estejam em alta demanda. No entanto, a escassez de dados linguísticos limita o alcance das tecnologias de tradução que tentam superar as barreiras linguísticas no consumo de conteúdo virtual. Apesar da sofisticação da oferta de tradução automática neural multilíngue do Google, Google Tradutorseus recursos de tradução estão limitados a 133 idiomas.

Tradutor Microsoft Bing, outra ferramenta de tradução de uma das maiores empresas de tecnologia do mundo, atende pouco mais de 100 idiomas. Considerando que mais da metade da população mundial fala apenas 23 dos 7.151 línguas do mundo que são muito comum na web, muitos idiomas de poucos recursos (especialmente na África e na Ásia) não são suportados nesses sistemas. Isso indica um fluxo interativo atrofiado entre os falantes dessas línguas e o conteúdo que desejam consumir.

IA e tradução na empresa

Das muitas maneiras pelas quais a inteligência synthetic (IA) está redefinindo a interação e a eficiência humana, a tradução é uma das mais empolgantes. A tradução automática, a manifestação da IA ​​na tradução, é um mercado valorizado em US$ 800 milhões em 2021com um valor projetado de US$ 7,5 bilhões até 2030.

Informações do mercado international revelou que a crescente necessidade das empresas de melhorar a experiência do cliente é um dos principais impulsionadores do crescimento da indústria de tradução automática. Isso é comprovado por Gartner pesquisa, que revela que a tradução é uma preocupação empresarial ampla, especialmente porque se torna cada vez mais relevante em quatro grandes casos de uso síncrono e assíncrono: multimídia (por exemplo, treinamento e seminários), vendas e suporte online ao cliente (por exemplo, consultas e chatbots), - pace multimídia (reuniões, and so on.) e documentos, textos e segmentos (por exemplo, blogs e informações de produtos).

Portanto, as empresas que esperam alcançar um alcance mais international exigem soluções de tradução inclusivas que atendam às demandas cada vez mais complexas de uma base international de consumidores. É aí que entra o projeto da Meta.

Um avanço na tradução automática de alta qualidade

O projeto NLLB, lançado há mais de seis meses, é a tentativa ambiciosa da Meta de construir um tradutor de idioma common que possa processar todos os idiomas, independentemente dos dados linguísticos disponíveis para a IA. Hoje, Meta anunciou um avanço neste projeto chamado de NLLB-200 — um único modelo de IA que traduz mais de 200 idiomas diferentes com resultados de última geração.

Este modelo suporta a tradução de alta qualidade de idiomas menos utilizados, especialmente da Ásia e da África. Por exemplo, o modelo suporta a tradução de 55 línguas africanas de poucos recursos, um aumento de 46% em relação ao que é obtido com as ferramentas de tradução existentes.

Meta afirma que, para algumas línguas africanas e indianas, este modelo melhora os sistemas de tradução existentes em mais de 70% e também atinge um aumento médio de 44% nas pontuações gerais de avaliação bilíngue (BLEU) nas 10.000 direções do benchmark FLORES-101 .

Fonte: Meta

Para dar uma noção da escala, Zuckerburg revela que “o modelo de 200 idiomas tem mais de 50 bilhões de parâmetros, [trained] usando [Meta’s] novo Analysis SuperCluster (RSC), que é um dos supercomputadores de IA mais rápidos do mundo. Os avanços aqui permitirão mais de 25 bilhões de traduções todos os dias em nossos aplicativos.”

Apesar desse avanço, a Meta percebe que alcançar os objetivos do projeto do NLLB será impossível sem uma colaboração inovadora. Para permitir que outros pesquisadores expandissem o alcance da linguagem e construíssem tecnologias mais inclusivas, tornou o modelo NLLB-200 de código aberto e também forneceu subsídios de até US$ 200.000 para organizações sem fins lucrativos aplicarem o NLLB-200 em suas operações.

As amplas implicações deste modelo para as mais de 25 bilhões de traduções nas plataformas da Meta irão agilizar melhores colaborações e construção de comunidades que desafiam as barreiras linguísticas e geográficas. De acordo com Zuckerburg, “a comunicação entre idiomas é um superpoder que a IA oferece, mas à medida que continuamos avançando nosso trabalho de IA, está melhorando tudo o que fazemos – desde mostrar o conteúdo mais interessante no Fb e Instagram, recomendar anúncios mais relevantes, manter nosso serviços seguros para todos.”

A Wikipedia também aproveitará essa tecnologia para traduzir suas peças de mídia em mais de 20 idiomas de poucos recursos.

Para explorar como esse modelo funciona, inicie o demonstração.