TECNOLOGIA

Um modelo de código aberto que supera o GPT-3 visa libertar a IA da Giant Tech

Um modelo de código aberto que supera o GPT-3 visa libertar a IA da Giant Tech

[ad_1]

Um modelo de linguagem maior que o GPT-3 chegou com uma ambição ousada: libertar a IA das garras da Giant Tech.



Chamado de BLOOM, o modelo de linguagem grande (LLM) promete um desempenho semelhante aos principais sistemas do Vale do Silício – mas com uma abordagem de acesso radicalmente diferente.

Enquanto os gigantes da tecnologia tendem a manter seus LLMs alardeados escondidos do público, o BLOOM está disponível para qualquer pessoa e de graça.

Saudações, humanóides

Assine nossa publication agora para uma recapitulação semanal de nossas histórias de IA favoritas em sua caixa de entrada.

Também é multilíngue – ao contrário do LaMDA do Google e do GPT-3 do OpenAI – um recurso incomum em um campo dominado pelo inglês.

Esses recursos podem democratizar o acesso à tecnologia que deve causar um impacto profundo na sociedade.

Modelos poderosos de IA podem ser treinados e lançados de forma aberta.

Os LLMs estão se mostrando proficientes em uma gama crescente de tarefas, incluindo redação de ensaios, geração de código e tradução de idiomas.

No entanto, eles também são adeptos da produção de conteúdo nocivo – e suas capacidades futuras são difícil de prever.

O BLOOM oferece aos pesquisadores uma likelihood única de explorar seus riscos e benefícios.

“BLOOM é uma demonstração de que os modelos de IA mais poderosos podem ser treinados e lançados pela comunidade de pesquisa mais ampla com responsabilidade e de maneira realmente aberta, em contraste com o sigilo típico dos laboratórios de pesquisa de IA commercial.” disse Teven Le Scao, co-líder do treinamento da BLOOM, em um comunicado.

Abrindo IA

Os LLMs são proibitivamente caros para criar e executar. O treinamento GPT-3, por exemplo, foi estimado em até US$ 27,6 milhões.

Inevitavelmente, as empresas de tecnologia querem proteger esses grandes investimentos – principalmente quando oferecem vantagens competitivas.

Portanto, não surpreende que os LLMs raramente sejam de código aberto – com algumas exceções notáveis.

Meta produziu a anomalia mais proeminente. Em maio, a empresa ofereceu acesso ao parâmetro OPT de 175 bilhões sistema.

O modelo completo, no entanto, só está disponível mediante solicitação e para uso não comercial.

O BLOOM aumenta a acessibilidade.

O modelo de 176 bilhões de parâmetros está disponível gratuitamente para qualquer indivíduo ou instituição que concorde em o do sistema Licença de IA responsável.

Qualquer um também pode ver publicamente as notas da reunião, discussões e código por trás do modelo.

As sementes de BLOOM

O BLOOM foi criado pela BigScience, um projeto de pesquisa lançado no início de 2021. A iniciativa é inicializada e liderada pela startup de IA Abraçando o Rosto.

“Os grandes modelos de ML mudaram o mundo da pesquisa de IA nos últimos anos, mas o enorme custo computacional necessário para treiná-los resultou em muito poucas equipes realmente tendo a capacidade de treiná-los e pesquisá-los”, disse Thomas Wolf, co-líder da BigScience e cofundador da Hugging Face

O corpus de formação alinhado com os nossos valores.

A equipe de Wolf de 100.000 pesquisadores de mais de 60 países e 250 instituições desenvolveu o BLOOM para promover inclusão e responsabilidade em LLMs.

Eles treinaram o modelo no supercomputador Jean Zay em Paris, França.

“Adotamos uma abordagem de dados em primeiro lugar para garantir que o corpus de treinamento estivesse alinhado com nossos valores”, disse Christopher Akiki, pesquisador da Universidade de Leipzig e pesquisador da BigScience.

“A composição multidisciplinar e internacional da BigScience nos permitiu refletir criticamente sobre cada etapa do processo de vários pontos de vista: ético, criminal, ambiental, linguístico e técnico.

“Isso significa que fomos capazes de mitigar as preocupações éticas sem comprometer o desempenho ou a escala.”

O tamanho é certamente imponente. Com 176 bilhões de parâmetros, o BLOOM é maior que o GPT-3 do OpenAI e o OPT do MetaAI.

O modelo pode gerar texto em 46 linguagens naturais e dialetos e 13 linguagens de programação. Para muitos deles, é o primeiro modelo de linguagem com mais de 100B de parâmetros.

Também é excepcionalmente acessível. BigScience diz os pesquisadores podem usar o BLOOM por menos de US$ 40/h em um provedor de nuvem.

O modelo provavelmente não competirá com os construídos pela Giant Tech – mas pelo menos fornece uma maneira de examiná-los.

[ad_2]

Fonte da Notícia: thenextweb.com

Artigos relacionados

Botão Voltar ao topo