Um modelo de código aberto que supera o GPT-3 visa libertar a IA da Giant Tech

[ad_1]
Um modelo de linguagem maior que o GPT-3 chegou com uma ambição ousada: libertar a IA das garras da Giant Tech.
Chamado de BLOOM, o modelo de linguagem grande (LLM) promete um desempenho semelhante aos principais sistemas do Vale do Silício – mas com uma abordagem de acesso radicalmente diferente.
Enquanto os gigantes da tecnologia tendem a manter seus LLMs alardeados escondidos do público, o BLOOM está disponível para qualquer pessoa e de graça.
Também é multilíngue – ao contrário do LaMDA do Google e do GPT-3 do OpenAI – um recurso incomum em um campo dominado pelo inglês.
Esses recursos podem democratizar o acesso à tecnologia que deve causar um impacto profundo na sociedade.
Modelos poderosos de IA podem ser treinados e lançados de forma aberta.
Os LLMs estão se mostrando proficientes em uma gama crescente de tarefas, incluindo redação de ensaios, geração de código e tradução de idiomas.
No entanto, eles também são adeptos da produção de conteúdo nocivo – e suas capacidades futuras são difícil de prever.
O BLOOM oferece aos pesquisadores uma likelihood única de explorar seus riscos e benefícios.
“BLOOM é uma demonstração de que os modelos de IA mais poderosos podem ser treinados e lançados pela comunidade de pesquisa mais ampla com responsabilidade e de maneira realmente aberta, em contraste com o sigilo típico dos laboratórios de pesquisa de IA commercial.” disse Teven Le Scao, co-líder do treinamento da BLOOM, em um comunicado.
Abrindo IA
Os LLMs são proibitivamente caros para criar e executar. O treinamento GPT-3, por exemplo, foi estimado em até US$ 27,6 milhões.
Inevitavelmente, as empresas de tecnologia querem proteger esses grandes investimentos – principalmente quando oferecem vantagens competitivas.
Portanto, não surpreende que os LLMs raramente sejam de código aberto – com algumas exceções notáveis.
Meta produziu a anomalia mais proeminente. Em maio, a empresa ofereceu acesso ao parâmetro OPT de 175 bilhões sistema.
O modelo completo, no entanto, só está disponível mediante solicitação e para uso não comercial.
O BLOOM aumenta a acessibilidade.
O modelo de 176 bilhões de parâmetros está disponível gratuitamente para qualquer indivíduo ou instituição que concorde em o do sistema Licença de IA responsável.
Qualquer um também pode ver publicamente as notas da reunião, discussões e código por trás do modelo.
As sementes de BLOOM
O BLOOM foi criado pela BigScience, um projeto de pesquisa lançado no início de 2021. A iniciativa é inicializada e liderada pela startup de IA Abraçando o Rosto.
“Os grandes modelos de ML mudaram o mundo da pesquisa de IA nos últimos anos, mas o enorme custo computacional necessário para treiná-los resultou em muito poucas equipes realmente tendo a capacidade de treiná-los e pesquisá-los”, disse Thomas Wolf, co-líder da BigScience e cofundador da Hugging Face
O corpus de formação alinhado com os nossos valores.
A equipe de Wolf de 100.000 pesquisadores de mais de 60 países e 250 instituições desenvolveu o BLOOM para promover inclusão e responsabilidade em LLMs.
Eles treinaram o modelo no supercomputador Jean Zay em Paris, França.
“Adotamos uma abordagem de dados em primeiro lugar para garantir que o corpus de treinamento estivesse alinhado com nossos valores”, disse Christopher Akiki, pesquisador da Universidade de Leipzig e pesquisador da BigScience.
“A composição multidisciplinar e internacional da BigScience nos permitiu refletir criticamente sobre cada etapa do processo de vários pontos de vista: ético, criminal, ambiental, linguístico e técnico.
“Isso significa que fomos capazes de mitigar as preocupações éticas sem comprometer o desempenho ou a escala.”
O tamanho é certamente imponente. Com 176 bilhões de parâmetros, o BLOOM é maior que o GPT-3 do OpenAI e o OPT do MetaAI.
O modelo pode gerar texto em 46 linguagens naturais e dialetos e 13 linguagens de programação. Para muitos deles, é o primeiro modelo de linguagem com mais de 100B de parâmetros.
Também é excepcionalmente acessível. BigScience diz os pesquisadores podem usar o BLOOM por menos de US$ 40/h em um provedor de nuvem.
O modelo provavelmente não competirá com os construídos pela Giant Tech – mas pelo menos fornece uma maneira de examiná-los.
[ad_2]
Fonte da Notícia: thenextweb.com