O que IA e usinas de energia têm em comum

A história do desenvolvimento da inteligência synthetic (IA) nos últimos cinco anos foi dominada pela escala. Um grande progresso foi feito no processamento de linguagem herbal (NLP), compreensão de imagem, reconhecimento de voz e muito mais, tomando estratégias que foram desenvolvidas em meados da década de 2010 e colocando mais poder de computação e mais dados por trás delas. Isso trouxe uma dinâmica de poder interessante no uso e distribuição de sistemas de IA; um que faz a IA parecer muito com a rede elétrica.

Para PNL, maior realmente é melhor

O atual estado da arte em PNL está sendo alimentado por redes neurais com bilhões de parâmetros treinados em terabytes de texto. Simplesmente manter essas redes na memória requer várias GPUs de ponta, e treinar essas redes requer clusters de supercomputadores muito além do alcance de todas as organizações, exceto as maiores.

Pode-se, usando as mesmas técnicas, treinar uma rede neural significativamente menor com muito menos texto, mas o desempenho seria significativamente pior. Muito pior, na verdade, que se torna uma diferença de tipo em vez de apenas uma diferença de grau; existem tarefas como classificação de texto, sumarização e extração de entidades nas quais os modelos de linguagem grandes se destacam e os modelos de linguagem pequenos não têm desempenho melhor do que o acaso.

Como alguém que trabalha com redes neurais há cerca de uma década, estou genuinamente surpreso com esse desenvolvimento. Não é óbvio do ponto de vista técnico que aumentar o número de parâmetros em uma rede neural levaria a uma melhoria tão drástica na capacidade. No entanto, aqui estamos em 2022, treinando redes neurais quase idênticas às arquiteturas publicadas pela primeira vez em 2017, mas com ordens de magnitude mais computadas e obtendo melhores resultados.

Isso aponta para uma nova e interessante dinâmica no campo. Modelos de última geração são computacionalmente caros demais para praticamente qualquer empresa – muito menos um indivíduo – para criar ou até mesmo implantar. Para que uma empresa faça uso desses modelos, ela precisa usar um criado e hospedado por outra pessoa – semelhante à maneira como a eletricidade é criada e distribuída hoje.

Compartilhando IA como se fosse um utilitário medido

Todo prédio de escritórios precisa de eletricidade, mas nenhum prédio de escritórios pode abrigar a infraestrutura necessária para gerar sua própria energia. Em vez disso, eles se conectam a uma rede elétrica centralizada e pagam pela energia que usam.

Da mesma forma, muitas empresas podem se beneficiar da integração da PNL em suas operações, embora poucas tenham recursos para construir seus próprios modelos de IA. É exatamente por isso que as empresas criaram grandes modelos de IA e os disponibilizaram por meio de uma API fácil de usar. Ao oferecer uma maneira de as empresas “ligarem” à proverbial rede elétrica de PNL, o custo de treinamento desses modelos de última geração em larga escala é amortizado por vários clientes, permitindo que eles acessem essa tecnologia de ponta , sem a infraestrutura de ponta.

Para dar um exemplo concreto, digamos que uma empresa que armazena documentos legais deseja exibir um resumo de cada documento em sua posse. Eles poderiam contratar alguns estudantes de direito para ler e resumir cada documento sozinhos, ou poderiam alavancar uma rede neural. Redes neurais de grande escala trabalhando em conjunto com o fluxo de trabalho de um estudante de direito aumentariam drasticamente a eficiência na sumarização. Treinar um do 0, no entanto, custaria ordens de magnitude mais do que apenas contratar mais estudantes de direito, mas se essa empresa tivesse acesso a uma rede neural de última geração por meio de uma API baseada em rede, eles poderiam simplesmente conecte-se à “rede de energia” da IA ​​e pague pelo uso do resumo.

Essa analogia tem algumas implicações interessantes se a seguirmos até seu extremo lógico. A eletricidade é uma utilidade, como a infraestrutura de água e transporte. Esses serviços são tão cruciais para o funcionamento de nossa sociedade que em Ontário (de onde estou escrevendo) eles são mantidos com sucesso por corporações da coroa (de propriedade e reguladas pelos governos federal ou provincial). Essas corporações da coroa são responsáveis ​​não apenas pela infraestrutura e distribuição, mas também pela avaliação e garantia de qualidade, como testes de qualidade da água.

Regulamentar o uso da IA ​​também é basic

Além disso, assim como a eletricidade, essa tecnologia pode ser mal utilizada. Também foi demonstrado que tem várias limitações e potenciais usos indevidos. Tem havido muitos estudos sobre como esses modelos podem potencialmente causar danos by means of astroturfing e a propagação de vieses. Dada a forma como esta tecnologia está preparada para transformar fundamentalmente a forma como operamos, é importante considerar o seu corpo diretivo e regulamentação. Vários provedores dessas APIs de NLP lançaram recentemente um conjunto de práticas recomendadas para implantar esses modelos, mas isso obviamente é apenas um primeiro passo, com base neste trabalho anterior.

André Ng famosamente disse que “IA é a nova eletricidade”. Acredito que ele quis dizer que vai alimentar uma onda de progresso e inovação, tornando-se an important para o funcionamento da nossa economia com o mesmo impacto de escala que a introdução da eletricidade. A afirmação é talvez um pouco hiperbólica, mas pode ser mais adequada do que ecu pensava inicialmente. Se a IA for a nova eletricidade, ela precisará ser habilitada por um novo conjunto de usinas de energia.

Nick Frost é cofundador da Coerente.