O Gato da DeepMind é o primeiro AGI do mundo?

Inteligência geral synthetic (AGI) está de volta ao noticiário graças à recente introdução de Gato da Deep Thoughts. Tanto quanto qualquer coisa, AGI invoca imagens da Skynet (da tradição do Exterminador do Futuro) que foi originalmente projetada como device de análise de ameaças para os militares, mas rapidamente passou a ver a humanidade como o inimigo. Embora fictício, isso deve nos dar uma pausa, especialmente porque os militares ao redor do mundo estão perseguindo armas baseadas em IA.

No entanto, Gato não parece levantar nenhuma dessas preocupações. o aprendizado profundo O modelo do transformador é descrito como um “agente generalista” e pretende realizar 604 tarefas distintas e principalmente mundanas com modalidades, observações e especificações de ação variadas. Tem sido referido como o canivete suíço de modelos de IA. É claramente muito mais geral do que outros sistemas de IA desenvolvidos até agora e, nesse sentido, parece ser um passo em direção à AGI.

Redes neurais multimodais

Multimodal sistemas não são novos — como evidenciado pelo GPT-3 e outros. O que é indiscutivelmente novo é a intenção. Por design, o GPT-3 pretendia ser um grande modelo de linguagem para geração de texto. Que ele também pudesse produzir imagens a partir de legendas, gerar código de programação e outras funções foram benefícios adicionais que surgiram após o fato e muitas vezes para o surpresa de especialistas em IA.

Em comparação, o Gato foi projetado intencionalmente para atender a muitas funções discretas. A DeepMind explica que “a mesma rede com os mesmos pesos pode reproduzir Atari, legendar imagens, bate-papo, empilhar blocos com um braço de robô actual e muito mais, decidindo com base em seu contexto se deve produzir texto, torques de juntas, pressionamentos de botões ou outros tokens .”

Embora a DeepMind afirme que o Gato supera os humanos em muitas dessas tarefas, a primeira iteração produz resultados menos impressionantes em várias atividades. Observadores notaram que ele não executa muitas das 604 tarefas particularmente bem, com um observador que resumido como: “Um programa de IA que faz um trabalho mais ou menos em muitas coisas”.

Mas esta demissão perde o ponto. Até agora, havia apenas “IA estreita” ou “IA fraca”. definiram como sendo adepto de apenas um único propósito dedicado, com ‘único propósito’ significando algumas coisas:

1. Um algoritmo projetado para fazer uma coisa (digamos, desenvolver receitas de cerveja) não pode ser usado para mais nada (jogar um videogame, por exemplo).
2. Qualquer coisa que um algoritmo “aprende” não pode ser efetivamente transferido para outro algoritmo projetado para cumprir um propósito específico diferente.

Por exemplo, AlphaGoa rede neural também da DeepMind que superou o campeão mundial humano no jogo de Pass, não pode jogar outros jogos, apesar de esses jogos serem muito mais simples e não atenderem a nenhuma outra necessidade.

IA strong point

A outra extremidade do espectro de IA é considerada “IA strong point” ou, alternativamente, AGI. Este seria um único sistema de IA – ou possivelmente um grupo de sistemas vinculados – que poderia ser aplicado a qualquer tarefa ou problema. Ao contrário dos algoritmos estreitos de IA, o conhecimento adquirido pela IA geral pode ser compartilhado e retido entre os componentes do sistema.

Em um modelo geral de IA, o algoritmo que pode vencer os melhores do mundo em Pass seria capaz de aprender xadrez ou qualquer outro jogo, além de assumir tarefas adicionais. AGI é concebido como um sistema geralmente inteligente que pode agir e pensar como humanos. Murray Shanahan, professor de robótica cognitiva do Imperial Faculty em Londres, disse no Exponential View podcast que a AGI é “em certo sentido tão inteligente quanto os humanos e capaz do mesmo nível de generalização que os seres humanos são capazes e possui o senso comum que os humanos têm”.

Embora, ao contrário dos humanos, ele funcione na velocidade dos sistemas de computador mais rápidos.

Uma questão de escala

Nando de Freitas, pesquisador da DeepMind, acredita que Gato é efetivamente um Demonstração de AGI, faltando apenas a sofisticação e a escala que podem ser alcançadas por meio de mais refinamento do modelo e poder computacional adicional. O tamanho do modelo Gato é relativamente pequeno em 1,18 bilhão de parâmetros, essencialmente uma prova de conceito, deixando muito desempenho positivo com escala adicional.

Dimensionar os modelos de IA requer mais dados e mais poder de computação para treinamento de algoritmos. Estamos inundados de dados. No ano passado, a empresa de análise do setor IDC disse, “A quantidade de dados digitais criados nos próximos cinco anos será maior que o dobro da quantidade de dados criados desde o advento do armazenamento virtual.” Além disso, o poder de computação aumentou exponencialmente por décadas. Embora haja evidências, esse ritmo está diminuindo devido a restrições no tamanho físico dos semicondutores.

Mesmo assim, o Jornal de Wall Boulevard notas que os fabricantes de chips expandiram o envelope tecnológico, encontrando novas maneiras de aumentar o poder de computação. Principalmente isso é feito através design heterogêneo, construindo chips a partir de uma ampla variedade de módulos especializados. Essa abordagem está se mostrando eficaz, pelo menos no curto prazo, e continuará a impulsionar a escala do modelo.

Geoffrey Hinton, professor da Universidade de Toronto que é pioneiro em aprendizado profundo, falou sobre a escala declarando isso: “Há um trilhão de sinapses em um centímetro cúbico do cérebro. Se existe algo como IA geral, [the system] provavelmente exigiria um trilhão de sinapses.”

Modelos de IA com mais de um trilhão de parâmetros – a rede neural equivalente às sinapses – estão surgindo, com o Google tendo desenvolvido um modelo de 1,6 trilhão de parâmetros. No entanto, este não é um exemplo de AGI. O consenso de vários pesquisas de especialistas em IA sugere que a AGI ainda está décadas no futuro. Ou a avaliação de Hinton é apenas parte do problema para a AGI ou as opiniões dos especialistas são conservadoras.

Talvez os méritos da escala sejam melhor exibidos com o avanço do GPT-2 para o GPT-3, onde a diferença technology principalmente mais dados, mais parâmetros – 1,5 bilhão com GPT-2 a 175 bilhões com GPT-3 – e mais poder de computação – por exemplo , mais processadores e mais rápidos, com alguns projetados especificamente para a funcionalidade de IA. Quando o GPT-3 apareceu, Arram Sabeti, um desenvolvedor e artista de San Francisco, tuitou “Jogar com GPT-3 é como ver o futuro. Consegui escrever músicas, histórias, press releases, tablaturas de guitarra, entrevistas, ensaios, manuais técnicos. É chocantemente bom.”

No entanto, o cético em aprendizado profundo da IA ​​Gary Marcus acredita que “Há sérios buracos no argumento de escala”. Ele afirma que as medidas de escala que outros analisaram, como prever a próxima palavra em uma frase, “não é equivalente ao tipo de compreensão profunda que a verdadeira IA [AGI] exigiria.”

Yann LeCuncientista-chefe de IA da Meta, proprietária do Fb, e ex-vencedora do prêmio Prêmio Turing para IA, disse em recente postagem do weblog após a publicação de Gato que a partir de agora não existe AGI. Além disso, ele não acredita que os modelos de ampliação chegarão a esse nível, que exigirá novos conceitos adicionais. Embora ele conceda que alguns desses conceitos, como o aprendizado autossupervisionado generalizado, “possivelmente estão chegando”.

Professor Assistente do MIT Jacob Andreas argumenta que Gato pode fazer muitas coisas ao mesmo pace, mas isso não é o mesmo que ser capaz de se adaptar significativamente a novas tarefas que são diferentes daquelas que ele foi treinado para fazer.

Embora o Gato possa não ser um exemplo de AGI, não há como negar que ele fornece um passo significativo além da IA ​​estreita. Ele fornece mais uma prova de que estamos entrando em uma zona de penumbra, uma área mal definida entre IA estreita e geral. AGI, conforme discutido por Shanahan e outros, ainda pode demorar décadas, embora Gato possa ter acelerado a linha do pace.

Gary Grossman é o vice-presidente sênior de prática de tecnologia da Edelman e líder world do Edelman AI Middle of Excellence.