Pare de debater se a IA é ‘senciente’ – a questão é se podemos confiar nela

No mês passado, houve um frenesi de artigos, entrevistas e outros tipos de cobertura da mídia sobre Blake Lemoine, um engenheiro do Google que disse O Washington Publish que o LaMDA, um grande modelo de linguagem criado para conversas com usuários, é “senciente”.

Depois de ler uma dúzia de opiniões diferentes sobre o assunto, devo dizer que a mídia ficou (um pouco) desiludida com o hype em torno da tecnologia de IA atual. Muitos dos artigos discutiram por que as redes neurais profundas não são “conscientes” ou “conscientes”. Esta é uma melhoria em comparação com alguns anos atrás, quando os meios de comunicação estavam criando histórias sensacionais sobre sistemas de IA inventando sua própria linguagemassumindo todos os trabalhos e acelerando para inteligência geral synthetic.

Mas o fato de estarmos discutindo senciência e consciência novamente sublinha um ponto importante: estamos em um ponto em que nossos sistemas de IA – ou seja, grandes modelos de linguagem – estão se tornando cada vez mais convincentes, enquanto ainda sofrem de falhas fundamentais apontadas por cientistas em diferentes ocasiões. E ecu sei que “IA enganando humanos” tem sido discutido desde o chatbot ELIZA na década de 1960, mas os LLMs de hoje estão realmente em outro nível. Se você não sabe como os modelos de linguagem funcionam, Conversas de Blake Lemoine com LaMDA parecem quase surreais – mesmo que tenham sido escolhidos a dedo e editados.

No entanto, o ponto que quero enfatizar aqui é que “senciência” e “consciência” não são a melhor discussão a se ter sobre LLMs e a tecnologia de IA atual. Uma discussão mais importante seria sobre compatibilidade e confiança humana, especialmente porque essas tecnologias estão sendo preparadas para serem integradas em aplicações cotidianas.

Por que grandes modelos de linguagem não falam nossa língua

O funcionamento de redes neurais e grandes modelos de linguagem foram amplamente discutidos na semana passada (recomendo fortemente a leitura do livro de Melanie Mitchell entrevista com MSNBC para um relato equilibrado de como o LaMDA e outros LLMs funcionam). European gostaria de dar uma visão mais ampliada da situação, começando pela linguagem humana, com a qual os LLMs são comparados.

Para os humanos, a linguagem é um meio de comunicar as ativações complicadas e multidimensionais que acontecem em nossos cérebros. Por exemplo, quando dois irmãos estão conversando e um deles diz “mamãe”, a palavra está associada a muitas ativações em diferentes partes do cérebro, incluindo memórias de sua voz, rosto, sentimentos e experiências diferentes de o passado distante para (possivelmente) dias recentes. De fato, pode haver uma enorme diferença entre o tipo de representação que os irmãos mantêm em seus cérebros, dependendo das experiências que cada um teve. A palavra “mãe”, no entanto, fornece uma aproximação compacta e bem representada que os ajuda a concordar com o mesmo conceito.

Quando você united states a palavra “mãe” em uma conversa com um estranho, a diferença entre as experiências e as lembranças se torna ainda maior. Mas, novamente, você consegue chegar a um acordo com base nos conceitos compartilhados que você tem em mente.

Pense na linguagem como um algoritmo de compressão que ajuda a transferir a enorme informação do cérebro para outra pessoa. A evolução da linguagem está diretamente ligada às experiências que tivemos no mundo, desde interações físicas em nosso ambiente até interações sociais com outros seres humanos.

A linguagem é construída em cima de nossas experiências compartilhadas no mundo. As crianças conhecem gravidade, dimensão, consistência física dos objetos e conceitos humanos e sociais como dor, tristeza, medo, família e amizade antes mesmo de pronunciar sua primeira palavra. Sem essas experiências, a linguagem não tem significado. É por isso que a linguagem geralmente omite o conhecimento do senso comum e as informações que os interlocutores compartilham. Por outro lado, o nível de experiência e memória compartilhada determinará a profundidade da conversa que você pode ter com outra pessoa.

Em contraste, grandes modelos de linguagem não têm experiência física e social. Eles são treinados em bilhões de palavras e aprendem a responder aos activates prevendo a próxima sequência de palavras. Esta é uma abordagem que tem rendido grandes resultados nos últimos anos, especialmente após a introdução do arquitetura do transformador.

Como os transformadores conseguem fazer previsões muito convincentes? Eles transformam o texto em “tokens” e “embeddings”, representações matemáticas de palavras em um espaço multidimensional. Eles então processam a incorporação para adicionar outras dimensões, como as relações entre as palavras em uma sequência de texto e seu papel na frase e no parágrafo. Com exemplos suficientes, essas incorporações podem criar boas aproximações de como as palavras devem aparecer em sequências. Os transformadores tornaram-se especialmente populares porque são escaláveis: sua precisão melhora à medida que se tornam maiores e são alimentados com mais dados, e podem ser treinados principalmente por meio de aprendizado não supervisionado.

Mas a diferença basic permanece. As redes neurais processam a linguagem transformando-a em embeddings. Para os humanos, a linguagem é a incorporação de pensamentos, sentimentos, memória, experiência física e muitas outras coisas que ainda temos que descobrir sobre o cérebro.

É por isso que é justo dizer que, apesar de seus imensos avanços e resultados impressionantes, transformadores, grandes modelos de linguagem, redes neurais profundas and so forth. ainda estão longe de falar nossa língua.

Senciência vs compatibilidade e confiança

Muitas das discussões hoje são sobre se devemos atribuir atributos como senciência, consciência e personalidade à IA. O problema com essas discussões é que elas estão focadas em conceitos que são vagamente definidos e significam coisas diferentes para pessoas diferentes.

Por exemplo, funcionalistas podem argumentar que redes neurais e grandes modelos de linguagem são conscientes porque manifestam (pelo menos em parte) o mesmo tipo de comportamento que você esperaria de um humano, mesmo que sejam construídos em um substrato diferente. Outros podem argumentar que a substância orgânica é um requisito para a consciência e concluir que as redes neurais nunca serão conscientes. Você pode lançar argumentos sobre qualia, o experimento da sala chinesa, o teste de Turing, and so forth., e a discussão pode durar para sempre.

No entanto, uma questão mais prática é: quão “compatíveis” são as redes neurais atuais com a mente humana e até que ponto podemos confiar nelas com aplicativos críticos? E essa é uma discussão importante porque os grandes modelos de linguagem são desenvolvidos principalmente por empresas que buscam transformá-los em aplicações comerciais.

Por exemplo, com treinamento suficiente, você pode treinar um chimpanzé a andar de carro. Mas você o colocaria atrás de um volante em uma estrada que os pedestres vão atravessar? Você não faria isso, porque sabe que, por mais inteligentes que sejam, os chimpanzés não pensam da mesma maneira que os humanos e não podem ser responsabilizados por tarefas relacionadas à segurança humana.

Da mesma forma, um papagaio pode aprender muitas frases. Mas você confiaria nele para ser seu agente de atendimento ao cliente? Provavelmente não.

Mesmo quando se trata de humanos, algumas deficiências cognitivas desqualificam as pessoas para assumir determinados trabalhos e tarefas que exigem interações humanas ou que dizem respeito à segurança humana. Em muitos casos, essas pessoas podem ler, escrever, falar fluentemente e permanecer consistentes e lógicas em longas conversas. Não questionamos sua senciência ou consciência ou personalidade. Mas sabemos que suas decisões podem se tornar inconsistentes e imprevisíveis devido à sua doença (veja o caso de Phineas Gagepor exemplo).

O que importa é se você pode confiar na pessoa para pensar e decidir como um humano comum faria. Em muitos casos, confiamos tarefas às pessoas porque sabemos que seu sistema sensorial, conhecimento de senso comum, sentimentos, objetivos e recompensas são compatíveis com os nossos, mesmo que não falem nossa língua.

O que sabemos sobre o LaMDA? Bem, por um lado, não sente o mundo como nós. Seu “conhecimento” da linguagem não é construído no mesmo tipo de experiências que as nossas. Seu conhecimento de senso comum é construído sobre uma base instável porque não há garantia de que grandes quantidades de texto cobrirão todas as coisas que omitimos na linguagem.

Dado isso incompatibilidadeaté onde você pode Confiar em LaMDA e outros grandes modelos de linguagem, não importa quão bons eles sejam na produção de texto? Um programa de chatbot amigável e divertido pode não ser uma má ideia, desde que não direcione a conversa para tópicos sensíveis. Os motores de busca também são uma boa área de aplicação para LLMs (o Google tem usando BERT na pesquisa por alguns anos). Mas você pode confiar a eles tarefas mais confidenciais, como um chatbot de atendimento ao cliente aberto ou um consultor bancário (mesmo que eles tenham sido treinados ou ajustados em uma tonelada de transcrições de conversas relevantes)?

Meu pensamento é que precisaremos de benchmarks específicos de aplicativos para testar a consistência dos LLMs e sua compatibilidade com o senso comum humano em diferentes áreas. Quando se trata de aplicativos reais, sempre deve haver limites claramente definidos que determinam onde a conversa fica fora dos limites para o LLM e deve ser entregue a um operador humano.

A perspectiva do solucionador de problemas

Um pace atrás, escrevi um ensaio sobre “encontradores de problemas” e “solucionadores de problemas”. Basicamente, o que ecu disse é que a inteligência humana é encontrar os problemas certos e a inteligência synthetic (ou a IA que temos hoje) é resolver esses problemas da maneira mais eficiente.

Temos visto repetidas vezes que os computadores são capazes de encontrar atalhos para resolver problemas complicados sem adquirir as habilidades cognitivas dos humanos. Já vimos isso com damas, xadrez, Cross, concursos de programaçãodobramento de proteínas e outros problemas bem definidos.

A linguagem herbal é, de certa forma, diferente, mas também semelhante a todos os outros problemas que a IA resolveu. Por um lado, os transformadores e LLMs mostraram que podem produzir resultados impressionantes sem passar pelo processo de aprendizado da linguagem como um ser humano customary, que é primeiro explorar o mundo e entender suas regras básicas e depois adquirir a linguagem para interagir com outros pessoas com base neste conhecimento comum. Por outro lado, eles não têm a experiência humana que vem com o aprendizado da língua. Eles podem ser úteis para resolver problemas relacionados à linguagem bem definidos. Mas não devemos esquecer que sua compatibilidade com o processamento da linguagem humana é limitada e, portanto, devemos ter cuidado com o quanto confiamos neles.

Este artigo foi originalmente publicado por Ben Dickson em TechTalks, uma publicação que examina as tendências em tecnologia, como elas afetam a maneira como vivemos e fazemos negócios e os problemas que elas resolvem. Mas também discutimos o lado maligno da tecnologia, as implicações mais sombrias da nova tecnologia e o que precisamos observar. Você pode ler o artigo unique aqui.