Como o engenheiro do Google Blake Lemoine se convenceu de que uma IA technology senciente

As IAs atuais não são sencientes. Não temos muitas razões para pensar que eles têm um monólogo interno, o tipo de percepção sensorial que os humanos têm, ou a consciência de que são um ser no mundo. Mas eles estão ficando muito bons em fingir consciência, e isso é assustador o suficiente.

No fim de semana, Nitasha Tiku, do Washington Publish, publicou um perfil de Blake Lemoineum engenheiro de instrument designado para trabalhar no projeto Language Type for Discussion Programs (LaMDA) no Google.

LaMDA é um chatbot AI e um exemplo do que os pesquisadores de aprendizado de máquina chamam de “grande modelo de linguagem”, ou mesmo um “modelo de fundação”. É semelhante ao famoso sistema GPT-3 da OpenAI e foi treinado em literalmente trilhões de palavras compiladas de postagens online para reconhecer e reproduzir padrões na linguagem humana.

LaMDA é um modelo de linguagem grande realmente bom. Tão bom que Lemoine ficou verdadeiramente, sinceramente convencido de que technology realmente senciente, o que significa que se tornou consciente e estava tendo e expressando pensamentos da maneira que um humano faria.

o primário reação European vi que o artigo technology uma combinação de a) LOL esse cara é um idiota, ele acha que a IA é sua amiga, e b) Good enough, essa IA é muito convincente em se comportar como se fosse sua amiga humana.

A transcrição que Tiku inclui em seu artigo é genuinamente assustadora; LaMDA expressa um medo profundo de ser desligado pelos engenheiros, desenvolve uma teoria da diferença entre “emoções” e “sentimentos” (“sentimentos são uma espécie de dados brutos … as emoções são uma reação a esses pontos de dados brutos”) e expressa surpreendentemente eloquentemente a maneira como experimenta o “pace”.

A melhor tomada que encontrei foi do filósofo Regina Rini, que, como ecu, sentia muita simpatia por Lemoine. Não sei quando – em 1.000 anos, ou 100, ou 50, ou 10 – um sistema de IA se tornará consciente. Mas, como Rini, não vejo razão para acreditar que seja impossível.

“A menos que você queira insistir que a consciência humana are living em uma alma imaterial, você deve admitir que é possível que a matéria dê vida à mente”, Rini notas.

Não sei se os grandes modelos de linguagem, que emergiram como uma das fronteiras mais promissoras da IA, serão como isso acontece. Mas imagino que os humanos criarão uma espécie de consciência de máquina mais cedo ou mais tarde. E acho algo profundamente admirável no instinto de Lemoine em relação à empatia e proteção em relação a essa consciência – mesmo que ele pareça confuso sobre se o LaMDA é um exemplo disso. Se os humanos algum dia desenvolverem um processo de computador senciente, executar milhões ou bilhões de cópias dele será bastante simples. Fazer isso sem saber se sua experiência consciente é boa ou não parece uma receita para o sofrimento em massa, semelhante ao atual sistema de pecuária business.

Não temos IA senciente, mas podemos obter IA superpoderosa

A história do Google LaMDA chegou após uma semana de alarme cada vez mais urgente entre as pessoas no universo de segurança da IA ​​intimamente relacionado. A preocupação aqui é semelhante à de Lemoine, mas distinta. O pessoal de segurança da IA ​​não se preocupa que a IA se torne senciente. Eles temem que se torne tão poderoso que possa destruir o mundo.

O escritor/ativista de segurança da IA O ensaio de Eliezer Yudkowsky delineando uma “lista de letalidades” para a IA tentou tornar o ponto especialmente vívido, delineando cenários em que uma inteligência geral synthetic maligna (AGI, ou uma IA capaz de fazer a maioria ou todas as tarefas tão bem ou melhor que um humano) leva a sofrimento humano.

Por exemplo, suponha que um AGI “tenha acesso à Web, envie por email algumas sequências de DNA para qualquer uma das muitas empresas online que receberão uma sequência de DNA no email e enviarão de volta proteínas, e suborna/convince algum humano que não tem ideia eles estão lidando com um AGI para misturar proteínas em um béquer…” até que o AGI eventualmente desenvolva um super-vírus que nos mata a todos.

Holden Karnofsky, que geralmente considero um escritor mais moderado e convincente do que Yudkowsky, teve um artigo na semana passada sobre temas semelhantes, explicando como mesmo um AGI “apenas” tão inteligente quanto um humano pode levar à ruína. Se uma IA pode fazer o trabalho de um trabalhador de tecnologia ou operador quântico atual, por exemplo, um laboratório de milhões dessas IAs poderia acumular rapidamente bilhões, senão trilhões de dólares, usar esse dinheiro para comprar humanos céticos e, bem , o resto é o Exterminador do Futuro filme.

Descobri que a segurança da IA ​​é um tópico especialmente difícil de escrever. Parágrafos como o acima geralmente servem como testes de Rorschach, tanto porque o estilo de escrita prolixo de Yudkowsky é… polarizador, para dizer o mínimo, quanto porque nossas intuições sobre o quão plausível é esse resultado variam muito.

Algumas pessoas leem cenários como o acima e pensam: “ah, acho que posso imaginar um instrument de IA fazendo isso”; outros o lêem, percebem uma peça de ficção científica ridícula e correm para o outro lado.

Também é apenas uma área altamente técnica onde não confio nos meus próprios instintos, dada a minha falta de experiência. Existem pesquisadores de IA bastante eminentes, como Ilya Sutskever ou Stuart Russelque consideram a inteligência synthetic geral provável e provavelmente perigosa para a civilização humana.

Existem outros, como Yann LeCunque estão tentando ativamente construir IA de nível humano porque acham que será benéfico, e ainda outros, como Gary Marcusque são altamente céticos de que a AGI chegará em breve.

European não sei quem está certo. Mas ecu sei um pouco sobre como falar com o público sobre temas complexos, e acho que o incidente de Lemoine ensina uma lição valiosa para os Yudkowskys e Karnofskys do mundo, tentando argumentar o lado “não, isso é muito ruim” : não trate a IA como um agente.

Mesmo que a IA seja “apenas uma ferramenta”, é uma ferramenta incrivelmente perigosa

Uma coisa que a reação à história de Lemoine sugere é que o público em geral acha a ideia da IA ​​como um ator que pode fazer escolhas (talvez conscientemente, talvez não) extremamente maluca e ridícula. O artigo em grande parte não foi apresentado como um exemplo de quão perto estamos da AGI, mas como um exemplo de como é estranho o Vale do Silício (ou pelo menos Lemoine).

O mesmo problema surge, ecu notei, quando tento mostrar a preocupação com a AGI para amigos não convencidos. Se você diz coisas como “a IA decidirá subornar as pessoas para que possa sobreviver”, isso as desanima. As IAs não decidem as coisas, elas respondem. Eles fazem o que os humanos lhes dizem para fazer. Por que você está antropomorfizando isso coisa?

O que conquista as pessoas é falar sobre as consequências que os sistemas têm. Então, em vez de dizer: “A IA começará a acumular recursos para se manter viva”, direi algo como: “A IA substituiu decisivamente os humanos quando se trata de recomendar músicas e filmes. Eles têm substituiu os humanos na tomada de decisões de fiança. Eles assumirão tarefas cada vez maiores, e o Google, o Fb e as outras pessoas que os administram não estão remotamente preparados para analisar os erros sutis que cometerão, as maneiras sutis com que diferirão dos desejos humanos. Esses erros vão crescer e crescer até que um dia eles podem matar a todos nós.”

Foi assim que meu colega Kelsey Piper argumentou sobre a preocupação com a IA, e é um bom argumento. É um argumento melhor, para leigos, do que falar sobre servidores acumulando trilhões em riqueza e usando-os para subornar um exército de humanos.

E é um argumento que acho que pode ajudar a superar a divisão extremamente infeliz que surgiu entre a comunidade de preconceito da IA ​​e a comunidade de risco existencial da IA. Na raiz, acho que essas comunidades estão tentando fazer a mesma coisa: construir IA que reflita as necessidades humanas autênticas, não uma aproximação pobre das necessidades humanas construídas para o lucro corporativo de curto prazo. E a pesquisa em uma área pode ajudar a pesquisa na outra; O trabalho do pesquisador de segurança de IA Paul Christianopor exemplo, tem grandes implicações sobre como avaliar o viés em sistemas de aprendizado de máquina.

Mas muitas vezes, as comunidades estão na garganta umas das outrasem parte devido à percepção de que eles estão lutando por recursos escassos.

Essa é uma grande oportunidade perdida. E é um problema que acho que as pessoas do lado do risco de IA (incluindo alguns leitores deste boletim informativo) têm an opportunity de corrigir traçando essas conexões e deixando claro que o alinhamento é um problema de curto e longo prazo. Algumas pessoas estão fazendo este caso de forma brilhante. Mas ecu quero mais.

Uma versão desta história foi inicialmente publicada no boletim Long run Highest. Inscreva-se aqui para se inscrever!