Cientistas dizem que a IA pode dizer sua política a partir de uma varredura do cérebro – dizemos que é BS

Uma equipe de pesquisadores usando o que eles chamam de “estado da arte inteligência synthetic técnicas” teria criado um sistema capaz de identificar a ideologia política de um ser humano visualizando seus exames cerebrais.

Uau! Este é o sistema de IA mais avançado em todo o universo conhecido ou é uma farsa overall.

Sem surpresa, é uma farsa: há poucas razões para entusiasmo. Você nem precisa ler o artigo do pesquisador para desmascarar seu trabalho. Tudo o que você precisa é a frase “mudança política”, e terminamos aqui.

Mas, apenas por diversão, vamos entrar o papel e explicar como funcionam os modelos de previsão.

O experimento

Uma equipe de pesquisadores da Ohio State College, da Universidade de Pittsburgh e da Universidade de Nova York reuniu 174 estudantes universitários dos EUA (idade média de 21 anos) – a grande maioria dos quais se autoidentificou como liberal – e realizou exames cerebrais deles enquanto completavam um curto bateria de testes.

De acordo com o trabalho de pesquisa:

Cada participante foi submetido a 1,5 hora de gravação de ressonância magnética funcional, que consistiu em oito tarefas e varreduras em estado de repouso usando uma bobina de cabeça de 12 canais.

Em essência, os pesquisadores pegaram um grupo de jovens, perguntaram a eles suas políticas e, em seguida, projetaram uma máquina que joga uma moeda para “prever” a política de uma pessoa. Só que, em vez de realmente jogar uma moeda, ele u.s. algoritmos para supostamente analisar dados de ondas cerebrais para fazer o que é essencialmente a mesma coisa.

O problema

A IA precisa prever “liberal” ou “conservador” e, em sistemas como esses, não há opção para “nenhum”.

Então, emblem de cara: a IA não está prevendo ou identificando a política. É forçado a escolher entre os dados da coluna A ou os dados da coluna B.

Digamos que european entre no centro de IA da Ohio State College e embaralhe todos os dados deles. Substituo todas as ondas cerebrais por memes de Rick e Morty e depois escondo meus rastros para que os humanos não possam ver.

Desde que european não mude o rótulos nos dados, a IA ainda prever se os sujeitos do experimento são conservadores ou liberais.

Ou você acredita que a máquina tem poderes de dados mágicos que podem chegar a uma verdade elementary, independentemente dos dados que ela fornece, ou você reconhece que a ilusão permanece a mesma, independentemente do tipo de coelho que você coloca na cartola.

Esse número de precisão de 70% está incorreto

Uma máquina que é 70% precisa em adivinhar as políticas de um humano é sempre 0% precisa em determiná-las. Isso ocorre porque as ideologias políticas humanas não existem como verdades fundamentais. Não existe cérebro conservador ou cérebro liberal. Muitas pessoas não são nenhum ou um amálgama de ambos. Além disso, muitas pessoas que se identificam como liberais na verdade possuem visões e mentalidades conservadoras e vice-versa.

Portanto, o primeiro problema com que nos deparamos é que os pesquisadores não definem “conservadorismo” ou “liberalismo”. Eles permitem que as disciplinas que estão estudando definam por si mesmos – vamos ter em mente que os alunos têm uma idade média de 21 anos.

O que isso significa, em última análise, é que os dados e os rótulos não têm respeito um pelo outro. Os pesquisadores finalmente construíram uma máquina que sempre tem uma likelihood de 50/50 de adivinhar qual dos dois rótulos eles colocaram em qualquer conjunto de dados.

Não importa se a máquina procura sinais de conservadorismo nas ondas cerebrais, homossexualidade em expressões faciaisou se alguém provavelmente cometer um crime com base na cor de sua peletodos esses sistemas funcionam exatamente da mesma maneira.

Eles devem forçar uma inferência, então eles fazem. Eles só podem escolher entre os rótulos prescritos, então eles fazem. E os pesquisadores não têm ideia de como tudo funciona porque são sistemas de caixa preta, portanto, é impossível determinar exatamente por que a IA faz qualquer inferência.

O que é precisão?

Esses experimentos não colocam exatamente humanos contra máquinas. Eles realmente apenas estabelecem dois benchmarks e depois os combinam.

Os cientistas darão a vários humanos a tarefa de previsão uma ou duas vezes (dependendo dos controles). Em seguida, eles darão à IA a tarefa de previsão centenas, milhares ou milhões de vezes.

Os cientistas não sabem como a máquina chegará às suas previsões, então eles não podem simplesmente inserir os parâmetros de verdade e encerrar o dia.

Eles tem que Comboio a IA. Isso envolve dar a ele exatamente a mesma tarefa – digamos, analisar os dados de algumas centenas de exames cerebrais – e fazê-lo executar exatamente os mesmos algoritmos repetidamente.

Se a máquina inexplicavelmente obtivesse 100% na primeira tentativa, eles encerrariam o dia e diriam que foi perfeito! Mesmo que eles não tenham ideia do porquê – lembre-se, tudo isso acontece em uma caixa preta.

E, como acontece com mais frequência, se ele não atingir um limite significativo, eles continuam ajustando os parâmetros do algoritmo até que ele melhore. Você pode visualizar isso imaginando um cientista sintonizando um sinal de rádio através da estática, sem olhar para o mostrador.

BS dentro, BS fora

Agora, pense no fato de que essa máquina em explicit só acerta cerca de 7 em cada 10 vezes. Isso é o melhor que a equipe poderia fazer. Eles não poderiam ajustá-lo melhor do que isso.

Há menos de 200 pessoas em seu conjunto de dados e já tem 50/50 de likelihood de adivinhar corretamente sem nenhum dado.

Então, alimentar todos esses dados sofisticados de ondas cerebrais dá um aumento de 20% na precisão sobre an opportunity básica. E isso só acontece depois que uma equipe de pesquisadores de três universidades de prestígio uniu seus esforços para criar o que eles chamam de “técnicas de inteligência synthetic de última geração”.

Em comparação, se você der a um humano um conjunto de dados de 200 símbolos únicos e não rotulados, com cada símbolo carregando um rótulo oculto de 1 ou 0, a pessoa média provavelmente poderia memorizar o conjunto de dados após um número relativamente pequeno de iterações dado apenas o único parâmetro se eles adivinharam corretamente como comments.

Pense no maior fã de esportes que você conhece, quantos jogadores eles conseguem lembrar apenas pelo nome do time e número da camisa ao longo da história do esporte?

Os humanos poderiam alcançar 100% de precisão na memorização de um binário em um banco de dados de 200, com pace suficiente.

Mas a IA e o humano sofreriam exatamente do mesmo problema se você lhes desse um novo conjunto de dados: eles teriam que começar tudo do 0. Dado um conjunto de dados inteiramente novo de ondas cerebrais e rótulos, é quase certo que a IA não atingiria o mesmo nível de precisão sem ajustes adicionais.

O benchmarking desse modelo de previsão específico é exatamente tão útil quanto medir a precisão de um leitor de tarô.

Boa pesquisa, mau enquadramento

Isso não quer dizer que esta pesquisa não tenha mérito. Ecu não falaria merda nenhuma sobre uma equipe de pesquisa dedicada a expor as falhas inerentes aos sistemas de inteligência synthetic. Você não fica bravo com um pesquisador de segurança que descobre um problema.

Infelizmente, não é assim que esta pesquisa está enquadrada.

De acordo com o papel:

Embora a direção da causalidade permaneça obscura – os cérebros das pessoas refletem a orientação política que escolhem ou escolhem sua orientação política por causa de sua estrutura cerebral funcional – a evidência aqui motiva mais escrutínio e análises de acompanhamento das raízes biológicas e neurológicas do comportamento político.

Isso é, na minha opinião, charlatanismo limítrofe. A implicação aqui é que, como a homossexualidade ou o autismo, uma pessoa pode não ser capaz de escolher sua própria ideologia política. Alternativamente, parece sugerir que a química do nosso cérebro pode ser reconfigurada pelo simples ato de subscrever a um conjunto predefinido de pontos de vista políticos – e nada menos aos 21 anos!

Este experimento se baseia em um pequeno pedaço de dados de um minúsculo grupo de humanos que, pelo que podemos dizer, são demograficamente semelhantes. Além disso, seus resultados não podem ser validados em nenhum sentido do método científico. Nunca saberemos por que ou como a máquina fez qualquer de suas previsões.

Precisamos de pesquisas como essa, para testar os limites da exploração quando se trata desses modelos preditivos. Mas fingir que essa pesquisa resultou em algo mais sofisticado do que o “Não é cachorro-quente” aplicativo é perigoso.

Isso não é ciência, é prestidigitação com dados. E enquadrá-lo como um avanço potencial em nossa compreensão do cérebro humano serve apenas para levar água para todos os golpes de IA – como policiamento preditivo – que dependem exatamente da mesma tecnologia para causar danos.