Não, a nova IA do MIT não pode determinar a raça de uma pessoa a partir de imagens médicas

Pesquisadores do MIT fizeram recentemente uma das alegações mais ousadas relacionadas à inteligência synthetic já vimos: eles acreditam que construíram uma IA que pode identificar a raça de uma pessoa usando apenas imagens médicas. E, segundo a mídia commoneles não têm idéia de como funciona!

Certo. E gostaria de lhe vender uma NFT da Ponte do Brooklyn.

Vamos ser claros na frente, por papel da equipeo modelo pode prever de uma pessoa auto-relatado raça:

Em nosso estudo, mostramos que modelos padrão de aprendizado profundo de IA podem ser treinados para prever corridas a partir de imagens médicas com alto desempenho em várias modalidades de imagem.

Previsão e identificação são duas coisas completamente diferentes. Quando uma previsão está errada, ainda é uma previsão. Quando uma identificação está errada, é uma identificação errada. Essas são distinções importantes.

Os modelos de IA podem ser ajustados para prever qualquer coisa, até mesmo conceitos que não são reais.

Aqui está uma velha analogia que european gosto de usar nessas situações:

Posso prever com 100% de precisão quantos limões em um limoeiro são alienígenas de outro planeta.

Como sou a única pessoa que pode ver os alienígenas nos limões, sou o que você chama de “banco de dados”.

European poderia ficar ali, ao lado de sua IA, e apontar para todos os limões que contêm alienígenas. A IA tentaria descobrir o que há nos limões para os quais estou apontando que me faz pensar que há alienígenas neles.

Eventualmente, a IA olharia para um novo limoeiro e tentaria adivinhar quais limões european achava que tinham alienígenas neles.

Se fosse 70% preciso em adivinhar isso, ainda seria 0% preciso em determinar quais limões têm alienígenas neles. Porque os limões não têm alienígenas neles.

Em outras palavras, você pode treinar uma IA para prever qualquer coisa, desde que:

• Não dê a opção de dizer “não sei”.
• Proceed ajustando os parâmetros do modelo até obter a resposta desejada.

Não importa o quão preciso seja em prever um rótulo um sistema de IA, se ele não puder demonstrar como chegou à sua previsão, essas previsões são inúteis para fins de identificação – especialmente quando se trata de assuntos relacionados a humanos individuais.

Além disso, as alegações de “precisão” não significam o que a mídia parece pensar que fazem quando se trata desses tipos de modelos de IA.

O modelo do MIT atinge menos de 99% de precisão em dados rotulados. Isso significa que, na natureza (observando imagens sem rótulos), nunca podemos ter certeza se a IA fez a avaliação correta, a menos que um humano revise seus resultados.

Mesmo com 99% de precisão, a IA do MIT ainda rotularia erroneamente 79 milhões de seres humanos se recebesse um banco de dados com uma imagem para cada ser humano vivo. E, pior, não teríamos absolutamente nenhuma maneira de saber quais 79 milhões de humanos foram rotulados erroneamente, a menos que visitássemos todas as 7,9 bilhões de pessoas no planeta e pedíssemos que confirmassem a avaliação da IA ​​de sua imagem específica. Isso anularia o propósito de usar a IA em primeiro lugar.

A parte importante: ensinar uma IA a identificar os rótulos em um banco de dados é um truque que pode ser aplicado a qualquer banco de dados com quaisquer rótulos. Não é um método pelo qual uma IA pode determinar ou identificar um objeto específico em um banco de dados; ele apenas tenta prever — adivinhar — que rótulo os desenvolvedores humanos usaram.

A equipe do MIT concluiu, em seu artigo, que seu modelo pode ser perigoso nas mãos erradas:

Os resultados de nosso estudo enfatizam que a capacidade dos modelos de aprendizado profundo de IA de prever raça autorrelatada não é em si a questão de importância.

No entanto, nossa descoberta de que a IA pode prever com precisão a raça autorrelatada, mesmo a partir de imagens médicas corrompidas, cortadas e com ruído, muitas vezes quando os especialistas clínicos não conseguem, cria um risco enorme para todas as implantações de modelos em imagens médicas.

É importante que os desenvolvedores de IA considerem os riscos potenciais de suas criações. Mas esse aviso em explicit tem pouco fundamento na realidade.

O modelo que a equipe do MIT construiu pode atingir a precisão do benchmark em grandes bancos de dados, mas, como explicado acima, não há absolutamente nenhuma maneira de determinar se a IA está correta, a menos que você já conheça a verdade.

Basicamente, o MIT está nos alertando sobre a possibilidade de médicos e técnicos malvados praticarem discriminação racial em escala, usando um sistema semelhante a este.

Mas esta IA não pode determinar a raça. Ele prevê rótulos em conjuntos de dados específicos. A única maneira que este modelo (ou qualquer modelo como ele) poderia ser usado para discriminar é com uma ampla rede, e somente quando o discriminador não se importa com quantas vezes a máquina erra.

Tudo o que você pode ter certeza é que você não pode confiar em um resultado person sem verificá-lo novamente em relação a uma verdade básica. E quanto mais imagens a IA processar, mais erros ela certamente cometerá.

Resumindo: a “nova” IA do MIT nada mais é do que a ilusão de um mágico. É uma boa, e modelos como esse geralmente são incrivelmente úteis quando acertar as coisas não é tão importante quanto fazê-las rapidamente, mas não há razão para acreditar que maus atores podem usar isso como um detector de corrida.

MIT poderia aplicar exatamente o mesmo modoeuropean para um bosque de limoeiros e, usando o banco de dados de rótulos que criei, ele pode ser treinado para prever quais limões têm alienígenas com 99% de precisão.

Essa IA só pode prever rótulos. Não identifica raça.