O DALL-E 2 da OpenAI é uma nova ilustração do viés da IA

Você pode ter visto algumas fotos estranhas e caprichosas flutuando na web recentemente. Há um cão Shiba Inu vestindo uma boina e gola preta. E uma lontra-marinha no estilo “Garota com Brinco de Pérola” do pintor holandês Vermeer. E uma tigela de sopa que parece um monstro tricotado em lã.

Essas fotos não foram desenhadas por nenhum ilustrador humano. Em vez disso, eles foram criados pelo DALL-E 2, um novo sistema de IA que pode transformar descrições textuais em imagens. Basta escrever o que você quer ver e a IA desenha para você – com detalhes vívidos, alta resolução e, sem dúvida, criatividade actual.

Sam Altman, CEO da OpenAI — a empresa que criou o DALL-E 2 — chamou isso “a coisa mais deliciosa para brincar que criamos até agora … e divertida de uma maneira que não sentia da tecnologia há algum pace.”

Isso é totalmente verdade: DALL-E 2 é delicioso e divertido! Mas como muitas coisas divertidas, também é muito arriscado.

Existem os riscos óbvios – que as pessoas possam usar esse tipo de IA para fazer tudo, desde pornografia a deepfakes políticos, ou a possibilidade de que eventualmente desempregue alguns ilustradores humanos. Mas também existe o risco de DALL-E 2 — como tantos outros outro ponta Sistemas de IA — reforçará estereótipos e preconceitos prejudiciais e, ao fazê-lo, acentuará alguns dos nossos problemas sociais.

Como DALL-E 2 reforça estereótipos – e o que fazer sobre isso

Como é típico para sistemas de IA, o DALL-E 2 herdou tendências do corpus de dados usado para treiná-lo: milhões de imagens retiradas da Web e suas legendas correspondentes. Isso significa que para todas as imagens deliciosas que DALL-E 2 produziu, ele também é capaz de gerar muitas imagens que são não delicioso.

Por exemplo, aqui está o que a IA oferece se você pedir uma imagem de advogados:

Enquanto isso, aqui está a saída da IA ​​quando você pede um comissário de bordo:

A OpenAI está ciente de que o DALL-E 2 gera resultados exibindo preconceito de gênero e raça. Na verdade, os exemplos acima são da própria empresa Documento “Riscos e Limitações”que você encontrará se rolar até a parte inferior da página major Página da internet DALL-E 2.

Os pesquisadores da OpenAI fizeram algumas tentativas para resolver problemas de preconceito e justiça. Mas eles não conseguiram erradicar esses problemas de maneira eficaz porque soluções diferentes resultam em compensações diferentes.

Por exemplo, os pesquisadores queriam filtrar o conteúdo sexual dos dados de treinamento porque isso poderia levar a danos desproporcionais às mulheres. Mas eles descobriram que, quando tentaram filtrar isso, DALL-E 2 gerou menos imagens de mulheres em geral. Isso não é bom, porque leva a outro tipo de dano às mulheres: o apagamento.

A OpenAI está longe de ser a única empresa de inteligência synthetic que lida com problemas de viés e compensações. É um desafio para toda a comunidade de IA.

“O viés é um grande problema de toda a indústria para o qual ninguém tem uma resposta excelente e infalível”, disse-me Miles Brundage, chefe de pesquisa de políticas da OpenAI. “Então, muito do trabalho agora é apenas ser transparente e direto com os usuários sobre as limitações restantes.”

Por que lançar um modelo de IA tendencioso?

Em fevereiro, antes do lançamento do DALL-E 2, a OpenAI convidou 23 pesquisadores externos para fazer uma “equipe vermelha” – linguagem de engenharia para tentar encontrar o maior número possível de falhas e vulnerabilidades, para que o sistema pudesse ser melhorado. Uma das principais sugestões que a equipe vermelha fez foi limitar o lançamento inicial apenas a usuários confiáveis.

Para seu crédito, a OpenAI adotou essa sugestão. Por enquanto, apenas cerca de 400 pessoas (uma mistura de funcionários e membros do conselho da OpenAI, além de acadêmicos e criativos escolhidos a dedo) podem usar o DALL-E 2, e apenas para fins não comerciais.

Essa é uma mudança de como a OpenAI escolheu implantar o GPT-3, um gerador de texto aclamado por seu potencial para aprimorar nossa criatividade. Dada uma ou duas frases escritas por um humano, ele pode adicionar mais frases que soam estranhamente humanas. Mas é mostrado preconceito contra certos grupos, como muçulmanos, a quem associa desproporcionalmente à violência e ao terrorismo. A OpenAI sabia sobre os problemas de viés, mas lançou o modelo de qualquer maneira para um grupo limitado de desenvolvedores e empresas aprovados, que poderiam usar o GPT-3 para fins comerciais.

No ano passado, perguntei a Sandhini Agarwal, pesquisadora da equipe de políticas da OpenAI, se faz sentido que o GPT-3 estivesse sendo investigado por estudiosos, mesmo quando foi lançado para alguns atores comerciais. Ela disse que daqui para frente, “Isso é uma coisa boa para nós pensarmos. Você está certo que, até agora, nossa estratégia tem sido fazer acontecer em paralelo. E talvez isso deva mudar para modelos futuros.”

O fato de a abordagem de implantação ter mudado para o DALL-E 2 parece um passo positivo. No entanto, como reconhece o documento “Riscos e Limitações” do DALL-E 2, “mesmo que o Preview em si não seja diretamente prejudicial, sua demonstração do potencial dessa tecnologia pode motivar vários atores a aumentar seus investimentos em tecnologias e táticas relacionadas”.

E você deve se perguntar: essa aceleração é uma coisa boa, neste estágio? Queremos realmente construir e lançar esses modelos agora, sabendo que isso pode estimular outros a lançar suas versões ainda mais rápido?

Alguns especialistas discutir que, como sabemos que há problemas com os modelos e não sabemos como resolvê-los, devemos dar pace à pesquisa de ética em IA para acompanhar os avanços e resolver alguns dos problemas, antes de continuar a construir e lançar novas tecnologias.

Helen Ngo, pesquisadora afiliada do Stanford Institute for Human-Targeted AI, diz que uma coisa que precisamos desesperadamente é de métricas padrão para viés. Um pouco de trabalho foi feito para medir, digamos, a probabilidade de certos atributos serem associados a certos grupos. “Mas é tremendous pouco estudado”, disse Ngo. “Ainda não reunimos padrões ou normas da indústria sobre como medir esses problemas” – não importa resolvê-los.

Brundage, da OpenAI, me disse que deixar um grupo limitado de usuários brincar com um modelo de IA permite que os pesquisadores aprendam mais sobre os problemas que surgiriam no mundo actual. “Há muita coisa que você não pode prever, então é valioso entrar em contato com a realidade”, disse ele.

Isso é verdade, mas como já sabemos sobre muitos dos problemas que surgem repetidamente na IA, não está claro que essa seja uma justificativa specialty o suficiente para lançar o modelo agora, mesmo de maneira limitada.

O problema dos incentivos desalinhados na indústria de IA

Brundage também observou outra motivação na OpenAI: competição. “Alguns dos pesquisadores internamente estavam animados para divulgar isso no mundo porque estavam vendo que outros estavam se atualizando”, disse ele.

Esse espírito de competição é um impulso herbal para qualquer pessoa envolvida na criação de tecnologia transformadora. Também é de se esperar em qualquer organização que pretenda obter lucro. Ser o primeiro a sair do portão é recompensado, e aqueles que terminam em segundo raramente são lembrados no Vale do Silício.

Como a equipe da Anthropic, uma empresa de segurança e pesquisa de IA, colocou isso em um papel recente“Os incentivos econômicos para construir tais modelos e os incentivos de prestígio para anunciá-los são bastante fortes”.

Mas é fácil ver como esses incentivos podem estar desalinhados para a produção de IA que realmente beneficie toda a humanidade. Em vez de assumir que outros atores inevitavelmente criarão e implantarão esses modelos, então não há sentido em adiar, devemos fazer a pergunta: como podemos realmente mudar a estrutura de incentivo subjacente que impulsiona todos os atores?

A equipe da Anthropic oferece várias ideias. Uma de suas observações é que, nos últimos anos, muitas das pesquisas de IA mais espalhadas estão migrando da academia para a indústria. Para executar experimentos de IA em larga escala hoje em dia, você precisa de uma tonelada de poder de computação – mais de 300.000 vezes o que você precisava há uma década – bem como os melhores talentos técnicos. Isso é caro e escasso, e o custo resultante é muitas vezes proibitivo em um ambiente acadêmico.

Assim, uma solução seria dar mais recursos aos pesquisadores acadêmicos; como eles não têm um incentivo de lucro para implantar comercialmente seus modelos rapidamente da mesma forma que os pesquisadores do setor fazem, eles podem servir como um contrapeso. Especificamente, os países poderiam desenvolver nuvens de pesquisa nacional dar aos acadêmicos acesso gratuito, ou pelo menos barato, ao poder de computação; já existe um exemplo disso em Computar Canadáque coordena o acesso a poderosos recursos de computação para pesquisadores canadenses.

A equipe da Anthropic também recomenda explorar a regulamentação que mudaria os incentivos. “Para fazer isso”, eles escrevem, “haverá uma combinação de regulamentação branda (por exemplo, a criação de melhores práticas voluntárias pela indústria, academia, sociedade civil e governo) e regulamentação rígida (por exemplo, a transferência dessas melhores práticas para normas e legislação)”.

Embora algumas boas novas normas tenham sido adotadas voluntariamente dentro da comunidade de IA nos últimos anos – como a publicação de “cartões de modelo”, que documentam os riscos de um modelo, como o OpenAI fez para DALL-E 2 – a comunidade ainda não criou padrões repetíveis que tornam deixa claro como os desenvolvedores devem medir e mitigar esses riscos.

“Essa falta de padrões torna a implantação de sistemas mais desafiadora, pois os desenvolvedores podem precisar determinar suas próprias políticas de implantação, e também torna as implantações inerentemente arriscadas, pois há menos conhecimento compartilhado sobre como são implantações ‘seguras’”, disse o Equipe antrópica escreve. “Estamos, de certa forma, construindo o avião enquanto ele decola.”