Rob Reich: Os desenvolvedores de IA precisam de um código de conduta responsável

Rob Reich u.s. muitos chapéus: filósofo político, diretor do McCoy Circle of relatives Heart for Ethics in Societye diretor associado do Stanford Institute for Human-Targeted Synthetic Intelligence.

Nos últimos anos, Reich mergulhou profundamente nas questões éticas e políticas colocadas pelos avanços tecnológicos revolucionários em inteligência synthetic (IA). Seu trabalho nem sempre é fácil para os tecnólogos ouvirem. Em seu livro, Erro de sistema: onde a Giant Tech deu errado e como podemos reinicializarReich e seus coautores (o cientista da computação Mehran Sahami e o cientista social Jeremy M. Weinstein) argumentaram que as empresas e desenvolvedores de tecnologia estão tão obcecados com a “otimização” que muitas vezes atropelam os valores humanos.

Mais recentemente, Reich argumenta que a comunidade de IA está muito atrasada no desenvolvimento de normas profissionais robustas. Isso representa riscos para uma série de valores democráticos, desde a privacidade e os direitos civis até a proteção contra danos e exploração.

Ele falou sobre o importância das normas da comunidade no Conferência HAI da primavera de 2022 sobre os principais avanços em IA.

Em uma entrevista, ele elaborou como seria esse código de conduta profissional e quem deveria estar envolvido.

A necessidade de maturidade na ética da IA

Você diz que IA e ciência da computação, em geral, são “imaturos” em sua ética profissional. O que você quer dizer?

Rob Reich: A ciência da IA ​​é como um adolescente em estágio avançado, recém-consciente de seus poderes extraordinários, mas sem um córtex frontal totalmente desenvolvido que possa orientar seu comportamento de risco e levá-lo a considerar suas responsabilidades sociais mais amplas. A ciência da computação não surgiu até os anos 50 e 60, e as pessoas que tinham diplomas de ciência da computação só se tornaram socialmente poderosas nos anos 2000. Em comparação com campos mais antigos, como medicina ou direito – ou mesmo profissões variadas que têm requisitos de licenciamento – as normas institucionais para ética profissional em ciência da computação são imaturas em termos de desenvolvimento.

Que tipo de ética e normas falta ao campo da IA?

Reich: Pense no que aconteceu com um salto tecnológico diferente – CRISPR, a ferramenta de edição de genes que criou oportunidades transformadoras em campos da terapêutica à agricultura. Uma de suas co-inventoras, Jennifer Doudna, que dividiu o prêmio Nobel de química, contou a história de acordar de um pesadelo uma noite e se perguntar: o que aconteceria se Hitler tivesse isso? Ela decidiu que os pesquisadores biomédicos precisavam colocar alguns limites na técnica e ajudou a convocar seus colegas pesquisadores biomédicos e suas respectivas sociedades profissionais. Eles adotaram uma moratória no uso de CRISPR para edição de linha germinativa (em óvulos humanos, espermatozóides ou embriões).

Alguns anos depois, quando um pesquisador realmente usou o CRISPR em embriões humanos, ele foi imediatamente banido por outros cientistas e desvinculado de todas as reuniões profissionais. Nenhuma revista publicaria seus artigos. Na verdade, o governo chinês acabou por colocá-lo na prisão.

Você pode citar algum cientista de IA cujo modelo de IA os levou a serem expulsos da respeitável prática da ciência da IA? Na minha experiência, quase ninguém pode. Consider uma pessoa que desenvolve um modelo de IA que analisa sua impressão facial e prevê a probabilidade de você cometer um crime. Isso me parece o equivalente de frenologia e a prática desacreditada da ciência racial. Mas agora, minha sensação é que esse trabalho não custaria nada a uma pessoa em termos de oportunidades profissionais.

A IA não tem nada comparável à pegada da ética na saúde e na pesquisa biomédica. Todo medical institution tem um comitê de ética. Se você quer fazer pesquisa biomédica, precisa passar por um conselho de revisão institucional. Se você mexer em uma nova droga em sua garagem, você não pode simplesmente sair e experimentá-la em pessoas em sua área – a FDA tem que aprovar os testes. Mas se você tem um modelo de IA, você pode treiná-lo como quiser, implantá-lo como desejar e até mesmo compartilhar o modelo abertamente com outros potenciais maus atores para usar também.

É claro que empresas individuais desenvolveram códigos de conduta corporativos. Mas, a menos que as práticas corporativas sejam filtradas para se tornarem práticas de toda a indústria, ou normas profissionais para todos os pesquisadores responsáveis, onde quer que trabalhem, os padrões de ética corporativa não contam muito. Eles não mudam se as más práticas acontecem em outros lugares e, portanto, a sociedade não fica melhor com a estrela de ouro aposta em uma empresa person.

Criando um código de ética de IA

Quais são os princípios de referência que podem fundamentar um código de ética ou uma declaração de direitos da IA?

Reich: Algumas das normas da saúde e da pesquisa biomédica fornecem um ponto de partida, embora ecu não acredite que se possa exportar essas normas por atacado da medicina para a IA.

Tomemos, por exemplo, o Juramento de Hipócrates – primeiro, não faça mal. Na IA, pesquisadores e desenvolvedores podem ter normas fortes para entender as maneiras pelas quais os modelos algorítmicos podem ter impactos adversos em grupos marginalizados antes de liberar ou implantar qualquer modelo.

Eles poderiam ter normas sobre direitos de privacidade, com base em doutrinas de direitos humanos, que limitam a prática generalizada de extrair dados pessoais da web aberta sem primeiro obter consentimento.

Eles poderiam desenvolver normas que estabeleçam limites apropriados sobre como as ferramentas de reconhecimento facial são implantadas em público. Na biometria, você pode apontar alguns interesses humanos básicos na vigilância, seja ela transportada por um drone, uma câmera policial ou algum cara com um celular.

Quais são algumas ideias acionáveis ​​para criar tração actual para um código de ética?

Reich: Primeiro, assim como aconteceu com o CRISPR, é importante que os cientistas de IA mais proeminentes se manifestem a desire da ética profissional e de um código mais amplo de IA responsável. Cientistas de IA de alto standing são essenciais para o desenvolvimento de IA responsável.

Em segundo lugar, além das ações dos indivíduos, precisamos de uma abordagem institucionalmente mais robusta. A IA responsável não é apenas uma questão de regulamentação interna por meio de normas profissionais, mas regulamentação externa por meio de agências de auditoria algorítmica e organizações da sociedade civil apropriadas que podem responsabilizar as empresas. O trabalho do Liga da Justiça Algorítmica é um exemplo exemplar deste último.

Não precisamos necessariamente criar ou inventar novas agências. Já temos, por exemplo, a Comissão de Igualdade de Oportunidades de Emprego. Se eles ainda não estão fazendo isso, eles devem estar analisando como algumas dessas ferramentas de contratação baseadas em IA e sistemas de triagem de currículo funcionam.

Também poderíamos ter alguns conselhos de revisão análogos a institucionais que supervisionam pesquisas envolvendo seres humanos. Quando alguém come to a decision ir raspar imagens da internet para identificar tendências criminosas com base em fotos e impressões de rosto, me pergunto o que teria acontecido se eles tivessem passado por um conselho de revisão institucional. Talvez tivesse dito não. Mas se você é um cientista de IA, normalmente não precisa lidar com um conselho de revisão institucional. Você só vai e faz.

Novamente, é aí que as normas institucionais precisam acompanhar o poder da IA.

Adicionando cheques e contrapesos

Os desenvolvedores devem ser obrigados a realizar uma auditoria para possíveis vieses ou outros perigos?

Reich: É claro. Qualquer projeto de construção significativo deve ter uma pesquisa de impacto ambiental. Se acontecer de você desenvolver um pedaço de terra de uma forma que ameace uma espécie ameaçada, no mínimo os desenvolvedores têm que adotar estratégias de mitigação antes de prosseguir. Analogamente, você pode imaginar declarações de impacto algorítmicas. Você teria que mostrar que há um risco mínimo de viés antes de colocá-lo em prática. Existem abordagens técnicas para isso também, como o uso de cartões modelo e folhas de dados para conjuntos de dados.

Também temos que aprimorar significativamente o talento que é colocado em agências de auditoria algorítmica. Minha esperança é que os caminhos da carreira técnica se estendam mais amplamente além das startups e das grandes empresas de tecnologia. Pense na lei de interesse público. Por que é mais competitivo conseguir um emprego de baixa remuneração no Departamento de Justiça do que um trabalho em direito corporativo? Pelo menos em parte por causa da oportunidade de fazer algo para o bem público.

O que será necessário para estabelecer o tipo de normas profissionais ou comunitárias que você imagina?

Reich: Lamentavelmente, muitas vezes são necessários escândalos como os experimentos médicos da generation nazista ou os experimentos de Tuskegee em homens negros para provocar uma reação significativa dos formuladores de políticas ou da profissão.

Mas não precisa ser um processo reativo. Prefiro ver a ciência da IA ​​adotar uma abordagem proativa.

Um exemplo é um postagem recente do weblog de membros do Centro de Pesquisa em Modelos de Fundação que exigia o estabelecimento de um conselho de revisão que estabeleceria normas sobre a liberação responsável de modelos de fundação.

Outro exemplo é um projeto piloto aqui na Stanford HAI que exige uma Revisão de Ética e Sociedade para qualquer projeto que busque financiamento de subsídios. O painel de revisão é composto por uma equipe interdisciplinar de especialistas de antropologia, história, medicina, filosofia e outras áreas. Em dezembro passado, membros da equipe publicou um artigo em Anais da Academia Nacional de Ciências que detalha as descobertas e como a ESR pode ser aplicada a outras áreas de pesquisa na indústria, bem como na academia.

É um padrão acquainted ao longo da história que a descoberta científica e a inovação tecnológica correm à frente de nossa capacidade coletiva de instalar diretrizes regulatórias sensatas. Dentro Erro no sistemachamamos isso de corrida entre a disrupção e a democracia. Com a IA, o ritmo da inovação acelerou e a fronteira da inovação está muito à frente de nossas estruturas de políticas públicas. Isso torna cada vez mais importante apoiar-se em normas e códigos de conduta profissionais para que o desenvolvimento e a implantação de novas tecnologias em IA sejam perseguidos com responsabilidade social.

Edmund L. Andrews é um escritor colaborador do Stanford Institute for Human-Targeted AI.

Rob Reich é professor de ciência política na Stanford Faculty of Humanities and Sciences e professor por cortesia da Schooling. Ele também é membro sênior, por cortesia, do Freeman Spogli Institute for World Research e diretor associado do Stanford Institute for Human-Targeted AI.

Esta história apareceu originalmente em Hai.stanford.edu. Direitos autorais 2022