A importância das auditorias de dados ao construir IA

A inteligência synthetic pode fazer muito para melhorar as práticas de negócios, mas os algoritmos de IA também podem introduzir novos caminhos de risco. Por exemplo, considere O recente encerramento de ofertas da Zillow, o ramo da empresa dedicado à compra de partes superiores do fixador, após seus modelos de previsão ultrapassarem significativamente os valores das casas. Quando os dados de preços de imóveis mudaram de forma imprevisível, os modelos de aprendizado de máquina do grupo não se adaptaram com rapidez suficiente para levar em conta a volatilidade, resultando em perdas significativas. Este tipo de incompatibilidade de dados ou “deriva do conceito” acontece se você não der o devido cuidado e respeito às auditorias de dados.

A falha da Zillow em auditar adequadamente seus dados não prejudicou apenas a empresa; poderia ter causado danos maiores ao afastar outras empresas da IA. Percepções negativas de uma tecnologia podem interromper seu progresso no mundo comercial, especialmente para uma categoria como a IA que já passou vários invernos. Pioneiros do aprendizado de máquina como André Ng reconhecem o que está em jogo e iniciamos campanhas para enfatizar a importância das auditorias de dados, fazendo coisas como uma competição anual para os melhores métodos de garantia de qualidade de dados (em vez de escolher os vencedores com base apenas no modelo, como tradicionalmente é feito).

Além meu próprio trabalho para construir IAcomo anfitrião de O podcast Cérebros Robóticos, também entrevistei dezenas de profissionais e pesquisadores de IA sobre sua abordagem de auditoria e manutenção de dados de alta qualidade. Aqui estão algumas das melhores práticas que compilei a partir desse trabalho:

• Cuidado ao terceirizar sua curadoria e rotulagem de dados. A manutenção de dados não é a tarefa mais horny e consome muito pace. Quando o pace é curto, como é para a maioria dos empreendedores, é tentador terceirizar a responsabilidade. Mas cuidado com os riscos que vêm com isso. Um fornecedor terceirizado não estará tão familiarizado com a visão do seu produto, conhecerá as nuances contextuais ou terá os incentivos pessoais para manter as rédeas próximas que são necessárias. Andrej Karpathy, chefe de IA da Tesladiz que america 50% do seu pace na manutenção dos playbooks de dados dos veículos porque é aquele importante.

• Se seus dados estiverem incompletos, resolva as lacunas. Nem tudo está perdido se suas fontes de dados revelarem lacunas ou áreas potenciais para previsão errônea. Uma fonte que costuma ser problemática são os dados demográficos. Como sabemos, as fontes históricas de dados demográficos tendem a se inclinar para homens brancos, e isso pode influenciar todo o seu modelo. A professora de Princeton e cofundadora da AI4All, Olga Russakovsky, criou o REVISAR modelo, que traz à tona padrões de correlações (possivelmente espúrias) em dados visuais. Você pode usar o modelo para solicitar insensibilidade a esses padrões ou decidir coletar mais dados que não tenham os padrões. (Aqui europeané o código para executar o modelo se você quiser usar dados demográficos são mais frequentemente citados neste tipo de situação (ou seja, dados de histórico médico tradicionalmente têm uma porcentagem maior de informações sobre homens caucasianos), mas podem ser aplicados em qualquer cenário.
• Entenda as implicações de sacrificar a inteligência pela velocidade. Sua auditoria de dados pode motivá-lo a conectar conjuntos de dados maiores com cobertura mais completa. Em teoria, isso pode parecer uma ótima estratégia, mas na verdade pode ser uma incompatibilidade com a meta de negócios em questão. Quanto maior o conjunto de dados, mais lenta a análise. Esse pace further é justificado pelo valor do perception aumentado?

  As empresas de serviços financeiros tiveram que se fazer essa pergunta com bastante frequência, devido às enormes quantias em dólares em jogo e à tecnologia do setor cada vez mais rápida (pense em nanossegundos). Mike Schuster, chefe de IA da empresa de serviços financeiros Two Sigma, compartilhou que é importante ter em mente que um modelo mais preciso, orientado por mais dados, muitas vezes pode resultar em tempos de inferência mais longos durante a implantação, possivelmente não atendendo à sua necessidade de velocidade. Vice-versa, se você tomar decisões de horizonte mais longo, terá que competir com outros no mercado que incorporam quantidades muito maiores de dados, então você terá que fazer o mesmo para ser competitivo.

A aplicação de modelos de IA para resolver problemas de negócios está se tornando comum à medida que a comunidade de código aberto os disponibiliza gratuitamente para todos. A desvantagem é que, à medida que insights e previsões gerados por IA se tornam o establishment, o trabalho menos chamativo de manutenção de dados pode ser negligenciado. É como construir uma casa na areia. Pode parecer bem inicialmente, mas com o passar do pace, a estrutura entrará em colapso.

O professor Pieter Abbeel é diretor do Laboratório de Aprendizagem de Robôs de Berkeley e co-diretor do Laboratório de Inteligência Synthetic de Berkeley (BAIR). Ele fundou três empresas: Covariant (IA para automação inteligente de armazéns e fábricas), Gradescope (IA para ajudar os professores a avaliar tarefas de casa e exames) e Berkeley Open Fingers (braços robóticos de 7 dof de baixo custo). Ele também hospeda o podcast Os cérebros do robô.