A verdade sobre IA e ROI: a inteligência synthetic pode realmente entregar?

Mais do que nunca, as organizações estão colocando sua confiança – e investimento – no potencial da inteligência synthetic (IA) e aprendizado de máquina (ML).

De acordo com Índice world de adoção de IA da IBM de 2022, 35% das empresas relatam usar a IA hoje em seus negócios, enquanto outros 42% dizem que estão explorando a IA. Enquanto isso, um McKinsey sobrevivey descobriram que 56% dos entrevistados relataram que adotaram a IA em pelo menos uma função em 2021, acima dos 50% em 2020.

Mas os investimentos em IA podem oferecer um ROI verdadeiro que impacta diretamente os resultados de uma empresa?

De acordo com a recente pesquisa REVelate do Domino Knowledge Lab, que entrevistou os participantes da conferência Rev3 da cidade de Nova York em maio, muitos entrevistados parecem pensar assim. Quase metade, de fato, espera um crescimento de dois dígitos como resultado da ciência de dados. E 4 em cada 5 entrevistados (79%) disseram que a ciência de dados, ML e IA são fundamentais para o crescimento futuro geral de sua empresa, com 36% chamando-o de fator mais crítico.

Implementar a IA, é claro, não é tarefa fácil. Outros dados da pesquisa mostram o outro lado da moeda da confiança. Por exemplo, dados de pesquisas recentes pela empresa de engenharia de IA CognitiveScale descobriu que, embora os executivos saibam que a qualidade e a implantação dos dados são fatores críticos de sucesso para o desenvolvimento bem-sucedido de aplicativos para impulsionar a transformação virtual, mais de 76% não têm certeza de como chegar lá em sua janela de 12 a 18 meses. Além disso, 32% dos executivos dizem que demorou mais do que o esperado para colocar um sistema de IA em produção.

A IA deve ser responsável

O ROI da IA ​​é possível, mas deve ser descrito e personificado com precisão de acordo com uma meta de negócios, disse Bob Picciano, CEO da Cognitive Scale, à VentureBeat.

“Se o objetivo de negócios é obter mais previsões de longo alcance e maior precisão de previsão com dados históricos, é aí que a IA pode entrar em ação”, disse ele. “Mas a IA deve ser responsável para impulsionar a eficácia dos negócios – não é suficiente dizer que um modelo de ML foi 98% preciso.”

Em vez disso, o ROI pode ser, por exemplo, que, para melhorar a eficácia do name middle, os recursos orientados por IA garantem que o pace médio de tratamento de chamadas seja reduzido.

“Esse tipo de ROI é o que eles falam no C-suite”, explicou ele. “Eles não falam sobre se o modelo é preciso, robusto ou flutuante.”

Shay Sabhikhi, cofundador e COO da Cognitive Scale, acrescentou que não está surpreso com o fato de que 76% dos entrevistados relataram ter problemas para dimensionar seus esforços de IA. “É exatamente isso que estamos ouvindo de nossos clientes corporativos”, disse ele. Um problema é o atrito entre as equipes de ciência de dados e o resto da organização, explicou ele, que não sabe o que fazer com os modelos que desenvolve.

“Esses modelos podem ter potencialmente os melhores algoritmos e recall de precisão, mas ficam na prateleira porque literalmente são jogados na equipe de desenvolvimento que então precisa embaralhar, tentando montar o aplicativo”, disse ele.

Neste ponto, no entanto, as organizações precisam prestar contas de seus investimentos em IA, porque a IA não é mais uma série de experimentos científicos, apontou Picciano. “Nós chamamos isso de ir do laboratório para a vida”, disse ele. “Ecu estava em uma conferência do diretor de análise de dados e todos eles disseram: como posso escalar? Como industrializo a IA?”

O ROI é a métrica certa para a IA?

No entanto, nem todos concordam que o ROI é mesmo a melhor maneira de medir se a IA gera valor na organização. De acordo com Nicola Morini Bianzino, diretor de tecnologia world da EY, pensar em inteligência synthetic e na empresa em termos de “casos de uso” que são medidos por meio do ROI é o caminho errado para a IA.

“Para mim, a IA é um conjunto de técnicas que serão implantadas em praticamente todos os lugares da empresa – não haverá um isolamento de um caso de uso com a análise de ROI associada”, disse ele.

Em vez disso, ele explicou, as organizações simplesmente precisam usar a IA – em todos os lugares. “É quase como a nuvem, onde há dois ou três anos tive muitas conversas com clientes que perguntavam: ‘Qual é o ROI? Qual é o caso de negócios para ecu migrar para a nuvem?’ Agora, pós-pandemia, essa conversa não acontece mais. Todo mundo apenas diz: ‘Ecu tenho que fazer isso.’”

Além disso, Bianzino apontou, discutir IA e ROI depende do que você quer dizer com “usar IA”.

“Digamos que você esteja tentando aplicar alguns recursos de direção autônoma – ou seja, visão computacional como um ramo da IA”, disse ele. “Isso é um caso de negócios? Não, porque você não pode implementar a direção autônoma sem IA.” O mesmo vale para uma empresa como a EY, que ingere grandes quantidades de dados e presta consultoria aos clientes – o que não pode ser feito sem IA. “É algo que você não pode isolar do processo – está embutido nele”, disse ele.

Além disso, a IA, por definição, não é produtiva ou eficiente no primeiro dia. Leva pace para obter os dados, treinar os modelos, evoluir os modelos e ampliar os modelos. “Não é como se um dia você pudesse dizer, acabei com a IA e 100% do valor está ali – não, esse é um recurso contínuo que melhora com o pace”, disse ele. “Não há realmente um fim em termos de valor que pode ser gerado.”

De certa forma, disse Bianzino, a IA está se tornando parte do custo dos negócios. “Se você está em um negócio que envolve análise de dados, não pode não ter recursos de IA”, explicou ele. “Você pode isolar o caso de negócios desses modelos? É muito difícil e não acho necessário. Para mim, é quase como se fosse um custo da infraestrutura para administrar seus negócios.”

O ROI da IA ​​é difícil de medir

Kjell Carlsson, chefe de estratégia de ciência de dados e evangelismo no provedor de MLops corporativo Domino Knowledge Lab, diz que, no ultimate das contas, o que as organizações querem é uma medida do impacto comercial do ROI – o quanto ele contribuiu para o resultado ultimate. Mas um problema é que isso pode ser bastante desconectado de quanto trabalho foi dedicado ao desenvolvimento do modelo.

“Então, se você cria um modelo que melhora a conversão de cliques em um ponto percentual, acaba de adicionar vários milhões de dólares ao resultado ultimate da organização”, disse ele. “Mas você também poderia ter criado um bom modelo de manutenção preditiva que ajudasse a avisar antecipadamente uma peça de máquina que precisa de manutenção antes que ela aconteça.” Nesse caso, o impacto do valor em dólares para a organização pode ser totalmente diferente, “mesmo que um deles possa acabar sendo um problema muito mais difícil”, acrescentou.

No geral, as organizações precisam de um “balanced scorecard” onde estão rastreando a produção de IA. “Porque se você não está colocando nada em produção, isso provavelmente é um sinal de que você tem um problema”, disse ele. “Por outro lado, se você está produzindo muito, isso também pode ser um sinal de que há um problema.”

Por exemplo, quanto mais modelos as equipes de ciência de dados implantam, mais modelos eles precisam gerenciar e manter, explicou ele. “Então você implantou tantos modelos no ano passado, então você não pode realmente realizar esses outros de alto valor que estão vindo em sua direção”, explicou ele.

Mas outro problema na medição do ROI da IA ​​é que, para muitos projetos de ciência de dados, o resultado não é um modelo que entra em produção. “Se você quiser fazer uma análise quantitativa de ganhos e perdas dos negócios no ano passado, convém fazer uma investigação estatística rigorosa disso”, disse ele. “Mas não há modelo que entraria em produção, você está usando a IA para os insights que obtém ao longo do caminho.”

As atividades de ciência de dados devem ser rastreadas

Ainda assim, as organizações não podem medir o papel da IA ​​se as atividades de ciência de dados não forem rastreadas. “Um dos problemas agora é que tão poucas atividades de ciência de dados estão realmente sendo coletadas e analisadas”, disse Carlsson. “Se você perguntar às pessoas, elas dizem que realmente não sabem como o modelo está se saindo, ou quantos projetos eles têm, ou quantos CodeCommits seus cientistas de dados fizeram na última semana.”

Uma razão para isso são as ferramentas muito desconectadas que os cientistas de dados precisam usar. “Esta é uma das razões pelas quais o Git se tornou ainda mais common como repositório, uma única fonte de verdade para seu cientista de dados em uma organização”, explicou ele. Ferramentas MLops como as plataformas de oferta do Domino Knowledge Lab que suportam essas diferentes ferramentas. “O grau em que as organizações podem criar essas plataformas mais centralizadas… é importante”, disse ele.

Os resultados da IA ​​são os mais importantes

O CEO e fundador da Wallaroo, Vid Jain, passou quase uma década no negócio de negociação de alta frequência na Merrill Lynch, onde seu papel, segundo ele, generation implantar o aprendizado de máquina em escala e fazê-lo com um ROI positivo.

O desafio não generation realmente desenvolver a ciência de dados, limpar os dados ou construir os repositórios de comércio, agora chamados de knowledge lakes. De longe, o maior desafio foi pegar esses modelos, operacionalizá-los e entregar o valor do negócio, disse ele.

“Fornecer o ROI acaba sendo muito difícil – 90% dessas iniciativas de IA não geram seu ROI ou não geram ROI suficiente para valer o investimento”, disse ele. “Mas isso é uma prioridade para todos. E a resposta não é uma coisa.”

Uma questão elementary é que muitos assumem que operacionalizar o aprendizado de máquina não é muito diferente de operacionalizar um tipo padrão de aplicativo, explicou ele, acrescentando que há uma grande diferença, porque a IA não é estática.

“É quase como cuidar de uma fazenda, porque os dados estão vivos, os dados mudam e você ainda não terminou”, disse ele. “Não é como se você criasse um algoritmo de recomendação e então o comportamento das pessoas de como elas compram ficasse congelado no pace. As pessoas mudam a forma como compram. De repente, seu concorrente tem uma promoção. Eles param de comprar de você. Eles vão para o concorrente. Você tem que cuidar disso constantemente.”

Em última análise, toda organização precisa decidir como alinhará sua cultura ao objetivo ultimate da implementação da IA. “Então você realmente precisa capacitar as pessoas para conduzir essa transformação e, então, fazer com que as pessoas que são críticas para suas linhas de negócios existentes sintam que vão obter algum valor da IA”, disse ele.

A maioria das empresas ainda está no início dessa jornada, acrescentou. “Acho que a maioria das empresas ainda não está lá, mas certamente vi nos últimos seis a nove meses que houve uma mudança no sentido de levar a sério o resultado e o valor do negócio.”

O ROI da IA ​​permanece indescritível

Mas a questão de como medir o ROI da IA ​​permanece indefinida para muitas organizações. “Para alguns, há algumas coisas básicas, como eles não podem nem colocar seus modelos em produção, ou podem, mas estão voando às cegas, ou são bem-sucedidos, mas agora querem escalar”, disse Jain. “Mas, no que diz respeito ao ROI, geralmente não há P&L associado ao aprendizado de máquina.”

Muitas vezes, as iniciativas de IA fazem parte de um Centro de Excelência e o ROI é obtido pelas unidades de negócios, explicou ele, enquanto em outros casos é simplesmente difícil de medir.

“O problema é que a IA faz parte do negócio? Ou é um utilitário? Se você é um nativo virtual, a IA pode ser parte do combustível do negócio”, disse ele. “Mas em uma grande organização que possui negócios herdados ou está girando, como medir o ROI é uma questão elementary com a qual eles precisam lutar.”