Por que as empresas levam um mês ou mais para implantar modelos de ML e o que você pode fazer

O aprendizado de máquina (ML) é um ativo inestimável para as empresas modernas em geral. No entanto, quando se trata de modelos de ML, as empresas B2C e B2B enfrentam o problema do atraso no pace de lançamento no mercado. De acordo com Algoritmiaa grande maioria das empresas leva pelo menos um mês ou mais para primeiro desenvolver e depois implantar seu modelo de ML.

A razão para isso é um processo de duas etapas complexo e muitas vezes muito caro. Desenvolver um modelo de ML pode ser um processo demorado e potencialmente caro por si só. Mas o que muitas empresas muitas vezes não percebem no início é que o estágio inicial deve ser seguido por outra fase, possivelmente mais desafiadora – implantação. Este segundo estágio envolve mover o modelo pronto para produção, testá-lo e ajustá-lo e, em seguida, dimensioná-lo de acordo.

Estima-se que apenas cerca de 10% de todos os negócios possuam experiência, recursos financeiros e conhecimento técnico suficientes para implantar um novo modelo de ML em produção dentro de uma semana após sua conclusão. Muitas lutam por até um ano, com pelo menos 30% de todas as empresas levando pelo menos três meses após a implantação. Quanto pace leva exatamente depende em grande parte de qual dos três tipos de modelos populares a empresa escolhe.

Modelos adaptáveis ​​prontos para uso, personalizados e personalizados

Dos modelos de ML atualmente disponíveis no mercado, existem os seguintes: modelos genéricos, modelos personalizados e modelos adaptativos personalizados.

Modelos genéricos e personalizados são basicamente opostos polares. A diferença é que os modelos genéricos são baixo custo e precisão, enquanto os modelos personalizados são altos em custo e precisão. Isso ocorre porque os modelos genéricos são projetados para atender praticamente todos os negócios desse setor. Estes são normalmente baseados em ResNet, BERT/GPT e tecnologias similares de prateleira. Como resultado, esses modelos são acessíveis e confiáveis, mas também estão longe de ser um ajuste perfeito.

Por outro lado, os modelos personalizados são sempre adaptados à tarefa em questão e, portanto, muito mais precisos. No entanto, eles também vêm com um preço muito mais alto por causa de seus altos custos de desenvolvimento e manutenção. Aqueles que começam com uma solução genérica e depois tentam melhorar seu modelo de ML geralmente se aventuram além da arquitetura básica do modelo. O que eles acabam tendo é um modelo personalizado. Um modelo personalizado que pode ser adaptado imediatamente a necessidades de negócios mais amplas e que dispensa a maior parte do longo ajuste pós-implantação é um modelo adaptável personalizado.

Um modelo adaptativo é, portanto, um tipo de modelo personalizado com alguns benefícios que os modelos genéricos oferecem. Como todos os outros modelos personalizados, os modelos adaptáveis ​​são projetados com necessidades específicas de negócios em mente. Por esta razão, eles são muito precisos. Ao mesmo pace, eles não exigem que a empresa descubra MLops após a fase inicial de desenvolvimento. Como resultado, eles operam, de certa forma, como modelos genéricos nos estágios de implantação e pós-implantação, com custos de manutenção relativamente baixos e melhor pace de lançamento no mercado.

Escolhendo um modelo de ML

O modelo que sua empresa exige – ou seja, se o pagamento further vale a pena – depende da sua situação específica. Sua empresa pode precisar de algo bastante simples, como enviar pedidos online para diferentes armazéns, dependendo da localização. Nesse caso, um modelo genérico de ML pode funcionar, especialmente se você for uma pequena empresa.

Por outro lado, se for algo específico como moderação de conteúdo para uma comunidade on-line de médicos discutindo equipamentos médicos, um modelo personalizado funcionará melhor. O que um modelo genérico de ML pode ver como linguagem inadequada – por exemplo, menções à genitália – não é apenas apropriado, mas necessário no contexto da discussão médica. O modelo de treinamento neste caso precisa ser adaptado às necessidades distintas da empresa. E esse modelo sob medida pode ser adaptativo ou não.

Vamos considerar os prós e contras de cada modelo:

Modelos adaptáveis ​​personalizados

Os modelos de ML personalizados são caros devido aos custos pré e pós-implantação muitas vezes imprevistos. Devido a esses custos iniciais geralmente altos, algumas empresas tendem a evitar a opção sob medida, optando pela faixa genérica menos precisa, mas também menos dispendiosa. O custo actual de um modelo de treinamento depende de vários fatores, incluindo a metodologia de rotulagem de dados escolhida, que se reflete na flexibilidade do modelo ou na falta dela.

O caso a seguir ilustra um modelo adaptativo customizado baseado em crowdsourcing em ação, ou seja, um modelo adaptativo que se baseia na rotulagem human-in-the-loop:

Uma empresa conhecida que oferece um ambiente de edição técnica queria aumentar a precisão de seu instrument e diminuir os custos de treinamento do modelo. A equipe de engenharia teve que encontrar uma solução mais eficiente para corrigir frases em inglês. Qualquer solução tinha que estar alinhada com um pipeline de rotulagem totalmente handbook que já estava em vigor.

A solução ultimate consistiu na utilização de um modelo pré-existente personalizado de tratamento linguístico adaptado às necessidades do cliente. O AutoML de terceiros foi usado para classificação de texto nas frases-alvo. Posteriormente, a precisão da verificação de frases aumentou 6% – de 76% para 82%. Isso, por sua vez, reduziu os custos de treinamento do modelo em 3%. Além disso, o cliente não precisou fazer investimentos adicionais – financeiros ou não – na infraestrutura do modelo, como normalmente acontece com a maioria dos modelos customizados.

Pontos-chave a ter em conta

Escolher o modelo de ML certo para o seu negócio pode ser uma tarefa difícil. Aqui está um resumo do que você deve levar em consideração para tomar uma decisão informada:

• Considere quão específicas são suas necessidades: quanto mais específica a necessidade, mais longe do modelo genérico você deve se mover como regra geral.

• Sempre considere a escalabilidade – se isso é algo que você sabe que precisará, considere pagar mais por algo feito sob medida para você.

• Se você não precisar de alta precisão, mas precisar de implantação rápida, considere optar pela rota genérica.

• Se a precisão for importante para você, considere quanto pace para comercializar você pode poupar.

• Se você tiver pouco pace e precisar de alta precisão, considere seguir a rota adaptável personalizada; caso contrário, qualquer solução personalizada também pode atender às suas necessidades.

• Em termos de custo geral, a rota genérica é a mais barata de todas – seguida pela rota adaptativa personalizada que ignora a maioria das despesas de MLops – e, finalmente, por todas as outras soluções personalizadas cujos custos podem aumentar substancialmente após a implantação (os números exatos diferem muito em caso a caso).

• Considere se você tem cientistas de dados internos e MLEs à sua disposição – se sim, optar pela opção personalizada tradicional desenvolvida internamente pode ser viável; se não – considere os outros dois (genérico ou adaptativo personalizado).

• Ao escolher entre opções adaptáveis ​​personalizadas as opposed to personalizadas, considere quão preciso e específico para as necessidades de seu cliente o modelo de ML precisa ser. Quanto maior a precisão e adaptabilidade, maior o custo e maior o período de espera para preparar e manter o modelo.

Fedor Zhdanov é chefe de produtos ML na IA de Toloka.