7 mitos de MLops desmascarados | VentureBeat

Com o crescimento maciço dos serviços apoiados em aprendizado de máquina (ML), o termo MLops se tornou uma parte common da conversa – e com razão. Abreviação de “operações de aprendizado de máquina”, MLops refere-se a um amplo conjunto de ferramentas, funções de trabalho e práticas recomendadas para garantir que os modelos de aprendizado de máquina sejam implantados e mantidos em produção de forma confiável e eficiente. Sua prática é elementary para modelos de nível de produção – garantindo implantação rápida, facilitando experimentos para melhorar o desempenho e evitando viés de modelo ou perda na qualidade da previsão. Sem ele, o ML se torna impossível em escala.

Com qualquer prática promissora, é fácil ficar confuso sobre o que ela realmente implica. Para ajudar, listamos sete mitos comuns sobre MLops a serem evitados, para que você possa aproveitar o ML com sucesso em escala.

Mito 1: MLops termina no lançamento

Realidade: lançar um modelo de ML é apenas uma etapa de um processo contínuo.

ML é uma prática inerentemente experimental. Mesmo após o lançamento inicial, é necessário testar novas hipóteses enquanto ajusta sinais e parâmetros. Isso permite que o modelo melhore em precisão e desempenho ao longo do pace. Os processos MLops ajudam os engenheiros a gerenciar o processo de experimentação de forma eficaz.

Por exemplo, um componente central do MLops é o gerenciamento de versões. Isso permite que as equipes rastreiem as principais métricas em um amplo conjunto de variantes de modelo para garantir que a splendid seja selecionada, ao mesmo pace em que permite uma fácil reversão em caso de erro.

Também é importante monitorar o desempenho do modelo ao longo do pace devido ao risco de desvio de dados. A deriva de dados ocorre quando os dados que um modelo examina na produção mudam drasticamente dos dados em que o modelo foi originalmente treinado, levando a previsões de baixa qualidade. Por exemplo, muitos modelos de ML que foram treinados para o comportamento do consumidor antes da pandemia de COVID-19 degradaram severamente em qualidade depois que os bloqueios mudaram a maneira como vivemos. O MLops trabalha para lidar com esses cenários criando práticas de monitoramento fortes e construindo infraestrutura para se adaptar rapidamente se ocorrer uma grande mudança. Vai muito além de lançar um modelo.

Mito 2: MLops é o mesmo que desenvolvimento de modelo

Realidade: MLops é a ponte entre o desenvolvimento de modelos e o uso bem-sucedido de ML na produção.

O processo usado para desenvolver um modelo em um ambiente de teste normalmente não é o mesmo que permitirá que ele seja bem-sucedido na produção. A execução de modelos em produção requer pipelines de dados robustos para gerar, processar e treinar modelos, geralmente abrangendo conjuntos de dados muito maiores do que os encontrados em desenvolvimento.

Bancos de dados e poder de computação normalmente precisarão ser movidos para ambientes distribuídos para gerenciar o aumento da carga. Grande parte desse processo precisa ser automatizado para garantir implantações confiáveis ​​e a capacidade de iterar rapidamente em escala. O rastreamento também deve ser muito mais robusto, pois os ambientes de produção verão dados fora do que está disponível em teste e, portanto, o potencial para o inesperado é muito maior. O MLops consiste em todas essas práticas para levar um modelo do desenvolvimento ao lançamento.

Mito 3: MLops é o mesmo que devops

Realidade: MLops trabalha com objetivos semelhantes aos devops, mas sua implementação difere de várias maneiras.

Embora MLops e devops se esforcem para tornar a implantação escalável e eficiente, atingir essa meta para sistemas de ML requer um novo conjunto de práticas. O MLops coloca uma ênfase mais distinctiveness na experimentação em relação ao DevOps. Ao contrário da implantação de instrument padrão, os modelos de ML geralmente são implantados com muitas variantes ao mesmo pace, portanto, existe a necessidade de monitoramento de modelo para comparar entre eles para selecionar uma versão splendid. Para cada redistribuição, não é suficiente apenas aterrar o código — os modelos precisam ser treinados novamente toda vez que houver uma mudança. Isso difere das implantações de devops padrão, pois o pipeline agora deve incluir uma fase de retreinamento e validação.

Para muitas das práticas comuns de devops, o MLops estende o escopo para atender às suas necessidades específicas. A integração contínua para MLops vai além do teste de código, mas também inclui verificações de qualidade de dados junto com validação de modelo. A implantação contínua é mais do que apenas um conjunto de pacotes de instrument, mas agora também inclui um pipeline para modificar ou reverter alterações nos modelos.

Mito 4: Corrigir um erro é apenas alterar linhas de código

Realidade: corrigir erros do modelo de ML na produção requer planejamento antecipado e vários fallbacks.

Se uma nova implantação levar a uma degradação no desempenho ou algum outro erro, as equipes de MLops precisam ter um conjunto de opções disponíveis para resolver o problema. A simples reversão para o código anterior geralmente não é suficiente, pois os modelos precisam ser treinados novamente antes da implantação. Em vez disso, as equipes devem manter várias versões de modelos à mão, para garantir que sempre haja uma versão pronta para produção disponível em caso de erro.

Além disso, em cenários em que há perda de dados ou uma mudança significativa na distribuição de dados de produção, as equipes precisam ter heurísticas de fallback simples para que o sistema possa pelo menos manter algum nível de desempenho. Tudo isso requer um planejamento prévio significativo, que é um aspecto central do MLops.

Mito 5: Governança é totalmente diferente de MLops

Realidade: Embora a governança tenha objetivos distintos dos MLops, muitos dos MLops podem ajudar a apoiar os objetivos de governança.

A governança do modelo gerencia a conformidade regulatória e o risco associado ao uso do sistema de ML. Isso inclui coisas como manter políticas apropriadas de proteção de dados do usuário e evitar viés ou resultados discriminatórios nas previsões do modelo. Embora o MLops seja normalmente visto como garantia de que os modelos estão oferecendo desempenho, essa é uma visão restrita do que ele pode oferecer.

O rastreamento e monitoramento de modelos em produção podem ser complementados com análises para melhorar a explicabilidade dos modelos e encontrar vieses nos resultados. A transparência nos pipelines de treinamento e implantação do modelo pode facilitar as metas de conformidade de processamento de dados. O MLops deve ser visto como uma prática para permitir ML escalável para todos os objetivos de negócios, incluindo desempenho, governança e gerenciamento de risco de modelo.

Mito 6: Gerenciar sistemas de ML pode ser feito em silos

Realidade: sistemas MLops bem-sucedidos exigem equipes colaborativas com conjuntos de habilidades híbridas.

A implantação do modelo de ML abrange muitas funções, incluindo cientistas de dados, engenheiros de dados, engenheiros de ML e engenheiros de devops. Sem colaboração e compreensão do trabalho de cada um, sistemas de ML eficazes podem se tornar difíceis de manejar em escala.

Por exemplo, um cientista de dados pode desenvolver modelos sem muita visibilidade ou entradas externas, o que pode levar a desafios na implantação devido a problemas de desempenho e dimensionamento. Talvez uma equipe de devops, sem insights sobre as principais práticas de ML, não desenvolva o rastreamento apropriado para permitir a experimentação de modelos iterativos.

É por isso que, em geral, é importante que todos os membros da equipe tenham um amplo entendimento do pipeline de desenvolvimento de modelos e das práticas de ML — com colaboração desde o primeiro dia.

Mito 7: Gerenciar sistemas de ML é arriscado e insustentável

Realidade: qualquer equipe pode aproveitar o ML em escala com as ferramentas e práticas certas.

Como o MLops ainda é um campo em crescimento, pode parecer que há uma grande complexidade. No entanto, o ecossistema está amadurecendo rapidamente e há uma variedade de recursos e ferramentas disponíveis para ajudar as equipes a terem sucesso em cada etapa do ciclo de vida do MLops.

Com os processos adequados, você pode liberar todo o potencial do ML em escala.

Krishnaram Kenthapadi é o cientista-chefe da Fiddler AI.