Nvidia adiciona funcionalidade ao gerenciamento de IA de borda

A Nvidia já tem uma reputação mundial e uma designação de participação de mercado nº 1 para fazer unidades de processamento gráfico (GPUs) de primeira linha para renderizar imagens, vídeos e animações 2D ou three-D para exibição. Ultimamente, tem usado seu sucesso para se aventurar no território de TI, mas sem fabricar {hardware}.

Um ano após a empresa lançado O Nvidia Fleet Command, um serviço baseado em nuvem para implantação, gerenciamento e dimensionamento de aplicativos de IA na borda, lançou novos recursos que ajudam a lidar com a distância entre esses servidores, melhorando o gerenciamento de implantações de IA de borda em todo o mundo.

A computação de borda é um sistema de computação distribuído com seu próprio conjunto de recursos que permite que os dados sejam processados ​​mais próximos de sua origem, em vez de ter que transferi-los para uma nuvem centralizada ou knowledge heart. A computação de borda acelera a análise reduzindo o pace de latência envolvido na movimentação de dados para frente e para trás. O Fleet Command foi projetado para permitir o controle de tais implantações por meio de sua interface na nuvem.

“No mundo da IA, a distância não é amiga de muitos gerentes de TI”, escreveu o gerente de advertising and marketing de produtos da Nvidia, Troy Estes, em um submit no weblog. “Ao contrário dos knowledge facilities, onde recursos e pessoal são consolidados, as empresas que implantam aplicativos de IA na borda precisam considerar como gerenciar a natureza extrema dos ambientes de borda.”

Cortando a latência em implantações remotas

Muitas vezes, os nós que conectam knowledge facilities ou nuvens e uma implantação remota de IA são difíceis de serem rápidos o suficiente para serem usados ​​em um ambiente de produção. Com a grande quantidade de dados que os aplicativos de IA exigem, é preciso uma rede de alto desempenho e gerenciamento de dados para que essas implantações funcionem bem o suficiente para atender aos acordos de nível de serviço.

“Você pode executar a IA na nuvem”, disse a gerente sênior de vídeo de IA da Nvidia, Amanda Saunders, ao VentureBeat. “Mas normalmente a latência necessária para enviar e receber coisas – bem, muitos desses locais não têm conexões de rede fortes; eles podem parecer conectados, mas nem sempre estão conectados. O Fleet Command permite que você implante esses aplicativos na borda, mas ainda mantenha esse controle sobre eles para que você possa acessar remotamente não apenas o sistema, mas o próprio aplicativo actual, para que você possa ver tudo o que está acontecendo.”

Com a escala de algumas implantações de IA de ponta, as organizações podem ter até milhares de locais independentes que devem ser gerenciados pela TI. Às vezes, eles devem ser executados em locais extremamente remotos, como plataformas de petróleo, medidores climáticos, lojas de varejo distribuídas ou instalações industriais. Essas conexões não são para os fracos de coração.

O Nvidia Fleet Command oferece uma plataforma gerenciada para orquestração de contêineres usando a distribuição Kubernetes que torna relativamente fácil provisionar e implantar aplicativos e sistemas de IA em milhares de ambientes distribuídos, tudo a partir de um único console baseado em nuvem, disse Saunders.

Otimizar conexões também faz parte da tarefa

A implantação é apenas uma etapa no gerenciamento de aplicativos de IA na borda. A otimização desses aplicativos é um processo contínuo que envolve a aplicação de patches, implantação de novos aplicativos e reinicialização de sistemas de borda, disse Estes. Os novos recursos do Fleet Command foram projetados para que esses fluxos de trabalho funcionem em um ambiente gerenciado com:

• Gerenciamento remoto avançado: O gerenciamento remoto no Fleet Command agora tem controles de acesso e sessões cronometradas, eliminando vulnerabilidades que vêm com conexões VPN tradicionais. Os administradores podem monitorar com segurança a atividade e solucionar problemas em pontos de presença remotos no conforto de seus escritórios. Os ambientes de borda são extremamente dinâmicos, o que significa que os administradores responsáveis ​​pelas implantações de IA de borda precisam ser igualmente dinâmicos para acompanhar as mudanças rápidas e garantir pouco pace de inatividade da implantação. Isso torna o gerenciamento remoto um recurso crítico para cada implantação de IA de borda.
• Provisionamento de GPU de várias instâncias (MIG): O MIG agora está disponível no Fleet Command, permitindo que os administradores particionem GPUs e atribuam aplicativos a partir da interface de usuário do Fleet Command. Ao permitir que as organizações executem vários aplicativos de IA na mesma GPU, o MIG permite que as organizações dimensionem corretamente suas implantações e tirem o máximo proveito de sua infraestrutura de borda.

Várias empresas têm usado os novos recursos do Fleet Command em um programa beta para estes casos de uso:

• Laboratório de dados dominóque fornece uma plataforma MLops corporativa que permite que cientistas de dados experimentem, pesquisem, testem e validem modelos de IA antes de implantá-los em produção;
• provedor de gerenciamento de vídeo Sistemas de Marco, que criou o AI Bridge, um gateway de interface de programação de aplicativos que facilita o acesso de aplicativos de IA a feeds de vídeo consolidados de dezenas de fluxos de câmeras; e
• IronYun AI plataforma Vaidio, que aplica análises de IA para ajudar varejistas, bandas, estádios da NFL, fábricas e outros a alimentar suas câmeras existentes com o poder da IA.

o mercado de gerenciamento de instrument de IA de ponta é projetado pela Astute Analytics para atingir US$ 8,05 bilhões até 2027. A Nvidia está competindo no mercado junto com Juniper Networks, VMWare, Cloudera, IBM e Dell Applied sciences, entre outras.