Intel Habana supera Nvidia nos últimos resultados do MLPerf

O Habana da Intel ultrapassou a Nvidia nos últimos resultados de benchmark MLPerf, que se tornou o conjunto de benchmarks padrão do setor para comparar aceleradores de IA. Embora a Nvidia já tenha anunciado sua GPU de última geração, os resultados indicam que a competição em {hardware} de treinamento de deep studying está se intensificando.

A Intel adquiriu a startup Habana no ultimate de 2019 por US$ 2 bilhões e, no ultimate do ano passado, sua primeira geração de 16nm Gaudi NPU (unidade de processamento neural) foi lançada na nuvem AWS da Amazon, alegando um desempenho 40% maior por dólar do que as instâncias baseadas em Nvidia. No entanto, como estava competindo com o A100 de 7 nm da Nvidia, o Habana alcançou seu valor cobrando um preço mais baixo, não superando a Nvidia no desempenho.

Isso mudou em maio, quando a Habana anunciou Gaudi2 em 7nm, o que aumenta o número de núcleos de processamento tensor em 3x e oferece até 96 GB de HBM2e. Habana afirmou que superou o A100, a GPU líder de knowledge middle de dois anos da Nvidia, por uma margem confortável. O lançamento veio bem a pace de ser incluído nos resultados mais recentes do MLPerf, que é a tentativa do setor de padronizar o benchmarking de aprendizado profundo.

Resultados de desempenho

Habana disse que tinha apenas 10 dias desde o lançamento para enviar seus resultados, então não foi capaz de realizar todos os oito testes, e se concentrou apenas nos dois benchmarks mais conhecidos: ResNet-50 (reconhecimento de imagem) e BERT (linguagem herbal em processamento). As submissões MLPerf passam por um processo de revisão por pares de um mês.

Habana também disse que o pouco pace significava que ainda não havia pace para otimizações completas de tool. Por exemplo, Gaudi2 adicionou suporte para um novo formato FP8 de baixa precisão, que não foi usado no envio. Em vez disso, a Habana optou por enviar resultados com base no mesmo tool que está disponível para todos os clientes Habana, enquanto a Nvidia supostamente u.s.a. otimizações não disponíveis em seu tool disponível para o cliente.

Isso significa que a diferença de desempenho em casos não otimizados é maior. Nos próprios testes de Habana usando repositórios públicos em instâncias do Azure, Habana mediu que Gaudi2 technology pelo menos 2x mais rápido no ResNet-50 e no BERT do que no A100. Habana argumenta que esses resultados são mais representativos para o desempenho pronto para uso que os clientes verão usando tool disponível publicamente.

Nos resultados do MLPerf, comparado ao envio da Nvidia, Gaudi2 conseguiu treinar o ResNet-50 em 36% menos pace, o que se traduz em um desempenho 56% maior. No entanto, pode-se notar que a startup de deep studying Resultados MLPerf do MosaicML, que usou PyTorch, apresentou um pace de treinamento de 23,8 minutos que superou a própria finalização da Nvidia, embora ainda mais lenta que Gaudi2. Por outro lado, outras otimizações de tool também podem reduzir o pace de envio de Gaudi2 no futuro.

No BERT, a vitória foi menor com Gaudi2 levando 7% menos pace que o A100. Comparado com Gaudi, Gaudi2 foi respectivamente 3x e 4.7x mais rápido no ResNet-50 e BERT. Os resultados para todos os aceleradores são baseados em servidores de 8 placas. A Habana mostrou ainda resultados para um sistema com 256 núcleos, que oferece desempenho quase 25x maior, em comparação com o limite de dimensionamento teórico de 32x, mostrando que o desempenho é mantido nas configurações de expansão em que esses chips são frequentemente implantados.

Qual é o próximo

A tese da maioria das startups de IA technology que eles poderiam vencer a Nvidia jogando fora todo o subject matter da GPU e se concentrando apenas no {hardware} de IA. Mesmo tendo apenas alguns dias para apresentar seus resultados desde o lançamento oficial, o Gaudi2 da Habana superou o A100 da Nvidia, ambos fabricados com tecnologia de processo de 7 nm, usando {hardware} pronto para uso e tool disponível comercialmente. Habana afirma ainda que a diferença de desempenho em código não otimizado, fora do MLPerf, pode ser awesome a 2x. Como a Habana provavelmente irá precificar seu Gaudi2 abaixo do A100 da Nviida, e cada chip Gaudi também possui 24 portas Ethernet 100G integradas, a diferença no custo general de propriedade pode ser ainda maior, como Habana e AWS já afirmam ser o caso do primeiro geração Gaudí.

Embora a Habana possa ter conquistado a coroa de desempenho nesta rodada, a Nvidia já anunciou sua próxima geração H100 com disponibilidade ainda este ano. Habana também ainda não anunciou nenhuma instância de nuvem para Gaudi2.