Como a DTN escalou os dados de previsão do pace para petabytes por dia

A previsão do pace é um dos desafios de dados mais antigos. Os cientistas de dados estão constantemente explorando como novas técnicas de modelagem ou melhores arquiteturas de dados podem permitir previsões mais precisas e oportunas. Os consumidores podem estar interessados ​​apenas em saber se devem levar guarda-chuva ou protetor sun, mas melhores previsões meteorológicas podem ajudar empresas de todos os tipos a melhorar as operações e reduzir o impacto de eventos climáticos severos.

A DTN, o maior serviço climático privado, aproveitou recentemente os novos serviços de computação de alto desempenho da Amazon Internet Services and products (AWS) para dimensionar drasticamente o tamanho, a precisão e a pontualidade do pipeline de previsão do pace. Essas previsões aprimoradas já estão mostrando dividendos para os serviços de inteligência operacional da DTN para agricultura, transporte, serviços públicos e outros setores.

“Nossa capacidade de utilizar a nuvem e a infraestrutura escalável de alta computação está melhorando nossa capacidade de aproveitar as previsões meteorológicas a cada dia”, disse o vice-presidente de operações meteorológicas da DTN, Renny Vandewege, à VentureBeat.

Vandewege disse que os dados meteorológicos atualmente alimentam um mercado de US$ 2 bilhões a US$ 3 bilhões para serviços de inteligência operacional e estão crescendo rapidamente

Uma combinação de vários novos serviços da AWS ajudou a DTN a dimensionar a quantidade de dados que processa de terabytes a petabytes por dia; aumentar a resolução de 10 km para “pixels” mais finos de 1 km; e aumentar o número de previsões de duas por dia para quatro por dia. A DTN planeja fornecer atualizações de hora em hora em um futuro próximo.

Movendo-se para a nuvem

A DTN começou a mover mais de sua infraestrutura de dados para a nuvem AWS para ajudar a dimensionar suas ofertas de dados e inteligência operacional. No entanto, ainda contava com seus próprios supercomputadores gerenciados para alimentar todas as suas previsões. Nos últimos anos, a equipe de Vandewege começou a trabalhar com a Amazon em uma prova de conceito para executar modelos de alta resolução usando clusters paralelos.

As novas melhorias de DTN aproveitam as novas instâncias Hpc6a da AWS criadas para cargas de trabalho de computação de alto desempenho (HPC) fortemente acopladas. Isso permite que a DTN monte um supercomputador digital em máquinas virtuais executadas em processadores AMD EPIC de terceira geração. Eles também oferecem uma relação preço-desempenho 65% melhor do que as ofertas anteriores.

Mais significativamente, a DTN united states o serviço AWS Parallel Cluster para provisionar e gerenciar dinamicamente novos clusters de HPC automaticamente. Isso ajudou a DTN a aproveitar as novas técnicas de previsão de conjunto, nas quais os resultados de vários modelos e suposições iniciais ligeiramente diferentes são sintetizados em uma previsão mais precisa.

A previsão de conjunto aproveita o fato de que diferentes modelos de previsão do pace funcionam um pouco melhor em diferentes condições. Em vez de tentar melhorar a precisão de um único modelo para todas as condições, os cientistas de dados executam vários modelos em paralelo e sintetizam os resultados em uma única previsão. Esses resultados de previsão de conjunto tendem a ser mais precisos em uma variedade de geografias, climas e condições climáticas.

Mas executar vários modelos requer encontrar uma maneira de agregar dados brutos de satélites, estações meteorológicas e radares, criar novas simulações para executar diferentes modelos e, em seguida, trazer todos os resultados em uma previsão oficial. A nova infraestrutura da AWS também permite que a DTN dimensione dinamicamente suas operações de previsão em resposta a eventos climáticos severos, como furacões e tornados, para ajudar seu cliente a priorizar operações preventivas e restaurativas.

“Trabalhamos com a Amazon para executar esses modelos com rapidez suficiente para que os dados sejam úteis”, disse Vandewege.

Criando novo valor

A DTN começou como um serviço de informações agrícolas na década de 1980, que generation entregue por rádio a terminais de vídeo dedicados, daí o nome ‘Rede de transmissão virtual’, que mais tarde foi abreviado. Sempre teve um uniqueness foco no clima. A empresa passou por várias mudanças significativas ao longo dos anos com o crescimento da Web e a concorrência de outros serviços meteorológicos. Ela migrou para serviços de inteligência operacional para vários setores, impulsionados por seus principais recursos de previsão do pace.

Por exemplo, a empresa desenvolveu uma oferta para transporte marítimo para otimizar rotas e velocidades usando um gêmeo virtual de navios específicos, juntamente com dados precisos de clima e correntes oceânicas.

“Uma melhoria de 5% na eficiência de combustível pode significar milhões ou até bilhões de dólares em economia para a indústria ao longo de um ano”, disse Vandewege.

A DTS também desenvolveu novos modelos de manutenção preditiva para ajudar as concessionárias a priorizar a substituição ou fortalecer os equipamentos com maior probabilidade de serem afetados por uma onda de calor, tempestade ou outros eventos relacionados ao clima.

Esses novos serviços se beneficiam da descoberta de novas maneiras de combinar dados climáticos mais precisos com outras informações. Por exemplo, os cientistas de dados da DTN reconstruíram as condições climáticas que combinaram com quedas de energia ou tipos específicos de falhas de equipamentos na última década.

“A mudança climática é um fator muito importante para nós”, disse Vandewege. “A DTN está focada em observar como as mudanças climáticas se manifestam como riscos climáticos e ajudar as empresas a se prepararem para esses riscos climáticos individuais e tomarem as medidas apropriadas”.

Novas abordagens para criar e modelar previsões em escala só crescerão em importância com a crescente incerteza das mudanças climáticas, convulsões políticas e vários choques na cadeia de suprimentos.