O Microsoft Lumos agora é código aberto, permitindo o monitoramento de métricas de aplicativos da Web e a detecção rápida de anomalias ao eliminar falsos positivos

Notícia
Microsoft / O Microsoft Lumos agora é código aberto, permitindo o monitoramento de métricas de aplicativos da Web e a detecção rápida de anomalias ao eliminar falsos positivos 3 minutos lidos

Microsoft



melhor placa-mãe mini itx

A Microsoft abriu o acesso a ‘Lumos’, uma poderosa biblioteca Python para detectar e diagnosticar automaticamente regressões métricas em aplicativos de “escala da web”. A biblioteca tem estado muito ativa dentro do Microsoft Teams e do Skype. Essencialmente, um 'detector de anomalias' altamente poderoso e inteligente agora é de código aberto e está disponível para desenvolvedores da web para detectar e resolver regressões em métricas de desempenho chave, eliminando quase a maioria dos falsos positivos.

O Microsoft Lumos agora é um código aberto. Ele estava sendo usado ativamente em produtos Microsoft selecionados e agora estará disponível para a comunidade geral de desenvolvimento de aplicativos e web. A biblioteca permitiu que os engenheiros detectassem centenas de mudanças nas métricas e rejeitassem milhares de alarmes falsos apresentados por detectores de anomalias.



Lumos reduz a taxa de alerta falso-positivo em mais de 90%, afirma a Microsoft:

Lumos é uma nova metodologia que inclui detectores de anomalias específicos de domínio existentes. No entanto, a Microsoft garante que a biblioteca Python pode reduzir a taxa de alerta falso-positivo em mais de 90 por cento. Em outras palavras, os desenvolvedores agora podem ir com segurança atrás de problemas persistentes em vez de intermitentes que não estavam tendo um efeito prejudicial a longo prazo.



A integridade dos serviços online geralmente é monitorada pelo rastreamento das métricas do Key Performance Indicator (KPI) ao longo do tempo. Os engenheiros que conduzem a 'Análise de Regressão' requerem muito tempo e recursos para eliminar questões que podem ser indicativas de problemas importantes. Esses problemas podem resultar em custos operacionais crescentes e até mesmo na perda de usuários se não forem tratados.



Desnecessário acrescentar que rastrear a causa raiz de cada regressão de KPI é demorado. Além disso, as equipes muitas vezes passam muito tempo analisando os problemas apenas para descobrir que são uma mera anomalia. É aqui que o Microsoft Lumos é útil. A biblioteca Python elimina o processo de estabelecer se uma mudança é devido a uma mudança na população ou a uma atualização do produto, fornecendo uma lista priorizada das variáveis ​​mais importantes para explicar as mudanças no valor da métrica.



O Microsoft Lumos também serve ao propósito mais amplo de compreender a diferença em uma métrica entre quaisquer dois conjuntos de dados. Curiosamente, a plataforma inclui 'viés' e, ao comparar um conjunto de dados de controle e tratamento, permanecendo agnóstico ao componente de série temporal, a Lumos pode investigar o anomalias.

Como funciona o Microsoft Lumos?

O Microsoft Lumos trabalha com os princípios de teste A / B para comparar pares de conjuntos de dados. A biblioteca Python começa verificando se a regressão na métrica entre os conjuntos de dados é estatisticamente significativa. Em seguida, segue-se com uma verificação do enviesamento da população e normalização do enviesamento para contabilizar quaisquer alterações populacionais entre os dois conjuntos de dados. A Lumos decide que não vale a pena investigar o problema se não houver regressão estatisticamente significativa na métrica. No entanto, se o delta na métrica for estatisticamente significativo, o Lumos marca os recursos e os classifica de acordo com sua contribuição para o delta na métrica de destino.

A Biblioteca Lumos Python serve como a principal ferramenta para monitoramento de cenários de centenas de métricas. Os desenvolvedores e equipes que conduzem análises de desempenho podem monitorar e trabalhar na confiabilidade das ligações, reuniões e serviços de rede telefônica pública comutada (PSTN) na Microsoft. A biblioteca está operacional no Azure Databricks, o serviço de análise de big data baseado em Apache Spark da empresa. Ele foi configurado para funcionar com vários trabalhos que são organizados de acordo com a prioridade, complexidade e tipo de métrica. Os trabalhos são concluídos de forma assíncrona. Isso significa que se o sistema detecta uma anomalia, um fluxo de trabalho do Lumos é acionado e a biblioteca analisa e verifica de forma inteligente se vale a pena perseguir e resolver a anomalia.

A Microsoft observou que o Lumos não tem garantia de capturar todas as regressões nos serviços. Além disso, o serviço exigirá um grande número de conjuntos de dados para oferecer insights confiáveis. A empresa está planejando incluir análises de métricas contínuas, executar melhor classificação de recursos e trazer também clustering de recursos. Essas etapas devem abordar o principal desafio da multicolinearidade na classificação de recursos.

Tag Microsoft