We live in a time where data is recorded and logged for just about about everything. Quer seja para o tempo de funcionamento do servidor web, erros de JavaScript, consultas a bases de dados, tráfego CDN, erros Nginx, etc. Dê-lhe um nome, e provavelmente pode registá-lo. Em um post anterior, discutimos a importância de integrar um serviço de gerenciamento de logs no seu fluxo de trabalho DevOps. Ter logs centralizados pode ser ótimo, mas você também precisa ser capaz de analisá-los eficientemente. Portanto, hoje queremos cobrir as 10 principais ferramentas de análise de log que você pode usar para analisar melhor seus logs, executar buscas em tempo real e consultar os dados de log específicos que você precisa.

Ferramentas de análise de log

Quando mais e mais empresas se movem para a nuvem, a análise de log, a análise de log e as ferramentas e serviços de gerenciamento de log estão se tornando mais críticos. Os engenheiros DevOps, administradores de sistemas, engenheiros de confiabilidade de sites e desenvolvedores da Web podem todos usar os logs para tomar melhores decisões com base em dados.

Existem muitas ferramentas diferentes de análise de logs, abaixo estão 10 das mais populares. Cada uma delas oferece seus próprios recursos exclusivos de busca, consultas ao vivo, etc. Algumas das ferramentas listadas são mais serviços de gerenciamento de logs, mas também oferecem formas mais eficientes de analisar seus logs em comparação com a análise dos dados brutos. Estes não estão em ordem particular e incluem tanto ferramentas grátis como pagas.

Tornar todos os logs, métricas e eventos da máquina em um único hub. Obtenha uma visão clara do que está acontecendo em todos os seus ambientes distribuídos, e veja a agulha no palheiro em pouco tempo.

– Logmatic

Loggly

Loggly é um provedor de serviços de gerenciamento e análise de logs baseado em nuvem, fundado em 2009. Seu foco principal é que o gerenciamento de logs precisa ser muito mais simples e que DevOps, SysOps e Engenheiros não devem ter que se preocupar com o gerenciamento de logs. Alguns de seus clientes incluem EA, Autodesk, SendGrid, Atlassian, Sony Pictures e Citrix.

Loggly recursos

Loggly tem planos gratuitos e pagos. Algumas das características de análise do loggly incluem a capacidade de ver uma vista aérea dos seus logs com o seu explorador de campo dinâmico. Você pode eliminar o ruído com alguns simples cliques. Eles também possuem poderosas buscas de texto completo, alcance e booleans. Você também pode identificar facilmente as tendências em seus troncos usando suas ricas vistas e gráficos. Se você vir um pico, você pode rapidamente estreitá-lo até aquele ponto no log.

GoAccess

GoAccess é projetado para ser um analisador de log rápido, baseado em terminal. Sua idéia central é analisar e visualizar rapidamente as estatísticas do servidor web em tempo real sem a necessidade de usar seu navegador. Ele é de código aberto e disponível no GitHub com mais de 2.900 estrelas e 200+ garfos.

Características do GoAccess

Adoramos o GoAccess porque ele é de código aberto, e por causa disso, ele é completamente livre para usar. Esta é uma ferramenta para aqueles que adoram usar o terminal e o SSH e querem acesso rápido aos seus dados. Você pode facilmente gerar relatórios com esta ferramenta na hora, gerando-os para HTML, JSON ou CSV em tempo real. Você pode ver uma demonstração ao vivo aqui.

Outras características incluem a capacidade de processar logs incrementalmente, escolhendo seu formato de log, estatísticas em tempo real e strings pré-definidas de formato de log personalizado.

logz.io

logz.io oferece a você insights em tempo real e acionáveis sobre seus dados de análise de log com o ELK hospedado como um serviço. O ELK é uma plataforma de análise de log simples mas robusta que custa uma fração do preço. Alguns dos seus clientes incluem Netflix, Facebook, LinkedIn, Cisco, e Microsoft. logz.io é provavelmente um dos maiores concorrentes do Splunk, que é mencionado mais abaixo.

logz.io possui características

logz.io tem planos gratuitos e pagos. A resolução de problemas de produção é talvez o caso de uso mais comum da análise logística. Sua interface, que é alimentada pelo Kibana, permite que você pesquise através de milhões de registros para investigar e identificar possíveis problemas. Você pode filtrar resultados por servidor, aplicativo ou qualquer parâmetro personalizado até que você chegue à origem do problema. Se você está procurando por uma alternativa Splunk você pode querer dar ao logz.io uma tentativa.

Graylog

Graylog é uma plataforma de gerenciamento de logs de código aberto que permite que você pesquise, analise e alerte através de todos os seus arquivos de log. Alguns de seus clientes incluem BCBS, eBay, SAP, Cisco, LinkedIn, e Twilio. Ele está disponível no GitHub com mais de 2.000 estrelas e 300+ garfos.

Características do Graylog

Por ser de código aberto, o Graylog é completamente livre para usar. Eles também têm uma versão empresarial onde eles cobram por licença em um servidor. Algumas de suas características incluem uma API REST e o mecanismo de processamento flexível do Graylog, que facilita a análise e o enriquecimento de logs de qualquer fonte de dados. Você pode pesquisar por terabytes de dados instantaneamente e até mesmo salvar consultas de pesquisa para serem compartilhadas posteriormente com seus colegas. Suas poderosas análises de drill-down e gráficos tornam fácil apontar problemas em seus logs.

Splunk

Splunk é um grande nome no espaço de gerenciamento de logs e aplicações. Eles existem desde 2003 não são novatos quando se trata de analisar e monitorar dados. Eles oferecem grandes soluções para grandes clientes empresariais.

Splunk tem características

Splunk tem planos gratuitos e pagos. O plano gratuito deles, Spunk light, permite que você logue até 500 MB de dados por dia. O preço dos planos pagos depende do volume de dados que você está processando. Splunk oferece uma ótima maneira de coletar, armazenar, indexar, pesquisar, correlacionar, visualizar, analisar e reportar qualquer dado gerado por máquina para identificar e resolver problemas operacionais e de segurança de uma maneira mais rápida, repetível e acessível. Eles oferecem poderosas pesquisas que permitem que você volte facilmente no tempo usando consultas ad-hoc. Seu painel de controle e gráficos de tendências também fornecem uma ótima maneira de detectar e visualizar possíveis tendências.

Logmatic.io

Logmatic.io é uma ferramenta de análise de log projetada especificamente para ajudar a melhorar o software e o desempenho do negócio. Os fundadores têm mais de 10 anos de experiência em tempo real e grandes softwares de dados. A ênfase deles é na análise dos seus “dados de máquina”

Características Logmáticas

Logmatic.io tem planos pagos a partir de $49 por mês. Algumas de suas características incluem a capacidade de criar suas próprias regras de análise personalizadas que permitem que o software reconheça padrões automaticamente. Isto é suportado no Apache, Nginx, syslogs, eventos JSON, etc. Você tem buscas granulares facetadas e de texto completo até o nível de log, assim como logs em tempo real e buscas em tempo real. Você pode usar consultas complexas como AND, OR, wildcards, etc. Eles fornecem-lhe todo o tipo de gráficos para detectar tendências, tudo desde mapas geo, fluxogramas e tabelas pivot!

Logstash

Logstash é uma ferramenta gratuita de código aberto para gerir eventos e logs. Você pode usá-lo para coletar logs, analisá-los, e armazená-los para uso posterior. Esta ferramenta anda de mãos dadas com o Elasticsearch e o Kibana. O uso destes juntos pode ser uma combinação poderosa para uma ferramenta de análise de logs. Eles estão todos disponíveis no GitHub.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Características do Logstash

Por ser de código aberto, o Logstash é completamente livre para usar. Eles também têm uma licença paga, embora disponível para aqueles que precisam de recursos adicionais. Você pode usar o Elasticsearch, kibana e logstash juntos. O Kibana permite que você explore e visualize mais facilmente os dados de log que você traz com o logstash, e o elasticsearch dá a você as poderosas capacidades de busca e análise em tempo real.

Sumo Logic

Sumo Logic foca na aprendizagem de máquinas para logs e métricas unificadas para descobrir insights em tempo real sobre as necessidades do aplicativo e novas oportunidades de clientes. Eles foram fundados em 2010 e seu serviço nativo de nuvem analisa mais de 100 petabytes de dados por dia.

Sumo Logic possui recursos

Sumo Logic tem planos gratuitos e pagos a partir de $90 por mês. Eles oferecem uma característica única que eles chamam de aprendizado por máquina. Isto permite que você analise petabytes de dados e aprenda com isto para descobrir padrões mais rapidamente. Sua ferramenta utiliza análises avançadas que ajudam a dar sentido a grandes quantidades de dados usando indexação e filtragem. Seu painel de controle intuitivo permite detectar anomalias através da configuração de filtros métricos predefinidos pelo cliente.

Papertrail

Papertrail é mais um serviço de gerenciamento de logs, mas eles também oferecem alguns recursos excelentes que tornam a análise de seus logs mais rápida! Alguns de seus clientes incluem GitHub, Instacart, Product Hunt, e DNSimple.

CaracterísticasPapertrail

Papertrail tem planos gratuitos e pagos a partir de $7 por mês. Algumas de suas características incluem um visualizador de logs intuitivo baseado na web e poderosas ferramentas de linha de comando. Eles têm uma API REST e arquivos de longo prazo com S3. Se você é um desenvolvedor, você provavelmente vai gostar do que o Papertrail está fazendo! Você pode executar buscas ao vivo, buscar por tempo, conteúdo, buscas elegantes, salvar suas buscas e até colorir seus logs de forma diferente. Eles têm até mesmo um widget do OS X e integrações com suas ferramentas favoritas como Slack e Zendesk.

Fluentd

Fluentd é outra ferramenta de análise de dados de código aberto que lhe permite unificar logs de múltiplas fontes a fim de melhor e mais facilmente analisá-los. Alguns dos utilizadores mais notáveis da Fluentd incluem Microsoft, Amazon AWS e Atlassian.

Fluentd características

Fluentd permite desacoplar múltiplas fontes de dados como os seus logs de acesso, logs de aplicação, logs de sistema, etc. e unificá-los numa única camada de logs. Você pode então filtrar, buffer e encaminhar esses logs para os sistemas apropriados (por exemplo, Hadoop, Elasticsearch, AWS, etc). Os usuários Fluentd também têm mais de 300 plugins no seu descartável para se conectar a uma infinidade de fontes de dados. Ele pode fazer tudo isso mantendo uma pequena área de memória de apenas 30-40 MB.

Sumário

Existem muitas ferramentas de análise de logs para ajudá-lo a entender melhor seus dados de log e analisá-los de uma maneira mais eficiente. Isto pode ajudar a simplificar o seu fluxo de trabalho DevOps e poupar-lhe tempo na próxima vez que surgir um problema. A última coisa que você quer fazer é passar horas pesquisando dados de log não organizados tentando encontrar o que você precisa.