Viviamo in un tempo in cui i dati vengono registrati e loggati praticamente per tutto. Che si tratti di tempo di attività del server web, errori JavaScript, query di database, traffico CDN, errori Nginx, ecc. Ditelo voi, e probabilmente potete registrarlo. In un post precedente, abbiamo discusso l’importanza di integrare un servizio di gestione dei log nel vostro flusso di lavoro DevOps. Avere log centralizzati può essere fantastico, ma è anche necessario essere in grado di analizzarli in modo efficiente. Quindi oggi vogliamo coprire i 10 migliori strumenti di analisi dei log che puoi usare per analizzare meglio i tuoi log, eseguire ricerche in tempo reale e interrogare i dati di log specifici di cui hai bisogno.

Strumenti di analisi dei log

Come sempre più aziende passano al cloud, gli strumenti e i servizi di analisi e gestione dei log stanno diventando più critici. Ingegneri DevOps, amministratori di sistema, ingegneri dell’affidabilità del sito e sviluppatori web possono tutti utilizzare i log per prendere decisioni migliori basate sui dati.

Ci sono molti diversi strumenti di analisi dei log là fuori, qui sotto ci sono 10 dei più popolari. Ognuno di essi offre le proprie caratteristiche uniche di ricerca, query di coda dal vivo, ecc. Alcuni degli strumenti elencati sono più servizi di gestione dei log, ma offrono anche modi più efficienti per analizzare i vostri log rispetto a guardare i dati grezzi. Questi non sono in ordine particolare e includono sia strumenti gratuiti che a pagamento.

Incanala tutti i log, le metriche e gli eventi della macchina in un unico hub. Ottieni una chiara panoramica di ciò che sta accadendo nei tuoi ambienti distribuiti e individua l’ago nel pagliaio in pochissimo tempo.

– Logmatic

Loggly

Loggly è un fornitore di servizi di gestione e analisi dei log basato sul cloud fondato nel 2009. Il loro obiettivo principale è che la gestione dei log deve essere molto più semplice e che DevOps, SysOps e ingegneri non devono preoccuparsi della gestione dei log. Alcuni dei loro clienti includono EA, Autodesk, SendGrid, Atlassian, Sony Pictures e Citrix.

Le caratteristiche di loggly

Loggly ha sia piani gratuiti che a pagamento. Alcune delle caratteristiche di analisi di loggly includono la possibilità di vedere una vista a volo d’uccello dei tuoi log con il loro esploratore dinamico dei campi. È possibile eliminare il rumore con pochi semplici clic. Vantano anche potenti ricerche full-text, intervalli e booleani. Potete anche individuare facilmente le tendenze nei vostri log utilizzando le loro ricche viste e grafici. Se vedi un picco, puoi rapidamente restringere il campo a quel punto del log.

GoAccess

GoAccess è progettato per essere un veloce analizzatore di log basato sul terminale. La sua idea di base è quella di analizzare e visualizzare rapidamente le statistiche dei server web in tempo reale senza bisogno di usare il browser. È open source e disponibile su GitHub con oltre 2.900 stelle e più di 200 fork.

Caratteristiche di GoAccess

Abbiamo amato GoAccess perché è open source, e per questo è completamente gratuito da usare. Questo è uno strumento per coloro che amano usare il terminale e SSH e vogliono un accesso rapido ai loro dati. Si possono facilmente generare rapporti al volo con questo strumento, generandoli in tempo reale in HTML, JSON o CSV. Puoi vedere una demo dal vivo qui.

Altre caratteristiche includono la capacità di elaborare i log in modo incrementale, scegliendo il tuo formato di log, statistiche in tempo reale e stringhe di formato di log personalizzate predefinite.

logz.io

logz.io ti offre approfondimenti in tempo reale e utilizzabili nei tuoi dati di analisi dei log con ELK ospitato come servizio. ELK è una piattaforma di analisi dei log semplice ma robusta che costa una frazione del prezzo. Alcuni dei loro clienti includono Netflix, Facebook, LinkedIn, Cisco e Microsoft. logz.io è probabilmente uno dei maggiori concorrenti di Splunk, che è menzionato più avanti.

caratteristiche di logz.io

logz.io ha sia piani gratuiti che a pagamento. La risoluzione dei problemi di produzione è forse il caso d’uso più comune di log analytics. La loro interfaccia, che è alimentata da Kibana, consente di cercare attraverso milioni di record per indagare e individuare potenziali problemi. È possibile filtrare i risultati per server, applicazione o qualsiasi parametro personalizzato fino a raggiungere la fonte del problema. Se stai cercando un’alternativa a Splunk, potresti voler provare logz.io.

Graylog

Graylog è una piattaforma di gestione dei log open source che ti permette di cercare, analizzare e avvisare su tutti i tuoi file di log. Alcuni dei loro clienti includono BCBS, eBay, SAP, Cisco, LinkedIn e Twilio. È disponibile su GitHub con oltre 2.000 stelle e più di 300 fork.

Caratteristiche di Graylog

Perché è open source, Graylog è completamente gratuito da usare. Hanno anche una versione enterprise in cui si paga per licenza su un server. Alcune delle sue caratteristiche includono un’API REST e il motore di elaborazione flessibile di Graylog che rende facile analizzare e arricchire i log da qualsiasi fonte di dati. È possibile cercare attraverso terabyte di dati istantaneamente e anche salvare le query di ricerca da condividere in seguito con i vostri colleghi. La loro potente analisi drill-down e i grafici rendono facile individuare i problemi nei tuoi log.

Splunk

Splunk è un grande nome nello spazio di gestione dei log e delle applicazioni. Sono in giro dal 2003 e non sono nuovi arrivati quando si tratta di analizzare e monitorare i dati. Offrono grandi soluzioni per i grandi clienti aziendali.

Caratteristiche di Spunk

Splunk ha sia piani gratuiti che a pagamento. Il loro piano gratuito, Spunk light, permette di registrare fino a 500 MB di dati al giorno. I prezzi per i piani a pagamento dipendono dal volume di dati da elaborare. Splunk offre un ottimo modo per raccogliere, archiviare, indicizzare, cercare, correlare, visualizzare, analizzare e segnalare qualsiasi dato generato dalla macchina per identificare e risolvere problemi operativi e di sicurezza in modo più veloce, ripetibile e conveniente. Offrono potenti drill-down che permettono di andare facilmente indietro nel tempo usando query ad-hoc. Il loro dashboard e i grafici di tendenza forniscono anche un ottimo modo per individuare e visualizzare possibili tendenze.

Logmatic.io

Logmatic.io è uno strumento di analisi dei log progettato specificamente per aiutare a migliorare il software e le prestazioni aziendali. I fondatori hanno più di 10 anni di esperienza nel software in tempo reale e nei big data. La loro enfasi è sull’analisi dei vostri “dati macchina”.

Caratteristiche di Logmatic

Logmatic.io ha piani a pagamento a partire da $49 al mese. Alcune delle loro caratteristiche includono la possibilità di creare le proprie regole di analisi personalizzate che permettono al software di riconoscere automaticamente i modelli. Questo è supportato in Apache, Nginx, syslog, eventi JSON, ecc. Avete ricerche granulari sfaccettate e full-text fino al livello di log, così come log in tempo reale e ricerche in tempo reale. È possibile utilizzare query complesse come AND, OR, caratteri jolly, ecc. Ti forniscono tutti i tipi di grafici per individuare le tendenze, tutto da mappe geografiche, diagrammi di flusso e tabelle pivot!

Logstash

Logstash è uno strumento gratuito open source per gestire eventi e log. Puoi usarlo per raccogliere i log, analizzarli e memorizzarli per un uso successivo. Questo strumento va di pari passo con Elasticsearch e Kibana. Usarli insieme può essere una potente combinazione per uno strumento di analisi dei log. Sono tutti e tre disponibili su GitHub.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Caratteristiche di Logstash

Perché è open source, Logstash è completamente gratuito. Hanno anche una licenza a pagamento però disponibile per coloro che hanno bisogno di funzioni aggiuntive. È possibile utilizzare Elasticsearch, Kibana e Logstash insieme. Kibana ti permette di esplorare e visualizzare più facilmente i dati di log che porti con logstash, e elasticsearch ti dà la potente ricerca in tempo reale e le capacità di analisi.

Sumo Logic

Sumo Logic si concentra sull’apprendimento automatico per i log unificati e le metriche per scoprire intuizioni in tempo reale sulle esigenze delle applicazioni e sulle nuove opportunità dei clienti. Sono stati fondati nel 2010 e il loro servizio cloud-native analizza più di 100 petabyte di dati al giorno.

Caratteristiche diumo Logic

Sumo Logic ha sia piani gratuiti che a pagamento a partire da 90 dollari al mese. Offrono una caratteristica unica che chiamano apprendimento automatico. Questo permette di analizzare petabyte di dati e imparare da questo per scoprire modelli più rapidamente. Il loro strumento utilizza un’analisi avanzata che aiuta a dare un senso a grandi quantità di dati utilizzando l’indicizzazione e il filtraggio. Il loro dashboard intuitivo permette di individuare le anomalie impostando i filtri metrici predefiniti dal cliente.

Papertrail

Papertrail è più un servizio di gestione dei log, ma offre anche alcune grandi caratteristiche che rendono l’analisi dei log veloce! Alcuni dei loro clienti includono GitHub, Instacart, Product Hunt e DNSimple.

Caratteristiche di Papertrail

Papertrail ha sia piani gratuiti che a pagamento a partire da 7 dollari al mese. Alcune delle loro caratteristiche includono un intuitivo visualizzatore di log basato sul web e potenti strumenti a riga di comando. Hanno un’API REST e archivi a lungo termine con S3. Se sei uno sviluppatore, probabilmente ti piacerà quello che fa Papertrail! È possibile eseguire ricerche in coda dal vivo, cercare per tempo, contenuto, ricerche eleganti, salvare le ricerche e persino colorare i log in modo diverso. Hanno anche un widget dashboard per OS X e integrazioni con i vostri strumenti preferiti come Slack e Zendesk.

Fluentd

Fluentd è un altro strumento di analisi dei dati open source che permette di unificare i log da più fonti per analizzarli meglio e più facilmente. Alcuni degli utenti più importanti di Fluentd includono Microsoft, Amazon AWS e Atlassian.

Caratteristiche di Fluentd

Fluentd permette di disaccoppiare più fonti di dati come i log di accesso, i log delle app, i log di sistema, ecc. e unificarli in un unico livello di log. È quindi possibile filtrare, bufferizzare e indirizzare i log ai sistemi appropriati (ad esempio Hadoop, Elasticsearch, AWS, ecc.). Gli utenti di Fluentd hanno anche più di 300 plugin a loro disposizione per connettersi a una moltitudine di fonti di dati. Può fare tutto questo mantenendo una piccola impronta di memoria di soli 30-40 MB.

Sommario

Ci sono molti strumenti di analisi dei log per aiutarvi a capire meglio i vostri dati di log e analizzarli in modo più efficiente. Questo può aiutare a semplificare il vostro flusso di lavoro DevOps e farvi risparmiare tempo la prossima volta che si presenta un problema. L’ultima cosa che volete fare è passare ore a scavare attraverso dati di log non organizzati, cercando di trovare ciò che vi serve.