Wir leben in einer Zeit, in der Daten für so ziemlich alles aufgezeichnet und protokolliert werden. Ob es um die Betriebszeit von Webservern, JavaScript-Fehler, Datenbankabfragen, CDN-Verkehr, Nginx-Fehler usw. geht. Was immer Sie wollen, Sie können es wahrscheinlich protokollieren. In einem früheren Beitrag haben wir die Bedeutung der Integration eines Protokollverwaltungsdienstes in Ihren DevOps-Workflow erörtert. Zentralisierte Protokolle können großartig sein, aber Sie müssen auch in der Lage sein, sie effizient zu analysieren. Daher möchten wir heute die 10 besten Tools für die Protokollanalyse vorstellen, mit denen Sie Ihre Protokolle besser analysieren, Live-Suchen durchführen und die spezifischen Protokolldaten abfragen können, die Sie benötigen.

Tools für die Protokollanalyse

Da immer mehr Unternehmen in die Cloud wechseln, werden Tools und Dienste für die Protokollanalyse, die Protokollanalyse und die Protokollverwaltung immer wichtiger. DevOps-Ingenieure, Systemadministratoren, Site-Zuverlässigkeitsingenieure und Webentwickler können Protokolle nutzen, um bessere datengestützte Entscheidungen zu treffen.

Es gibt viele verschiedene Protokollanalyse-Tools, im Folgenden werden 10 der beliebtesten vorgestellt. Jedes von ihnen bietet seine eigenen einzigartigen Suchfunktionen, Live-Tail-Abfragen usw. Einige der aufgelisteten Tools sind eher Protokollverwaltungsdienste, bieten aber auch effizientere Möglichkeiten zur Analyse Ihrer Protokolle als die Betrachtung der Rohdaten. Diese sind in keiner bestimmten Reihenfolge aufgeführt und umfassen sowohl kostenlose als auch kostenpflichtige Tools.

Fassen Sie alle Protokolle, Metriken und Maschinenereignisse in einem einzigen Hub zusammen. Verschaffen Sie sich einen klaren Überblick über die Vorgänge in Ihren verteilten Umgebungen und finden Sie die Nadel im Heuhaufen im Handumdrehen.

– Logmatic

Loggly

Loggly ist ein 2009 gegründeter, cloudbasierter Anbieter von Logging-Management- und Analysediensten. Ihr Hauptaugenmerk liegt darauf, dass die Protokollverwaltung viel einfacher sein muss und dass DevOps, SysOps und Ingenieure sich nicht um die Protokollverwaltung kümmern müssen. Zu den Kunden gehören EA, Autodesk, SendGrid, Atlassian, Sony Pictures und Citrix.

Loggly-Funktionen

Loggly bietet sowohl kostenlose als auch kostenpflichtige Pläne an. Einige der Analysefunktionen von Loggly umfassen die Möglichkeit, Ihre Protokolle mit dem dynamischen Feld-Explorer aus der Vogelperspektive zu betrachten. Sie können das Rauschen mit ein paar einfachen Klicks aussortieren. Die Software bietet außerdem leistungsstarke Volltextsuchen, Bereiche und Boolesche Operatoren. Mithilfe der umfangreichen Ansichten und Diagramme können Sie außerdem leicht Trends in Ihren Protokollen erkennen. Wenn Sie eine Spitze sehen, können Sie sie schnell auf diesen Zeitpunkt im Protokoll eingrenzen.

GoAccess

GoAccess ist ein schneller, terminalbasierter Protokollanalysator. Seine Kernidee ist es, Webserver-Statistiken schnell und in Echtzeit zu analysieren und zu betrachten, ohne den Browser benutzen zu müssen. Es ist quelloffen und auf GitHub mit über 2.900 Sternen und mehr als 200 Forks verfügbar.

GoAccess features

Wir lieben GoAccess, weil es quelloffen ist und deshalb völlig kostenlos zu benutzen ist. Es ist ein Tool für alle, die gerne mit Terminal und SSH arbeiten und einen schnellen Zugriff auf ihre Daten wünschen. Sie können mit diesem Tool ganz einfach Berichte erstellen, indem Sie sie in Echtzeit in HTML, JSON oder CSV generieren. Eine Live-Demo können Sie sich hier ansehen.

Zu den weiteren Funktionen gehören die Möglichkeit der inkrementellen Verarbeitung von Logs, die Auswahl des Log-Formats, Echtzeit-Statistiken und vordefinierte benutzerdefinierte Log-Format-Strings.

logz.io

logz.io bietet Ihnen mit gehostetem ELK as a Service umsetzbare Einblicke in Ihre Log-Analyse-Daten in Echtzeit. ELK ist eine einfache, aber robuste Log-Analyseplattform, die nur einen Bruchteil des Preises kostet. Zu den Kunden gehören Netflix, Facebook, LinkedIn, Cisco und Microsoft. logz.io ist wahrscheinlich einer der größten Konkurrenten von Splunk, das weiter unten erwähnt wird.

logz.io features

logz.io hat sowohl kostenlose als auch kostenpflichtige Pläne. Die Fehlersuche bei Produktionsproblemen ist vielleicht der häufigste Anwendungsfall von Log-Analysen. Mit der auf Kibana basierenden Schnittstelle können Sie Millionen von Datensätzen durchsuchen, um potenzielle Probleme zu untersuchen und zu lokalisieren. Sie können die Ergebnisse nach Server, Anwendung oder einem beliebigen benutzerdefinierten Parameter filtern, bis Sie die Ursache des Problems gefunden haben. Wenn Sie nach einer Splunk-Alternative suchen, sollten Sie logz.io ausprobieren.

Graylog

Graylog ist eine Open-Source-Plattform für die Verwaltung von Protokollen, die es Ihnen ermöglicht, alle Ihre Protokolldateien zu durchsuchen, zu analysieren und Sie zu alarmieren. Zu den Kunden gehören BCBS, eBay, SAP, Cisco, LinkedIn und Twilio. Es ist auf GitHub mit über 2.000 Sternen und 300+ Forks verfügbar.

Funktionen von Graylog

Da es Open Source ist, kann Graylog völlig kostenlos genutzt werden. Es gibt auch eine Unternehmensversion, bei der pro Lizenz auf einem Server eine Gebühr erhoben wird. Zu den Funktionen gehören eine REST-API und die flexible Verarbeitungs-Engine von Graylog, die das Parsen und Anreichern von Protokollen aus beliebigen Datenquellen erleichtert. Sie können Terabytes von Daten sofort durchsuchen und sogar Suchanfragen speichern, um sie später mit Ihren Kollegen zu teilen. Die leistungsstarken Drill-Down-Analysen und Diagramme machen es einfach, Probleme in Ihren Protokollen zu erkennen.

Splunk

Splunk ist ein großer Name im Bereich Protokoll- und Anwendungsmanagement. Es gibt sie seit 2003 und sie sind keine Neulinge, wenn es um die Analyse und Überwachung von Daten geht. Sie bieten großartige Lösungen für größere Unternehmenskunden an.

Splunk-Funktionen

Splunk hat sowohl kostenlose als auch kostenpflichtige Pläne. Der kostenlose Plan, Spunk light, erlaubt es Ihnen, bis zu 500 MB Daten pro Tag zu protokollieren. Die Preise für die kostenpflichtigen Tarife hängen von der Menge der zu verarbeitenden Daten ab. Splunk bietet eine großartige Möglichkeit, maschinengenerierte Daten zu sammeln, zu speichern, zu indizieren, zu durchsuchen, zu korrelieren, zu visualisieren, zu analysieren und Berichte zu erstellen, um Betriebs- und Sicherheitsprobleme schneller, wiederholbar und kostengünstiger zu identifizieren und zu beheben. Sie bieten leistungsstarke Drilldowns, die es Ihnen ermöglichen, mit Ad-hoc-Abfragen einfach in die Vergangenheit zu gehen. Das Dashboard und die Trenddiagramme bieten außerdem eine hervorragende Möglichkeit, mögliche Trends zu erkennen und zu visualisieren.

Logmatic.io

Logmatic.io ist ein Tool zur Protokollanalyse, das speziell zur Verbesserung der Software- und Unternehmensleistung entwickelt wurde. Die Gründer haben mehr als 10 Jahre Erfahrung im Bereich Echtzeit- und Big-Data-Software. Ihr Schwerpunkt liegt auf der Analyse Ihrer „Maschinendaten“

Funktionen von Logmatic

Logmatic.io bietet kostenpflichtige Tarife ab 49 $ pro Monat. Zu den Funktionen gehört die Möglichkeit, eigene Parsing-Regeln zu erstellen, mit denen die Software automatisch Muster erkennen kann. Dies wird bei Apache, Nginx, Syslogs, JSON-Ereignissen usw. unterstützt. Sie haben die Möglichkeit, granulare Facetten- und Volltextsuchen bis hinunter zur Protokollebene sowie Echtzeitprotokolle und Echtzeitsuchen durchzuführen. Sie können komplexe Abfragen wie AND, OR, Wildcards usw. verwenden. Sie bieten Ihnen alle Arten von Diagrammen, um Trends zu erkennen, von Geokarten über Flussdiagramme bis hin zu Pivot-Tabellen!

Logstash

Logstash ist ein kostenloses Open-Source-Tool zur Verwaltung von Ereignissen und Protokollen. Sie können damit Protokolle sammeln, parsen und zur späteren Verwendung speichern. Dieses Tool geht Hand in Hand mit Elasticsearch und Kibana. Die gemeinsame Verwendung dieser Tools kann eine leistungsstarke Kombination für ein Protokollanalysetool sein. Alle drei sind auf GitHub verfügbar.

• Elastic / Logstash
• Elastic / Elasticsearch
• Elastic / Kibana

Funktionen von Logstash

Da es sich um Open Source handelt, ist Logstash völlig kostenlos. Es gibt jedoch auch eine kostenpflichtige Lizenz für diejenigen, die zusätzliche Funktionen benötigen. Sie können Elasticsearch, Kibana und Logstash zusammen verwenden. Mit Kibana können Sie die Logdaten, die Sie mit Logstash einbringen, leichter erforschen und visualisieren, und mit Elasticsearch erhalten Sie leistungsstarke Echtzeit-Such- und Analysefunktionen.

Sumo Logic

Sumo Logic konzentriert sich auf maschinelles Lernen für vereinheitlichte Logs und Metriken, um Echtzeit-Einsichten in die Anwendungsanforderungen und neue Kundenmöglichkeiten aufzudecken. Das Unternehmen wurde 2010 gegründet und analysiert mit seinem Cloud-nativen Service mehr als 100 Petabyte Daten pro Tag.

Sumo Logic Features

Sumo Logic bietet sowohl kostenlose als auch kostenpflichtige Tarife ab 90 US-Dollar pro Monat an. Sie bieten eine einzigartige Funktion, die sie als maschinelles Lernen bezeichnen. Damit können Sie Petabytes von Daten analysieren und daraus lernen, um Muster schneller zu erkennen. Das Tool verwendet fortschrittliche Analysemethoden, mit denen große Datenmengen durch Indizierung und Filterung sinnvoll genutzt werden können. Ihr intuitives Dashboard ermöglicht es Ihnen, Anomalien zu erkennen, indem Sie vordefinierte metrische Filter einrichten.

Papertrail

Papertrail ist eher ein Protokollverwaltungsdienst, bietet aber auch einige großartige Funktionen, die eine schnelle Analyse Ihrer Protokolle ermöglichen! Zu den Kunden gehören GitHub, Instacart, Product Hunt und DNSimple.

Papertrail-Funktionen

Papertrail bietet sowohl kostenlose als auch kostenpflichtige Tarife ab 7 $ pro Monat. Zu den Funktionen gehören ein intuitiver webbasierter Log-Viewer und leistungsstarke Befehlszeilen-Tools. Sie verfügen über eine REST-API und Langzeitarchive mit S3. Wenn Sie ein Entwickler sind, werden Sie wahrscheinlich mögen, was Papertrail tut! Sie können Live-Tail-Suchen durchführen, nach Zeit und Inhalt suchen, elegante Suchen durchführen, Ihre Suchen speichern und sogar Ihre Protokolle unterschiedlich einfärben. Es gibt sogar ein OS X-Dashboard-Widget und Integrationen mit Ihren Lieblingstools wie Slack und Zendesk.

Fluentd

Fluentd ist ein weiteres Open-Source-Tool zur Datenanalyse, mit dem Sie Protokolle aus mehreren Quellen zusammenführen können, um sie besser und einfacher zu analysieren. Zu den bekanntesten Nutzern von Fluentd gehören Microsoft, Amazon AWS und Atlassian.

Fluentd-Funktionen

Fluentd ermöglicht es Ihnen, mehrere Datenquellen wie Ihre Zugriffsprotokolle, Anwendungsprotokolle, Systemprotokolle usw. zu entkoppeln und in einer Protokollierungsschicht zu vereinen. Anschließend können Sie diese Protokolle filtern, puffern und an die entsprechenden Systeme (z. B. Hadoop, Elasticsearch, AWS usw.) weiterleiten. Fluentd-Benutzern stehen außerdem über 300 Plugins zur Verfügung, um eine Vielzahl von Datenquellen anzuschließen. Und das alles bei einem geringen Speicherbedarf von nur 30-40 MB.

Zusammenfassung

Es gibt zahlreiche Tools zur Protokollanalyse, die Ihnen helfen, Ihre Protokolldaten besser zu verstehen und effizienter zu analysieren. Dies kann dazu beitragen, Ihren DevOps-Workflow zu optimieren und Ihnen beim nächsten Problem Zeit zu sparen. Das Letzte, was Sie tun möchten, ist, sich stundenlang durch unorganisierte Protokolldaten zu wühlen, um das zu finden, was Sie brauchen.