私たちはあらゆることについてデータを記録しログに残す時代に住んでいます。 Web サーバーの稼働時間、JavaScript のエラー、データベース クエリ、CDN トラフィック、Nginx のエラーなどです。 何でも記録することができるのです。 以前の記事で、ログ管理サービスをDevOpsのワークフローに統合することの重要性について説明しました。 ログを一元管理することは素晴らしいことですが、ログを効率的に分析できることも必要です。 そこで今日は、ログをよりよく解析し、ライブ テール検索を実行し、必要な特定のログ データを照会するために使用できる、トップ 10 のログ分析ツールを取り上げたいと思います。 DevOps エンジニア、システム管理者、サイトの信頼性エンジニア、および Web 開発者は皆、ログを使用して、より良いデータ主導の決定を下すことができます。

世の中にはさまざまなログ分析ツールがありますが、最も人気のあるものを 10 個紹介します。 それぞれ、独自の検索機能、ライブ テール クエリなどを提供しています。 リストアップされたツールのいくつかは、よりログ管理サービスですが、生データを見ることに比べてより効率的なログ分析方法を提供しています。 これらは順不同で、無料と有料の両方のツールを含みます。

すべてのログ、メトリクス、およびマシン イベントを 1 つのハブに渡します。

– Logmatic

Loggly

Loggly は、2009年に設立されたクラウド型のログ管理および分析サービスプロバイダです。 ログ管理はもっとシンプルであるべきで、DevOps、SysOps、エンジニアはログ管理について心配する必要はない、というのが彼らの主な焦点です。 また、「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」「SkyDesk」は、「Desk」「AutoDesk」「Atlasian」「Sony Pictures」などの企業が顧客となります。 logglyの分析機能としては、ダイナミックフィールドエクスプローラーでログを俯瞰的に見ることができることなどがあります。 数回のクリックでノイズを除去することができます。 また、強力な全文検索、範囲検索、ブーリアン検索を備えています。 また、豊富なビューとグラフを使用して、ログの傾向を簡単に見つけることができます。

GoAccess

GoAccess は、高速で端末ベースのログ アナライザーとして設計されています。 その中心的なアイデアは、ブラウザーを使用することなく、リアルタイムで Web サーバーの統計情報をすばやく分析および表示することです。 オープン ソースであり、GitHub で 2,900 以上のスターと 200 以上のフォークで利用できます。

GoAccess の特徴

オープン ソースであり、そのために完全に無料で使用できるので、私たちは GoAccess を愛用しています。 これは、ターミナルと SSH を使用するのが好きで、データにすばやくアクセスしたい人のためのツールです。 このツールを使って、リアルタイムにHTML、JSON、CSVに生成することで、簡単にその場でレポートを作成することができます。 ここでライブデモを見ることができます。

その他の機能には、ログを増分的に処理する機能、ログ フォーマットの選択、リアルタイム統計、および定義済みのカスタム ログ フォーマット文字列があります。

logz.io

ログ解析データに対するリアルタイムで実行可能な洞察をサービスとしてホストされる ELK で提供します。 ELKは、シンプルでありながら堅牢なログ分析プラットフォームで、わずかなコストで利用できます。 logz.ioは、おそらく後述のSplunkの最大の競合の1つです。

logz.io features

logz.io には無料プランと有料プランの両方が用意されています。 本番環境の問題のトラブルシューティングは、おそらくログ解析の最も一般的なユースケースでしょう。 Kibanaを使用したインターフェースにより、何百万ものレコードを検索し、潜在的な問題を調査して特定することができます。 問題の原因に到達するまで、サーバー、アプリケーション、または任意のカスタム・パラメーターで結果をフィルタリングすることができます。 もしあなたが Splunk の代替品を探しているなら、logz.io を試してみるとよいでしょう。

Graylog

Graylog は、すべてのログファイルにわたって検索、分析、警告することができるオープンソースのログ管理プラットホームです。 顧客には、BCBS、eBay、SAP、Cisco、LinkedIn、Twilioなどがあります。

Graylog features

オープンソースであるため、Graylogは完全に無料で使用することができます。 また、サーバー上のライセンスごとに課金されるエンタープライズ版もあります。 その特徴としては、REST APIとGraylogの柔軟な処理エンジンがあり、あらゆるデータソースからのログを簡単に解析し、リッチ化することができます。 テラバイト単位のデータを瞬時に検索し、検索クエリを保存して後で同僚と共有することも可能です。 その強力なドリルダウン分析とチャートにより、ログの問題を簡単に特定できます。

Splunk

Splunk は、ログとアプリケーション管理分野のビッグネームです。 彼らは2003年から存在しており、データを分析し、監視することに関しては新参者ではありません。

Splunk の特徴

Splunk には無料プランと有料プランの両方があります。 無料プランの Spunk light では、1 日あたり 500 MB までのデータを記録することができます。 また、有料プランの価格は、処理するデータの量に依存します。 Splunkは、機械が生成するあらゆるデータの収集、保存、インデックス作成、検索、関連付け、可視化、分析、レポート作成を行い、運用やセキュリティに関する問題をより迅速かつ反復可能で、より手頃な価格で特定、解決するための優れた方法を提供するものである。 また、アドホッククエリーを使用して簡単に過去にさかのぼることができる強力なドリルダウンを提供します。

Logmatic.io

Logmatic.io は、特にソフトウェアとビジネスのパフォーマンスを向上させるために設計されたログ分析ツールです。 創設者は、リアルタイムおよびビッグデータのソフトウェアで10年以上の経験を持っています。

Logmatic features

Logmatic.ioの有料プランは月額49ドルからとなっています。 その特徴としては、独自のカスタム解析ルールを作成し、ソフトウェアが自動的にパターンを認識できるようにする機能があります。 これは、Apache、Nginx、syslog、JSONイベントなどでサポートされています。 ログレベルまでのファセット検索や全文検索、またリアルタイムログやリアルタイム検索が可能です。 AND、OR、ワイルドカードなどの複雑なクエリを使用することができます。 ジオマップ、フローチャート、ピボットテーブルなど、あらゆる種類のグラフで傾向を把握できます！

Logstash

Logstash は、イベントとログを管理するための無料のオープンソースツールです。 ログを収集し、解析し、後で使用するために保存するために使用することができます。 このツールは、ElasticsearchとKibanaの両方と密接に連携しています。 これらを一緒に使うことで、ログ分析ツールとしては強力な組み合わせになります。 4909>

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Logstash features

オープンソースなので、完全に無料で使用することが可能です。 また、追加の機能が必要な場合は、有償ライセンスも利用できます。 elasticsearch、kibana、logstashを一緒に使用することができます。 また、elasticsearchは強力なリアルタイム検索と分析機能を提供します。

Sumo Logic

Sumo Logicは、アプリケーションニーズと新しい顧客機会へのリアルタイム洞察を明らかにするための統合ログとメトリックの機械学習に焦点を当てます。

Sumo Logicの特徴

Sumo Logicには、月額90ドルからの無料プランと有料プランがあります。 機械学習と呼ばれる独自の機能を提供しています。 これにより、ペタバイト単位のデータを分析し、そこから学習することで、より早くパターンを発見することができます。 このツールは、インデックスとフィルタリングを使用して、大量のデータの意味を理解するのに役立つ高度な分析を使用します。

Papertrail

Papertrail はログ管理サービスですが、ログをすばやく分析するための素晴らしい機能も提供しています!

Papertrail features

Papertrail には、無料プランと月額 $7 からの有料プランがあります。 その特徴としては、直感的な Web ベースのログ ビューアと強力なコマンド ライン ツールがあります。 REST APIやS3による長期アーカイブもあります。 もしあなたが開発者なら、きっとPapertrailがやっていることを気に入るだろう。 ライブテール検索、時間別検索、コンテンツ別検索、エレガント検索、検索結果の保存、さらにログの色分けも可能だ。 OS X のダッシュボード ウィジェットや、Slack や Zendesk などのお気に入りのツールとの統合もあります。

Fluentd

Fluentd は、複数のソースからログを統合して、より良く、より簡単に分析できるようにする、もうひとつのオープン ソースのデータ分析ツールです。 4909>

Fluentd の特徴

Fluentd では、アクセスログ、アプリログ、システムログなど、複数のデータソースを切り離し、1 つのログ層に統合できます。 そして、これらのログをフィルタリングし、バッファリングし、適切なシステム（例えば、Hadoop、Elasticsearch、AWSなど）へルーティングすることができます。 Fluentdのユーザーは、300以上のプラグインを使い捨てにして、多数のデータソースに接続することもできます。 Fluentd は、わずか 30 ～ 40 MB の小さなメモリ フットプリントを維持しながら、そのすべてを実行できます。

概要

ログ データの理解を深め、より効率的に解析するためのログ解析ツールは数多く存在します。 これは、DevOps ワークフローを合理化し、次に問題が発生したときに時間を節約するのに役立ちます。 必要なものを見つけるために、整理されていないログ データを何時間もかけて掘り下げることは、最も避けたいことです。