Nous vivons à une époque où les données sont enregistrées et consignées pour à peu près tout. Que ce soit pour le temps de disponibilité du serveur web, les erreurs JavaScript, les requêtes de base de données, le trafic CDN, les erreurs Nginx, etc. Vous pouvez le nommer, et vous pouvez probablement l’enregistrer. Dans un précédent article, nous avons discuté de l’importance d’intégrer un service de gestion des journaux dans votre flux de travail DevOps. Avoir des logs centralisés peut être une bonne chose, mais vous devez également être en mesure de les analyser efficacement. Nous voulons donc aujourd’hui couvrir les 10 meilleurs outils d’analyse de logs que vous pouvez utiliser pour mieux analyser vos logs, exécuter des recherches de queue en direct et interroger les données de logs spécifiques dont vous avez besoin.

Outils d’analyse de logs

Alors que de plus en plus d’entreprises passent au cloud, les outils et services d’analyse de logs, d’analyse de logs et de gestion de logs deviennent plus critiques. Les ingénieurs DevOps, les administrateurs système, les ingénieurs en charge de la fiabilité des sites et les développeurs web peuvent tous utiliser les journaux pour prendre de meilleures décisions basées sur les données.

Il existe un grand nombre d’outils d’analyse de journaux différents, voici 10 des plus populaires. Chacun d’entre eux offre ses propres fonctionnalités de recherche uniques, des requêtes de queue en direct, etc. Certains des outils répertoriés sont davantage des services de gestion des journaux, mais ils offrent également des moyens plus efficaces d’analyser vos journaux par rapport à l’examen des données brutes. Ceux-ci ne sont pas dans un ordre particulier et comprennent des outils gratuits et payants.

Funnelisez tous les journaux, les métriques et les événements de la machine dans un seul hub. Obtenez une vue d’ensemble claire de ce qui se passe dans vos environnements distribués, et repérez l’aiguille dans la botte de foin en un rien de temps.

– Logmatic

Loggly

Loggly est un fournisseur de services de gestion et d’analyse des logs basé sur le cloud, fondé en 2009. Leur objectif principal est que la gestion des logs doit être beaucoup plus simple et que DevOps, SysOps et les ingénieurs ne devraient pas avoir à se soucier de la gestion des logs. Certains de leurs clients comprennent EA, Autodesk, SendGrid, Atlassian, Sony Pictures et Citrix.

Loggly caractéristiques

Loggly a des plans gratuits et payants. Certaines des fonctionnalités d’analyse de loggly incluent la possibilité de voir une vue d’ensemble de vos journaux avec leur explorateur de champ dynamique. Vous pouvez éliminer le bruit en quelques clics. Il offre également de puissantes recherches en texte intégral, des plages et des booléens. Vous pouvez également repérer facilement les tendances dans vos journaux en utilisant leurs vues et graphiques riches. Si vous voyez un pic, vous pouvez rapidement le réduire à ce point dans le journal.

GoAccess

GoAccess est conçu pour être un analyseur de journaux rapide et basé sur le terminal. Son idée principale est d’analyser rapidement et de visualiser les statistiques du serveur web en temps réel sans avoir besoin d’utiliser votre navigateur. Il est open source et disponible sur GitHub avec plus de 2 900 étoiles et 200+ forks.

Fonctionnalités de GoAccess

Nous aimons GoAccess parce qu’il est open source, et à cause de cela, il est complètement gratuit à utiliser. C’est un outil pour ceux qui aiment utiliser le terminal et SSH et qui veulent un accès rapide à leurs données. Vous pouvez facilement générer des rapports à la volée avec cet outil en les générant en temps réel en HTML, JSON ou CSV. Vous pouvez voir une démo en direct ici.

Les autres fonctionnalités comprennent la possibilité de traiter les journaux de manière incrémentielle, de choisir votre format de journal, des statistiques en temps réel et des chaînes de format de journal personnalisées prédéfinies.

logz.io

logz.io vous offre des aperçus en temps réel et exploitables de vos données d’analyse de journaux avec ELK hébergé en tant que service. ELK est une plateforme d’analyse de logs simple mais robuste qui coûte une fraction du prix. Certains de leurs clients comprennent Netflix, Facebook, LinkedIn, Cisco et Microsoft. logz.io est probablement l’un des plus grands concurrents de Splunk, qui est mentionné plus loin.

logz.io caractéristiques

logz.io a des plans gratuits et payants. Le dépannage des problèmes de production est peut-être le cas d’utilisation le plus courant de l’analyse des journaux. Leur interface, qui est alimentée par Kibana, vous permet d’effectuer des recherches dans des millions d’enregistrements pour enquêter et localiser les problèmes potentiels. Vous pouvez filtrer les résultats par serveur, application ou tout autre paramètre personnalisé jusqu’à ce que vous atteigniez la source du problème. Si vous recherchez une alternative à Splunk, vous pouvez essayer logz.io.

Graylog

Graylog est une plateforme de gestion de logs open source qui vous permet de rechercher, d’analyser et de vous alerter à travers tous vos fichiers de logs. Parmi ses clients figurent notamment BCBS, eBay, SAP, Cisco, LinkedIn et Twilio. Il est disponible sur GitHub avec plus de 2 000 étoiles et 300+ forks.

Fonctionnalités de Graylog

Parce qu’il est open source, Graylog est complètement gratuit à utiliser. Ils ont également une version d’entreprise où ils vous facturent par licence sur un serveur. Certaines de ses fonctionnalités comprennent une API REST et le moteur de traitement flexible de Graylog qui permet d’analyser et d’enrichir facilement les journaux à partir de n’importe quelle source de données. Vous pouvez rechercher instantanément dans des téraoctets de données et même enregistrer des requêtes de recherche pour les partager ultérieurement avec vos collègues. Leur puissante analyse descendante et leurs graphiques facilitent l’identification des problèmes dans vos journaux.

Splunk

Splunk est un grand nom dans l’espace de gestion des journaux et des applications. Ils ont été autour depuis 2003 ne sont pas des nouveaux venus quand il s’agit d’analyser et de surveiller les données. Ils offrent de grandes solutions pour les grandes entreprises.

Les caractéristiques de Splunk

Splunk a des plans gratuits et payants. Leur plan gratuit, Spunk light, vous permet jusqu’à enregistrer jusqu’à 500 Mo de données par jour. Le prix des plans payants dépend du volume de données que vous traitez. Splunk offre un excellent moyen de collecter, stocker, indexer, rechercher, corréler, visualiser, analyser et rendre compte de toutes les données générées par des machines afin d’identifier et de résoudre les problèmes opérationnels et de sécurité de manière plus rapide, reproductible et abordable. Ils offrent de puissantes possibilités d’exploration qui vous permettent de remonter facilement dans le temps à l’aide de requêtes ad hoc. Leur tableau de bord et leurs graphiques de tendances constituent également un excellent moyen de repérer et de visualiser les éventuelles tendances.

Logmatic.io

Logmatic.io est un outil d’analyse de logs conçu spécifiquement pour aider à améliorer les performances des logiciels et des entreprises. Les fondateurs ont plus de 10 ans d’expérience dans les logiciels en temps réel et les big data. Ils mettent l’accent sur l’analyse de vos « données machine ».

Logmatic features

Logmatic.io a des plans payants à partir de 49 $ par mois. Certaines de leurs fonctionnalités incluent la possibilité de créer vos propres règles d’analyse personnalisées qui permettent au logiciel de reconnaître automatiquement les modèles. Ceci est pris en charge dans Apache, Nginx, syslogs, événements JSON, etc. Vous disposez de recherches granulaires à facettes et en texte intégral jusqu’au niveau du journal, ainsi que de journaux et de recherches en temps réel. Vous pouvez utiliser des requêtes complexes telles que AND, OR, wildcards, etc. Ils vous fournissent toutes sortes de graphiques pour repérer les tendances, tout depuis les cartes géographiques, les organigrammes et les tableaux croisés dynamiques !

Logstash

Logstash est un outil open source gratuit pour gérer les événements et les journaux. Vous pouvez l’utiliser pour collecter des logs, les analyser et les stocker pour une utilisation ultérieure. Cet outil va de pair avec Elasticsearch et Kibana. Leur utilisation conjointe peut constituer une combinaison puissante pour un outil d’analyse de logs. Ils sont tous trois disponibles sur GitHub.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Caractéristiques de Logstash

Parce qu’il est open source, Logstash est complètement gratuit à utiliser. Ils ont également une licence payante bien que disponible pour ceux qui ont besoin de fonctionnalités supplémentaires. Vous pouvez utiliser elasticsearch, kibana et logstash ensemble. Kibana vous permet d’explorer et de visualiser plus facilement les données de log que vous apportez avec logstash, et elasticsearch vous donne les puissantes capacités de recherche et d’analyse en temps réel.

Sumo Logic

Sumo Logic se concentre sur l’apprentissage automatique pour les logs unifiés et les métriques afin de découvrir des informations en temps réel sur les besoins des applications et les nouvelles opportunités des clients. Ils ont été fondés en 2010 et leur service cloud-native analyse plus de 100 pétaoctets de données par jour.

Sumo Logic features

Sumo Logic a des plans gratuits et payants à partir de 90 $ par mois. Ils offrent une fonctionnalité unique qu’ils appellent l’apprentissage automatique. Cela vous permet d’analyser des pétaoctets de données et d’en tirer des enseignements pour découvrir des modèles plus rapidement. Leur outil utilise une analyse avancée qui aide à donner un sens à de grandes quantités de données en utilisant l’indexation et le filtrage. Leur tableau de bord intuitif vous permet de repérer les anomalies en mettant en place des filtres métriques prédéfinis par le client.

Papertrail

Papertrail est plus un service de gestion de logs, mais ils offrent également de grandes fonctionnalités qui rendent l’analyse de vos logs rapide ! Certains de leurs clients incluent GitHub, Instacart, Product Hunt, et DNSimple.

Papertrail features

Papertrail a des plans gratuits et payants à partir de 7 $ par mois. Certaines de leurs fonctionnalités comprennent un visualiseur de journal intuitif basé sur le Web et des outils de ligne de commande puissants. Ils ont une API REST et des archives à long terme avec S3. Si vous êtes un développeur, vous allez probablement aimer ce que fait Papertrail ! Vous pouvez exécuter des recherches de queue en direct, effectuer des recherches par heure, par contenu, des recherches élégantes, enregistrer vos recherches et même colorer vos journaux différemment. Ils ont même un widget de tableau de bord OS X et des intégrations avec vos outils préférés tels que Slack et Zendesk.

Fluentd

Fluentd est un autre outil d’analyse de données open source qui vous permet d’unifier les journaux de plusieurs sources afin de mieux et plus facilement les analyser. Quelques-uns des utilisateurs les plus notables de Fluentd incluent Microsoft, Amazon AWS et Atlassian.

Fluentd features

Fluentd vous permet de découpler plusieurs sources de données telles que vos journaux d’accès, vos journaux d’applications, vos journaux système, etc. et de les unifier en une seule couche de journalisation. Vous pouvez ensuite filtrer, mettre en mémoire tampon et acheminer ces journaux vers les systèmes appropriés (par exemple Hadoop, Elasticsearch, AWS, etc.). Les utilisateurs de Fluentd ont également plus de 300 plugins à leur disposition pour se connecter à une multitude de sources de données. Il peut le faire tout en gardant une petite empreinte mémoire de seulement 30-40 Mo.

Summary

Il existe de nombreux outils d’analyse de logs pour vous aider à mieux comprendre vos données de logs et à les analyser de manière plus efficace. Cela peut contribuer à rationaliser votre flux de travail DevOps et vous faire gagner du temps la prochaine fois qu’un problème surgit. La dernière chose que vous voulez faire est de passer des heures à fouiller dans des données de journal non organisées pour essayer de trouver ce dont vous avez besoin.