We leven in een tijd waarin gegevens worden vastgelegd en gelogd voor zo ongeveer alles. Of het nu gaat om de uptime van een webserver, JavaScript-fouten, databasequery’s, CDN-verkeer, Nginx-fouten, enzovoort. Noem maar op, en je kunt het waarschijnlijk loggen. In een eerdere post bespraken we het belang van het integreren van een log management service in je DevOps workflow. Het hebben van gecentraliseerde logs kan geweldig zijn, maar je moet ook in staat zijn om ze efficiënt te analyseren. Dus vandaag willen we de top 10 loganalysetools behandelen die u kunt gebruiken om uw logs beter te parseren, live staartzoekopdrachten uit te voeren en specifieke loggegevens op te vragen die u nodig hebt.

Loganalysetools

Naarmate meer en meer bedrijven naar de cloud verhuizen, worden loganalyse-, loganalyse- en logbeheertools en -diensten steeds belangrijker. DevOps-engineers, systeembeheerders, sitebetrouwbaarheidsingenieurs en webontwikkelaars kunnen allemaal logs gebruiken om betere gegevensgestuurde beslissingen te nemen.

Er zijn veel verschillende loganalysetools die er zijn, hieronder staan 10 van de meest populaire. Elk van hen biedt hun eigen unieke zoekfuncties, live staart query’s, enz. Sommige van de genoemde tools zijn meer log management diensten, maar ze bieden ook efficiëntere manieren om uw logs te analyseren in vergelijking met het kijken naar de ruwe gegevens. Deze staan niet in een bepaalde volgorde en omvatten zowel gratis als betaalde tools.

Funnel alle logs, metrics en machine events in een enkele hub. Krijg een duidelijk overzicht van wat er gebeurt in uw gedistribueerde omgevingen, en vind de naald in de hooiberg in een mum van tijd.

– Logmatic

Loggly

Loggly is een cloud-gebaseerde logging management en analytics service provider opgericht in 2009. Hun belangrijkste focus is dat logboekbeheer veel eenvoudiger moet zijn en dat DevOps, SysOps en Engineers zich geen zorgen hoeven te maken over logboekbeheer. Enkele van hun klanten zijn EA, Autodesk, SendGrid, Atlassian, Sony Pictures en Citrix.

Loggly-functies

Loggly heeft zowel gratis als betaalde plannen. Enkele van de analysemogelijkheden van Loggly zijn de mogelijkheid om je logboeken in vogelvlucht te bekijken met hun dynamische veldverkenner. U kunt de ruis met een paar eenvoudige klikken verwijderen. Ze beschikken ook over krachtige full-text zoekopdrachten, reeksen en booleans. Je kunt ook gemakkelijk trends in je logs ontdekken met behulp van de uitgebreide weergaven en grafieken. Als je een piek ziet, kun je het snel beperken tot dat punt in de tijd in de log.

GoAccess

GoAccess is ontworpen als een snelle, terminal-gebaseerde log analyzer. Het kernidee is om snel web server statistieken te analyseren en te bekijken in real time zonder je browser te hoeven gebruiken. Het is open source en beschikbaar op GitHub met meer dan 2.900 sterren en 200+ forks.

GoAccess features

We houden van GoAccess omdat het open source is, en daarom is het volledig gratis te gebruiken. Dit is een tool voor diegenen die graag terminal en SSH gebruiken en snel toegang willen tot hun gegevens. U kunt gemakkelijk rapporten genereren met deze tool on the fly door ze te genereren naar real-time HTML, JSON of CSV. U kunt hier een live demo bekijken.

Andere functies zijn onder andere de mogelijkheid om logs incrementeel te verwerken, uw logboekindeling te kiezen, realtime statistieken en vooraf gedefinieerde aangepaste logboekindelingstrings.

logz.io

logz.io biedt u realtime, bruikbare inzichten in uw logboekanalytische gegevens met gehoste ELK als een service. ELK is een eenvoudig maar robuust loganalyseplatform dat een fractie van de prijs kost. Enkele van hun klanten zijn Netflix, Facebook, LinkedIn, Cisco en Microsoft. logz.io is waarschijnlijk een van de grootste concurrenten van Splunk, dat hieronder verder wordt genoemd.

logz.io features

logz.io heeft zowel gratis als betaalde plannen. Het oplossen van productieproblemen is misschien wel de meest voorkomende toepassing van logboekanalyses. Hun interface, die wordt aangedreven door Kibana, laat je zoeken door miljoenen records om potentiële problemen te onderzoeken en te lokaliseren. U kunt de resultaten filteren op server, applicatie, of een aangepaste parameter totdat u de bron van het probleem bereikt. Als u op zoek bent naar een Splunk-alternatief, kunt u logz.io eens proberen.

Graylog

Graylog is een open-source log management platform waarmee u al uw logbestanden kunt doorzoeken, analyseren en u kunt waarschuwen. Enkele van hun klanten zijn BCBS, eBay, SAP, Cisco, LinkedIn, en Twilio. Het is beschikbaar op GitHub met meer dan 2.000 sterren en 300+ forks.

Graylog-functies

Omdat het open source is, is Graylog volledig gratis te gebruiken. Er is ook een enterprise-versie, waarbij je per licentie op een server moet betalen. Enkele van de functies zijn een REST API en Graylog’s flexibele processing engine die het gemakkelijk maakt om logs van elke gegevensbron te ontleden en te verrijken. U kunt terabytes aan gegevens onmiddellijk doorzoeken en zelfs zoekopdrachten opslaan om ze later met uw collega’s te delen. Dankzij de krachtige drill-downanalyses en grafieken kunt u eenvoudig problemen in uw logboeken opsporen.

Splunk

Splunk is een grote naam op het gebied van logboek- en toepassingsbeheer. Ze bestaan al sinds 2003 en zijn geen nieuwkomers als het gaat om het analyseren en monitoren van gegevens. Ze bieden geweldige oplossingen voor grotere zakelijke klanten.

Splunk-functies

Splunk heeft zowel gratis als betaalde plannen. Hun gratis plan, Spunk light, kunt u tot 500 MB gegevens per dag. De prijzen voor betaalde plannen zijn afhankelijk van het volume van de gegevens die u verwerkt. Splunk biedt een geweldige manier voor het verzamelen, opslaan, indexeren, zoeken, correleren, visualiseren, analyseren en rapporteren van alle door machines gegenereerde gegevens om operationele en beveiligingsproblemen te identificeren en op te lossen op een snellere, herhaalbare en meer betaalbare manier. Ze bieden krachtige drill-downs waarmee u gemakkelijk terug in de tijd kunt gaan met ad-hoc query’s. Hun dashboard en trendgrafieken bieden ook een geweldige manier om mogelijke trends te spotten en te visualiseren.

Logmatic.io

Logmatic.io is een loganalysetool die speciaal is ontworpen om de prestaties van software en bedrijven te helpen verbeteren. De oprichters hebben meer dan 10 jaar ervaring in real-time en big data software. De nadruk ligt op het analyseren van uw “machinedata”.

Logmatic-functies

Logmatic.io heeft betaalde plannen vanaf 49 dollar per maand. Enkele van hun functies zijn de mogelijkheid om je eigen aangepaste parsingregels te maken, waardoor de software automatisch patronen kan herkennen. Dit wordt ondersteund in Apache, Nginx, syslogs, JSON-events, enz. Je hebt faceted en full-text granulaire zoekopdrachten tot op het log niveau, evenals real-time logs en real-time zoekopdrachten. U kunt complexe queries gebruiken zoals AND, OR, wildcards. enz. Ze bieden je allerlei soorten grafieken om trends te zien, alles van geo-kaarten, stroomdiagrammen, en draaitabellen!

Logstash

Logstash is een gratis open source tool voor het beheren van events en logs. Je kunt het gebruiken om logs te verzamelen, te ontleden, en op te slaan voor later gebruik. Deze tool gaat hand in hand met zowel Elasticsearch als Kibana. Deze samen gebruiken kan een krachtige combinatie zijn voor een log analyse tool. Ze zijn alle drie beschikbaar op GitHub.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Logstash features

Omdat het open source is, is Logstash volledig gratis te gebruiken. Er is echter ook een betaalde licentie beschikbaar voor degenen die extra functies nodig hebben. Je kunt elasticsearch, kibana, en logstash samen gebruiken. Met Kibana kun je de loggegevens die je met logstash binnenhaalt eenvoudiger verkennen en visualiseren, en elasticsearch geeft je de krachtige realtime zoek- en analysemogelijkheden.

Sumo Logic

Sumo Logic richt zich op machine learning voor unified logs en metrics om realtime inzichten in applicatiebehoeften en nieuwe klantkansen bloot te leggen. Ze zijn opgericht in 2010 en hun cloud-native service analyseert meer dan 100 petabytes aan gegevens per dag.

Sumo Logic-functies

Sumo Logic heeft zowel gratis als betaalde plannen die beginnen bij 90 dollar per maand. Ze bieden een unieke functie die ze machine learning noemen. Hiermee kunt u petabytes aan gegevens analyseren en hiervan leren om sneller patronen bloot te leggen. Hun tool maakt gebruik van geavanceerde analyses die helpen om grote hoeveelheden gegevens te interpreteren met behulp van indexering en filtering. Met hun intuïtieve dashboard kunt u anomalieën ontdekken door vooraf door de klant gedefinieerde metrische filters in te stellen.

Papertrail

Papertrail is meer een logbeheerdienst, maar ze bieden ook een aantal geweldige functies waarmee u uw logs snel kunt analyseren! Enkele van hun klanten zijn GitHub, Instacart, Product Hunt en DNSimple.

Papertrail-functies

Papertrail heeft zowel gratis als betaalde plannen vanaf $7 per maand. Enkele van hun functies zijn een intuïtieve webgebaseerde logboekviewer en krachtige opdrachtregeltools. Ze hebben een REST API en archieven op lange termijn met S3. Als je een ontwikkelaar bent, zal je waarschijnlijk houden van wat Papertrail doet! Je kan live tail searches uitvoeren, zoeken op tijd, inhoud, elegante zoekopdrachten, je zoekopdrachten opslaan, en zelfs je logs een andere kleur geven. Ze hebben zelfs een OS X dashboard widget en integraties met je favoriete tools zoals Slack en Zendesk.

Fluentd

Fluentd is een andere open source data-analyse tool waarmee je logs uit meerdere bronnen kunt verenigen om ze beter en eenvoudiger te analyseren. Enkele van de bekendste gebruikers van Fluentd zijn Microsoft, Amazon AWS en Atlassian.

Fluentd-functies

Fluentd stelt u in staat om meerdere gegevensbronnen te ontkoppelen, zoals uw toegangslogboeken, app-logboeken, systeemlogboeken, enzovoort, en deze te verenigen in één logboeklaag. U kunt deze logs vervolgens filteren, bufferen en routeren naar de juiste systemen (bijv. Hadoop, Elasticsearch, AWS, enz.). Fluentd gebruikers hebben ook 300+ plugins tot hun beschikking om verbinding te maken met een veelheid aan gegevensbronnen. Het kan dit allemaal doen met een kleine geheugenvoetafdruk van slechts 30-40 MB.

Samenvatting

Er zijn tal van loganalysetools waarmee u uw loggegevens beter kunt begrijpen en op een efficiëntere manier kunt parseren. Dit kan helpen uw DevOps-workflow te stroomlijnen en u tijd te besparen wanneer zich de volgende keer een probleem voordoet. Het laatste wat u wilt doen is urenlang door ongeorganiseerde loggegevens spitten om te vinden wat u nodig hebt.