Vi lever i en tid då data registreras och loggas för i stort sett allt. Oavsett om det är för webbserverns drifttid, JavaScript-fel, databasfrågor, CDN-trafik, Nginx-fel osv. Du kan säga vad du vill och du kan förmodligen logga det. I ett tidigare inlägg diskuterade vi vikten av att integrera en logghanteringstjänst i ditt DevOps-arbetsflöde. Att ha centraliserade loggar kan vara bra, men du måste också kunna analysera dem effektivt. Så idag vill vi täcka de 10 bästa logganalysverktygen som du kan använda för att bättre analysera dina loggar, köra live tail sökningar och fråga efter de specifika loggdata du behöver.

Logganalysverktyg

I takt med att fler och fler företag flyttar över till molnet blir logganalys, logganalys och logghanteringsverktyg och -tjänster allt mer kritiska. DevOps-ingenjörer, systemadministratörer, tekniker som arbetar med webbplatsens tillförlitlighet och webbutvecklare kan alla använda loggar för att fatta bättre datadrivna beslut.

Det finns många olika logganalysverktyg, nedan följer 10 av de mest populära. Var och en av dem erbjuder sina egna unika sökfunktioner, live tail queries etc. Vissa av verktygen i listan är mer logghanteringstjänster, men de erbjuder också effektivare sätt att analysera dina loggar jämfört med att titta på rådata. Dessa är inte i någon särskild ordning och inkluderar både gratis och betalda verktyg.

Förmedla alla loggar, mätvärden och maskinhändelser till en enda hubb. Få en tydlig överblick över vad som händer i dina distribuerade miljöer och hitta nålen i höstacken på nolltid.

– Logmatic

Loggly

Loggly är en molnbaserad leverantör av loggningshantering och analystjänster som grundades 2009. Deras huvudfokus är att logghantering behöver vara mycket enklare och att DevOps, SysOps och ingenjörer inte ska behöva oroa sig för logghantering. Några av deras kunder är EA, Autodesk, SendGrid, Atlassian, Sony Pictures och Citrix.

Loggly-funktioner

Loggly har både gratis och betalda planer. Några av logglys analysfunktioner inkluderar möjligheten att se en fågelperspektiv över dina loggar med deras dynamiska fältutforskare. Du kan rensa ut bruset med några enkla klick. De kan också skryta med kraftfulla fulltextsökningar, intervall och booleans. Du kan också enkelt upptäcka trender i dina loggar med hjälp av deras rika vyer och grafer. Om du ser en spik kan du snabbt begränsa den till den tidpunkten i loggen.

GoAccess

GoAccess är utformad för att vara en snabb, terminalbaserad logganalysator. Dess kärnidé är att snabbt analysera och visa webbserverstatistik i realtid utan att behöva använda webbläsaren. Det är öppen källkod och finns på GitHub med över 2 900 stjärnor och 200+ gafflar.

GoAccess-funktioner

Vi älskar GoAccess för att det är öppen källkod, och på grund av det är det helt gratis att använda. Detta är ett verktyg för dem som älskar att använda terminal och SSH och vill ha snabb tillgång till sina data. Du kan enkelt generera rapporter med det här verktyget i farten genom att generera dem till HTML, JSON eller CSV i realtid. Du kan se en live-demo här.

Andra funktioner inkluderar möjligheten att bearbeta loggar stegvis, välja loggformat, statistik i realtid och fördefinierade anpassade loggformatsträngar.

logz.io

logz.io ger dig insikter i realtid och som du kan använda dig av för att analysera dina loggdata med värddatan ELK som en tjänst. ELK är en enkel men robust plattform för logganalys som kostar en bråkdel av priset. Några av deras kunder är Netflix, Facebook, LinkedIn, Cisco och Microsoft. logz.io är förmodligen en av de största konkurrenterna till Splunk, som nämns längre ner.

logz.io features

logz.io har både gratis och betalda planer. Felsökning av produktionsproblem är kanske det vanligaste användningsområdet för logganalys. Deras gränssnitt, som drivs av Kibana, låter dig söka bland miljontals poster för att undersöka och lokalisera potentiella problem. Du kan filtrera resultaten efter server, program eller någon anpassad parameter tills du når fram till problemets källa. Om du letar efter ett Splunk-alternativ kan du ge logz.io ett försök.

Graylog

Graylog är en logghanteringsplattform med öppen källkod som gör det möjligt för dig att söka, analysera och varna dig över alla dina loggfiler. Några av deras kunder är BCBS, eBay, SAP, Cisco, LinkedIn och Twilio. Den finns tillgänglig på GitHub med över 2 000 stjärnor och 300+ forks.

Graylogs funktioner

Då Graylog är öppen källkod är den helt gratis att använda. De har även en företagsversion där de tar betalt per licens på en server. Några av deras funktioner är ett REST API och Graylogs flexibla bearbetningsmotor som gör det enkelt att analysera och berika loggar från vilken datakälla som helst. Du kan söka igenom terabyte av data direkt och även spara sökfrågor för att senare dela dem med dina kollegor. Deras kraftfulla drill-down-analyser och diagram gör det enkelt att lokalisera problem i dina loggar.

Splunk

Splunk är ett stort namn inom logg- och programhantering. De har funnits sedan 2003 och är inga nykomlingar när det gäller analys och övervakning av data. De erbjuder bra lösningar för större företagskunder.

Splunk-funktioner

Splunk har både gratis och betalda planer. Deras gratisplan, Spunk light, ger dig möjlighet att logga upp till 500 MB data per dag. Priset för betalda planer beror på hur mycket data du behandlar. Splunk erbjuder ett utmärkt sätt att samla in, lagra, indexera, söka, korrelera, visualisera, analysera och rapportera om alla maskingenererade data för att identifiera och lösa drifts- och säkerhetsproblem på ett snabbare, repeterbart och mer prisvärt sätt. De erbjuder kraftfulla drill-downs som gör att du enkelt kan gå tillbaka i tiden med hjälp av ad hoc-förfrågningar. Deras instrumentpanel och trenddiagram ger också ett bra sätt att upptäcka och visualisera eventuella trender.

Logmatic.io

Logmatic.io är ett logganalysverktyg som är särskilt utformat för att hjälpa till att förbättra mjukvaru- och affärsprestanda. Grundarna har mer än 10 års erfarenhet av mjukvara i realtid och big data. Deras fokus ligger på att analysera dina ”maskindata”

Logmatic-funktioner

Logmatic.io har betalda planer som börjar på 49 dollar per månad. Några av deras funktioner inkluderar möjligheten att skapa egna anpassade parsingregler som gör det möjligt för programvaran att automatiskt känna igen mönster. Detta stöds i Apache, Nginx, syslogs, JSON-händelser osv. Du har facetterade och granulära sökningar i fulltext ner till loggnivå samt realtidsloggar och realtidssökningar. Du kan använda komplexa frågor som AND, OR, wildcards osv. De ger dig alla typer av grafer för att upptäcka trender, allt från geokartor, flödesdiagram och pivottabeller!

Logstash

Logstash är ett gratis verktyg med öppen källkod för hantering av händelser och loggar. Du kan använda det för att samla in loggar, analysera dem och lagra dem för senare användning. Det här verktyget går hand i hand med både Elasticsearch och Kibana. Att använda dessa tillsammans kan vara en kraftfull kombination för ett verktyg för logganalys. De finns alla tre tillgängliga på GitHub.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Logstash-funktioner

Då Logstash är öppen källkod är det helt gratis att använda. De har även en betald licens som dock finns tillgänglig för dem som behöver ytterligare funktioner. Du kan använda elasticsearch, kibana och logstash tillsammans. Med Kibana kan du lättare utforska och visualisera loggdata som du tar in med logstash, och elasticsearch ger dig de kraftfulla sök- och analysfunktionerna i realtid.

Sumo Logic

Sumo Logic fokuserar på maskininlärning för enhetliga loggar och mätvärden för att avslöja insikter i realtid om applikationsbehov och nya kundmöjligheter. De grundades 2010 och deras molnnativa tjänst analyserar mer än 100 petabyte data per dag.

Sumo Logic-funktioner

Sumo Logic har både kostnadsfria och betalda planer som börjar på 90 dollar per månad. De erbjuder en unik funktion som de kallar maskininlärning. Detta gör att du kan analysera petabyte av data och lära dig av detta för att snabbare avslöja mönster. Deras verktyg använder avancerad analys som hjälper till att förstå stora mängder data med hjälp av indexering och filtrering. Deras intuitiva instrumentpanel gör det möjligt att upptäcka avvikelser genom att ställa in kundfördefinierade metriska filter.

Papertrail

Papertrail är mer av en logghanteringstjänst, men de erbjuder också några bra funktioner som gör det snabbt att analysera dina loggar! Några av deras kunder är GitHub, Instacart, Product Hunt och DNSimple.

Papertrails funktioner

Papertrail har både kostnadsfria och betalda planer som börjar på 7 dollar per månad. Några av deras funktioner är en intuitiv webbaserad loggvisare och kraftfulla kommandoradsverktyg. De har ett REST API och långtidsarkiv med S3. Om du är en utvecklare kommer du förmodligen att gilla vad Papertrail gör! Du kan köra live tail sökningar, söka efter tid, innehåll, eleganta sökningar, spara dina sökningar och till och med färgsätta dina loggar på olika sätt. De har till och med en OS X dashboard widget och integrationer med dina favoritverktyg som Slack och Zendesk.

Fluentd

Fluentd är ett annat dataanalysverktyg med öppen källkod som gör att du kan förena loggar från flera källor för att bättre och enklare analysera dem. Några av Fluentds mest kända användare är Microsoft, Amazon AWS och Atlassian.

Fluentd-funktioner

Fluentd gör det möjligt för dig att frikoppla flera datakällor, t.ex. åtkomstloggar, apploggar, systemloggar osv. och förena dem i ett loggningslager. Du kan sedan filtrera, buffra och dirigera dessa loggar till lämpliga system (t.ex. Hadoop, Elasticsearch, AWS osv.). Fluentd-användare har också över 300 plugins till sitt förfogande för att ansluta till en mängd datakällor. Det kan göra allt detta samtidigt som det har ett litet minnesutrymme på endast 30-40 MB.

Sammanfattning

Det finns gott om logganalysverktyg som hjälper dig att bättre förstå dina loggdata och analysera dem på ett mer effektivt sätt. Detta kan bidra till att effektivisera ditt DevOps-arbetsflöde och spara tid nästa gång ett problem dyker upp. Det sista du vill göra är att tillbringa timmar med att gräva i oorganiserad loggdata för att hitta det du behöver.