Vi lever i en tid, hvor data registreres og logges for stort set alt. Uanset om det er for webserverens oppetid, JavaScript-fejl, databaseforespørgsler, CDN-trafik, Nginx-fejl osv. Du kan nævne det, og du kan sandsynligvis logge det. I et tidligere indlæg diskuterede vi vigtigheden af at integrere en loghåndteringstjeneste i dit DevOps-workflow. Det kan være godt at have centraliserede logs, men du skal også være i stand til at analysere dem effektivt. Så i dag vil vi gerne dække de 10 bedste loganalyseværktøjer, som du kan bruge til bedre at analysere dine logs, køre live tail søgninger og forespørge de specifikke logdata, du har brug for.

Loganalyseværktøjer

I takt med at flere og flere virksomheder flytter til skyen, bliver loganalyse, loganalyse og loghåndteringsværktøjer og -tjenester mere og mere kritiske. DevOps-ingeniører, systemadministratorer, webstedets pålidelighedsteknikere og webudviklere kan alle bruge logs til at træffe bedre datadrevne beslutninger.

Der findes mange forskellige loganalyseværktøjer, herunder er 10 af de mest populære. Hver af dem tilbyder deres egne unikke søgefunktioner, live tail forespørgsler osv. Nogle af de anførte værktøjer er mere loghåndteringstjenester, men de tilbyder også mere effektive måder at analysere dine logs på i forhold til at se på de rå data. Disse er ikke i nogen bestemt rækkefølge og omfatter både gratis og betalte værktøjer.

Funnel alle logs, metrikker og maskinhændelser ind i en enkelt hub. Få et klart overblik over, hvad der sker på tværs af dine distribuerede miljøer, og find nålen i høstakken på ingen tid.

– Logmatic

Loggly

Loggly er en cloudbaseret leverandør af logningshåndtering og analysetjenester, der blev grundlagt i 2009. Deres hovedfokus er, at loghåndtering skal være meget enklere, og at DevOps, SysOps og ingeniører ikke skal bekymre sig om loghåndtering. Nogle af deres kunder omfatter EA, Autodesk, SendGrid, Atlassian, Sony Pictures og Citrix.

Loggly-funktioner

Loggly har både gratis og betalte abonnementer. Nogle af logglys analyserende funktioner omfatter muligheden for at se et fugleperspektiv af dine logs med deres dynamiske feltudforsker. Du kan frasortere støjen med et par enkle klik. De kan også prale af kraftfulde fuldtekstsøgninger, intervaller og booleans. Du kan også nemt se tendenser i dine logs ved hjælp af deres omfattende visninger og grafer. Hvis du ser en spike, kan du hurtigt indsnævre den til det pågældende tidspunkt i loggen.

GoAccess

GoAccess er designet til at være en hurtig, terminalbaseret loganalyse. Dens kerneidé er hurtigt at analysere og se webserverstatistik i realtid uden at skulle bruge din browser. Den er open source og tilgængelig på GitHub med over 2.900 stjerner og 200+ forks.

GoAccess-funktioner

Vi elsker GoAccess, fordi den er open source, og fordi den derfor er helt gratis at bruge. Dette er et værktøj til dem, der elsker at bruge terminal og SSH, og som ønsker hurtig adgang til deres data. Du kan nemt generere rapporter med dette værktøj on the fly ved at generere dem til HTML, JSON eller CSV i realtid. Du kan se en live-demo her.

Andre funktioner omfatter muligheden for at behandle logs inkrementelt, vælge dit logformat, statistik i realtid og foruddefinerede brugerdefinerede logformatstrenge.

logz.io

logz.io giver dig indsigt i realtid og brugbar indsigt i dine loganalysedata med hosted ELK som en tjeneste. ELK er en enkel, men robust loganalyseplatform, der koster en brøkdel af prisen. Nogle af deres kunder omfatter Netflix, Facebook, LinkedIn, LinkedIn, Cisco og Microsoft. logz.io er nok en af de største konkurrenter til Splunk, som er nævnt længere nede.

logz.io funktioner

logz.io har både gratis og betalte abonnementer. Fejlfinding af produktionsproblemer er måske den mest almindelige use-case for loganalyser. Deres grænseflade, som er drevet af Kibana, giver dig mulighed for at søge i millioner af registreringer for at undersøge og lokalisere potentielle problemer. Du kan filtrere resultaterne efter server, program eller en hvilken som helst brugerdefineret parameter, indtil du når frem til kilden til problemet. Hvis du leder efter et Splunk-alternativ, kan du måske give logz.io en chance.

Graylog

Graylog er en open source-loghåndteringsplatform, som giver dig mulighed for at søge, analysere og advare dig på tværs af alle dine logfiler. Nogle af deres kunder er bl.a. BCBS, eBay, SAP, Cisco, LinkedIn og Twilio. Den er tilgængelig på GitHub med over 2.000 stjerner og 300+ forks.

Graylog-funktioner

Da den er open source, er Graylog helt gratis at bruge. De har også en virksomhedsversion, hvor de opkræver dig pr. licens på en server. Nogle af deres funktioner omfatter et REST API og Graylogs fleksible behandlingsmotor, som gør det nemt at analysere og berige logs fra enhver datakilde. Du kan søge i terabytes af data med det samme og endda gemme søgeforespørgsler, som du senere kan dele med dine kolleger. Deres kraftfulde drill-down-analyse og diagrammer gør det nemt at lokalisere problemer i dine logs.

Splunk

Splunk er et stort navn inden for log- og applikationshåndtering. De har eksisteret siden 2003 og er ikke nogen nybegyndere, når det kommer til analyse og overvågning af data. De tilbyder gode løsninger til større virksomhedskunder.

Splunk-funktioner

Splunk har både gratis og betalte abonnementer. Deres gratis abonnement, Spunk light, giver dig mulighed for at logge op til 500 MB data om dagen. Der prisfastsættelse for betalte planer afhænger af mængden af data, du behandler. Splunk tilbyder en fantastisk måde at indsamle, lagre, indeksere, søge, korrelere, visualisere, analysere og rapportere om alle maskingenererede data for at identificere og løse drifts- og sikkerhedsproblemer på en hurtigere, gentagelig og mere overkommelig måde. De tilbyder kraftfulde drill-downs, som giver dig mulighed for nemt at gå tilbage i tiden ved hjælp af ad-hoc forespørgsler. Deres dashboard og trenddiagrammer giver også en fantastisk måde at få øje på og visualisere mulige tendenser.

Logmatic.io

Logmatic.io er et loganalyseværktøj, der er designet specielt til at hjælpe med at forbedre software og virksomheders ydeevne. Stifterne har mere end 10 års erfaring inden for realtids- og big data-software. Deres fokus er på at analysere dine “maskindata.”

Logmatic-funktioner

Logmatic.io har betalte abonnementer, der starter ved 49 dollars om måneden. Nogle af deres funktioner omfatter muligheden for at oprette dine egne brugerdefinerede parsingregler, som gør det muligt for softwaren at genkende mønstre automatisk. Dette understøttes i Apache, Nginx, syslogs, JSON-hændelser osv. Du har facetterede og fuldtekst granulære søgninger ned til logniveauet samt realtidslogfiler og realtidssøgninger. Du kan bruge komplekse forespørgsler som AND, OR, wildcards. osv. De giver dig alle slags grafer til at spotte tendenser, alt fra geokort, flowdiagrammer og pivottabeller!

Logstash

Logstash er et gratis open source-værktøj til håndtering af begivenheder og logs. Du kan bruge det til at indsamle logs, analysere dem og gemme dem til senere brug. Dette værktøj går hånd i hånd med både Elasticsearch og Kibana. At bruge disse sammen kan være en kraftfuld kombination for et loganalyseværktøj. De er alle tre tilgængelige på GitHub.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Logstash-funktioner

Da det er open source, er Logstash helt gratis at bruge. De har dog også en betalt licens, der dog er tilgængelig for dem, der har brug for yderligere funktioner. Du kan bruge elasticsearch, kibana og logstash sammen. Kibana giver dig mulighed for lettere at udforske og visualisere de logdata, du bringer ind med logstash, og elasticsearch giver dig de kraftfulde søgnings- og analysefunktioner i realtid.

Sumo Logic

Sumo Logic fokuserer på maskinlæring til forenede logs og metrikker for at afdække realtidsindsigt i applikationsbehov og nye kundemuligheder. De blev grundlagt i 2010, og deres cloud-native tjeneste analyserer mere end 100 petabyte data om dagen.

Sumo Logic-funktioner

Sumo Logic har både gratis og betalte abonnementer, der starter ved 90 dollars om måneden. De tilbyder en unik funktion, som de kalder maskinlæring. Dette giver dig mulighed for at analysere petabytes af data og lære af dette for at afdække mønstre hurtigere. Deres værktøj bruger avanceret analyse, som hjælper med at skabe mening i store mængder data ved hjælp af indeksering og filtrering. Deres intuitive dashboard giver dig mulighed for at spotte anomalier ved at opsætte kundeforuddefinerede metriske filtre.

Papertrail

Papertrail er mere en loghåndteringstjeneste, men de tilbyder også nogle gode funktioner, som gør det hurtigt at analysere dine logs! Nogle af deres kunder omfatter GitHub, Instacart, Product Hunt og DNSimple.

Papertrail funktioner

Papertrail har både gratis og betalte abonnementer, der starter ved 7 dollars om måneden. Nogle af deres funktioner omfatter en intuitiv webbaseret logviewer og kraftfulde kommandolinjeværktøjer. De har et REST API og langtidsarkiver med S3. Hvis du er udvikler, vil du sikkert kunne lide det, Papertrail laver! Du kan køre live tail søgninger, søge efter tid, indhold, elegante søgninger, gemme dine søgninger og endda farvelægge dine logs forskelligt. De har endda en OS X dashboard widget og integrationer med dine yndlingsværktøjer som Slack og Zendesk.

Fluentd

Fluentd er et andet open source dataanalyseværktøj, der giver dig mulighed for at forene logs fra flere kilder for bedre og lettere at analysere dem. Nogle af Fluentds mest bemærkelsesværdige brugere omfatter Microsoft, Amazon AWS og Atlassian.

Fluentd-funktioner

Fluentd giver dig mulighed for at afkoble flere datakilder såsom dine adgangslogfiler, app-logfiler, systemlogfiler osv. og forene dem i ét logningslag. Du kan derefter filtrere, buffere og videresende disse logs til de til de relevante systemer (f.eks. Hadoop, Elasticsearch, AWS osv.). Fluentd-brugere har også 300+ plugins til deres rådighed til at forbinde til et væld af datakilder. Den kan gøre alt dette, mens den holder et lille hukommelsesaftryk på kun 30-40 MB.

Summary

Der findes masser af loganalyseværktøjer, der kan hjælpe dig med at forstå dine logdata bedre og analysere dem på en mere effektiv måde. Dette kan hjælpe med at strømline din DevOps-arbejdsgang og spare dig tid, næste gang et problem dukker op. Det sidste, du ønsker at gøre, er at bruge timer på at grave uorganiserede logdata igennem i forsøget på at finde det, du har brug for.