Trăim într-o perioadă în care datele sunt înregistrate și înregistrate pentru aproape orice. Fie că este vorba despre timpul de funcționare a serverului web, erori JavaScript, interogări de baze de date, trafic CDN, erori Nginx etc. Spuneți ce doriți și probabil că puteți să le înregistrați. Într-o postare anterioară, am discutat despre importanța integrării unui serviciu de gestionare a jurnalelor în fluxul de lucru DevOps. A avea jurnale centralizate poate fi grozav, dar trebuie, de asemenea, să puteți să le analizați eficient. Așadar, astăzi dorim să acoperim cele mai importante 10 instrumente de analiză a jurnalelor pe care le puteți utiliza pentru a vă analiza mai bine jurnalele, pentru a rula căutări live tail și pentru a interoga datele specifice de jurnal de care aveți nevoie.

Instrumente de analiză a jurnalelor

Pe măsură ce tot mai multe companii se mută în cloud, instrumentele și serviciile de analiză a jurnalelor, de analiză a jurnalelor și de gestionare a jurnalelor devin din ce în ce mai importante. Inginerii DevOps, administratorii de sistem, inginerii de fiabilitate a site-ului și dezvoltatorii web pot folosi cu toții jurnalele pentru a lua decizii mai bune bazate pe date.

Există o mulțime de instrumente diferite de analiză a jurnalelor, mai jos sunt prezentate 10 dintre cele mai populare. Fiecare dintre ele oferă propriile caracteristici unice de căutare, interogări de coadă în direct, etc. Unele dintre instrumentele enumerate sunt mai mult servicii de gestionare a jurnalelor, dar acestea oferă, de asemenea, modalități mai eficiente de a vă analiza jurnalele în comparație cu examinarea datelor brute. Acestea nu sunt într-o anumită ordine și includ atât instrumente gratuite, cât și plătite.

Funționalizați toate jurnalele, metricile și evenimentele mașinii într-un singur hub. Obțineți o imagine de ansamblu clară a ceea ce se întâmplă în mediile dvs. distribuite și identificați acul în carul cu fân în cel mai scurt timp.

– Logmatic

Loggly

Loggly este un furnizor de servicii de analiză și gestionare a logărilor bazat pe cloud, fondat în 2009. Principalul lor obiectiv este că gestionarea logurilor trebuie să fie mult mai simplă și că DevOps, SysOps și inginerii nu ar trebui să fie nevoiți să își facă griji cu privire la gestionarea logurilor. Printre clienții lor se numără EA, Autodesk, SendGrid, Atlassian, Sony Pictures și Citrix.

Caracteristicile Loggly

Loggly are atât planuri gratuite, cât și plătite. Unele dintre caracteristicile de analiză ale loggly includ posibilitatea de a vedea o vedere de ansamblu a jurnalelor dvs. cu ajutorul exploratorului lor dinamic de câmpuri. Puteți elimina zgomotul cu câteva clicuri simple. De asemenea, se laudă cu căutări puternice full-text, intervale și booleane. De asemenea, puteți identifica cu ușurință tendințele din jurnalele dvs. utilizând vizualizările și graficele lor bogate. Dacă vedeți un vârf, îl puteți restrânge rapid la acel moment din jurnal.

GoAccess

GoAccess este conceput pentru a fi un analizor de jurnal rapid, bazat pe terminal. Ideea sa de bază este de a analiza rapid și de a vizualiza statisticile serverului web în timp real, fără a fi nevoie să folosiți browserul. Este open source și este disponibil pe GitHub cu peste 2.900 de stele și peste 200+ furci.

Caracteristicile GoAccess

Ne place GoAccess pentru că este open source și, din acest motiv, este complet gratuit de utilizat. Acesta este un instrument pentru cei cărora le place să folosească terminalul și SSH și doresc acces rapid la datele lor. Puteți genera cu ușurință rapoarte cu acest instrument din mers, generându-le în timp real în format HTML, JSON sau CSV. Puteți vizualiza o demonstrație live aici.

Alte caracteristici includ capacitatea de a procesa jurnalele în mod incremental, alegerea formatului de jurnal, statistici în timp real și șiruri predefinite de formate de jurnal personalizate.

logz.io

logz.io vă oferă informații în timp real și acționabile despre datele dvs. de analiză a jurnalelor cu ELK găzduit ca serviciu. ELK este o platformă de analiză a jurnalelor simplă, dar robustă, care costă o fracțiune din preț. Printre clienții lor se numără Netflix, Facebook, LinkedIn, Cisco și Microsoft. logz.io este probabil unul dintre cei mai mari concurenți ai Splunk, care este menționat mai jos.

caracteristicile logz.io

logz.io are atât planuri gratuite, cât și plătite. Depanarea problemelor de producție este, probabil, cel mai comun caz de utilizare a analizei jurnalelor. Interfața lor, care este alimentată de Kibana, vă permite să căutați printre milioane de înregistrări pentru a investiga și a identifica potențialele probleme. Puteți filtra rezultatele în funcție de server, aplicație sau orice parametru personalizat până când ajungeți la sursa problemei. Dacă sunteți în căutarea unei alternative Splunk, ați putea dori să încercați logz.io.

Graylog

Graylog este o platformă open source de gestionare a jurnalelor care vă permite să căutați, să analizați și să vă alertați în toate fișierele de jurnal. Printre clienții lor se numără BCBS, eBay, SAP, Cisco, LinkedIn și Twilio. Este disponibil pe GitHub cu peste 2.000 de stele și peste 300+ furci.

Caracteristicile Graylog

Pentru că este open source, Graylog este complet gratuit de utilizat. Ei au, de asemenea, o versiune enterprise în care vă taxează pe licență pe un server. Unele dintre caracteristicile sale includ un API REST și motorul de procesare flexibil al Graylog, care facilitează analiza și îmbogățirea jurnalelor din orice sursă de date. Puteți căuta instantaneu printre terabiți de date și chiar salva interogări de căutare pentru a fi partajate ulterior cu colegii dumneavoastră. Analizele și graficele lor puternice de drill-down și grafice facilitează identificarea problemelor din jurnalele dumneavoastră.

Splunk

Splunk este un nume mare în spațiul de gestionare a jurnalelor și aplicațiilor. Ei există din 2003 nu sunt niște începători când vine vorba de analiza și monitorizarea datelor. Aceștia oferă soluții excelente pentru clienții mari de tip enterprise.

Caracteristicile Splunk

Splunk are atât planuri gratuite, cât și plătite. Planul lor gratuit, Spunk light, vă permite să înregistrați până la 500 MB de date pe zi. Acolo prețurile pentru planurile plătite depind de volumul de date pe care îl procesați. Splunk oferă o modalitate excelentă de a colecta, stoca, indexa, căuta, corela, vizualiza, analiza și raporta orice date generate de mașini pentru a identifica și rezolva problemele operaționale și de securitate într-un mod mai rapid, repetabil și mai accesibil. Acestea oferă drill-down-uri puternice care vă permit să vă întoarceți cu ușurință în timp folosind interogări ad-hoc. Tabloul lor de bord și diagramele de tendințe oferă, de asemenea, o modalitate excelentă de a identifica și vizualiza posibilele tendințe.

Logmatic.io

Logmatic.io este un instrument de analiză a jurnalelor conceput special pentru a ajuta la îmbunătățirea performanțelor software și de afaceri. Fondatorii au mai mult de 10 ani de experiență în domeniul software-ului în timp real și big data. Accentul lor se pune pe analiza „datelor mașinii”.

Caracteristicile Logmatic

Logmatic.io are planuri plătite începând de la 49 de dolari pe lună. Unele dintre caracteristicile lor includ posibilitatea de a vă crea propriile reguli de analiză personalizate, ceea ce permite software-ului să recunoască automat tiparele. Acest lucru este suportat în Apache, Nginx, syslogs, evenimente JSON, etc. Aveți căutări granulare fațetate și full-text până la nivel de jurnal, precum și jurnale și căutări în timp real. Puteți utiliza interogări complexe, cum ar fi AND, OR, wildcards. etc. Vă pun la dispoziție tot felul de grafice pentru a observa tendințele, totul de la hărți geo, diagrame de flux și tabele pivot!

Logstash

Logstash este un instrument gratuit cu sursă deschisă pentru gestionarea evenimentelor și a jurnalelor. Îl puteți utiliza pentru a colecta jurnale, a le analiza și a le stoca pentru utilizare ulterioară. Acest instrument merge mână în mână atât cu Elasticsearch, cât și cu Kibana. Folosirea acestora împreună poate fi o combinație puternică pentru un instrument de analiză a jurnalelor. Toate trei sunt disponibile pe GitHub.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Caracteristicile Logstash

Pentru că este open source, Logstash este complet gratuit de utilizat. Ei au, de asemenea, o licență plătită, deși este disponibilă pentru cei care au nevoie de caracteristici suplimentare. Puteți utiliza elasticsearch, kibana și logstash împreună. Kibana vă permite să explorați și să vizualizați mai ușor datele de jurnal pe care le aduceți cu logstash, iar elasticsearch vă oferă capacități puternice de căutare și analiză în timp real.

Sumo Logic

Sumo Logic se concentrează pe învățarea automată pentru jurnalele și metricile unificate pentru a descoperi informații în timp real despre nevoile aplicațiilor și noi oportunități pentru clienți. Au fost fondați în 2010, iar serviciul lor nativ în cloud analizează peste 100 de petabyte de date pe zi.

Caracteristicile Sumo Logic

Sumo Logic are atât planuri gratuite, cât și plătite, începând de la 90 de dolari pe lună. Aceștia oferă o caracteristică unică pe care o numesc machine learning. Aceasta vă permite să analizați petabytes de date și să învățați din acestea pentru a descoperi tipare mai rapid. Instrumentul lor folosește analize avansate care ajută la înțelegerea unor cantități mari de date folosind indexarea și filtrarea. Tabloul lor de bord intuitiv vă permite să descoperiți anomaliile prin configurarea filtrelor metrice predefinite de client.

Papertrail

Papertrail este mai mult un serviciu de gestionare a jurnalelor, dar oferă, de asemenea, câteva caracteristici excelente care fac ca analiza jurnalelor dvs. să fie rapidă! Printre clienții lor se numără GitHub, Instacart, Product Hunt și DNSimple.

Caracteristicile Papertrail

Papertrail are atât planuri gratuite, cât și plătite, începând de la 7 dolari pe lună. Unele dintre caracteristicile lor includ un vizualizator de jurnal intuitiv bazat pe web și instrumente puternice de linie de comandă. Ei au un API REST și arhive pe termen lung cu S3. Dacă sunteți un dezvoltator, probabil că vă va plăcea ceea ce face Papertrail! Puteți efectua căutări de coadă în direct, căuta după timp, conținut, căutări elegante, salvați căutările și chiar vă puteți colora jurnalele în mod diferit. Au chiar și un widget pentru tabloul de bord OS X și integrări cu instrumentele dvs. preferate, cum ar fi Slack și Zendesk.

Fluentd

Fluentd este un alt instrument de analiză a datelor open source care vă permite să unificați jurnalele din mai multe surse pentru a le analiza mai bine și mai ușor. Câțiva dintre cei mai notabili utilizatori ai Fluentd includ Microsoft, Amazon AWS și Atlassian.

Caracteristicile Fluentd

Fluentd vă permite să decuplați mai multe surse de date, cum ar fi jurnalele de acces, jurnalele aplicațiilor, jurnalele de sistem etc. și să le unificați într-un singur strat de logare. Puteți apoi să filtrați, să tamponați și să direcționați aceste jurnale către sistemele corespunzătoare (de exemplu, Hadoop, Elasticsearch, AWS etc.). De asemenea, utilizatorii Fluentd au la dispoziție peste 300 de plugin-uri pentru a se conecta la o multitudine de surse de date. Poate face toate acestea păstrând în același timp o amprentă de memorie mică, de numai 30-40 MB.

Rezumat

Există o mulțime de instrumente de analiză a jurnalelor pentru a vă ajuta să înțelegeți mai bine datele de jurnal și să le analizați într-un mod mai eficient. Acest lucru vă poate ajuta să vă eficientizați fluxul de lucru DevOps și să economisiți timp data viitoare când apare o problemă. Ultimul lucru pe care doriți să îl faceți este să petreceți ore întregi săpând prin datele de jurnal neorganizate încercând să găsiți ceea ce aveți nevoie.

.