Az adatok rögzítése és naplózása szinte mindenre kiterjed. Legyen szó webszerverek üzemidejéről, JavaScript hibákról, adatbázis-lekérdezésekről, CDN forgalomról, Nginx hibákról stb. Nevezd meg, amit akarsz, és valószínűleg naplózni is tudod. Egy korábbi bejegyzésben tárgyaltuk, hogy milyen fontos egy naplókezelő szolgáltatás integrálása a DevOps munkafolyamatba. A központosított naplók megléte nagyszerű lehet, de képesnek kell lenned arra is, hogy hatékonyan elemezd őket. Ezért ma a 10 legjobb naplóelemző eszközt szeretnénk bemutatni, amelyekkel jobban elemezheti a naplóit, élő farokkereséseket futtathat, és lekérdezheti a szükséges konkrét naplóadatokat.

Naplóelemző eszközök

Mivel egyre több vállalat költözik a felhőbe, a naplóelemző, naplóelemző és naplókezelő eszközök és szolgáltatások egyre fontosabbá válnak. A DevOps mérnökök, rendszergazdák, webhelymegbízhatósági mérnökök és webfejlesztők mindannyian használhatják a naplófájlokat, hogy jobb adatvezérelt döntéseket hozzanak.

Egy csomó különböző naplóelemző eszköz létezik, az alábbiakban a 10 legnépszerűbbet mutatjuk be. Mindegyikük saját egyedi keresési funkciókat, élő farok lekérdezéseket stb. kínál. A felsorolt eszközök némelyike inkább naplókezelési szolgáltatás, de a nyers adatok megtekintéséhez képest hatékonyabb módszereket is kínálnak a naplók elemzéséhez. Ezek nincsenek különösebb sorrendben, és ingyenes és fizetős eszközöket egyaránt tartalmaznak.

Az összes naplót, mérőszámot és gépi eseményt egyetlen központba irányítja. Tiszta áttekintést kaphat arról, hogy mi történik az elosztott környezetében, és pillanatok alatt kiszúrhatja a tűt a szénakazalban.

– Logmatic

Loggly

A Loggly egy 2009-ben alapított felhőalapú naplókezelési és elemzési szolgáltató. Fő fókuszuk az, hogy a naplókezelésnek sokkal egyszerűbbnek kell lennie, és hogy a DevOps, SysOps és mérnököknek ne kelljen a naplókezeléssel foglalkozniuk. Néhány ügyfelük közé tartozik az EA, az Autodesk, a SendGrid, az Atlassian, a Sony Pictures és a Citrix.

Loggly funkciók

A Loggly ingyenes és fizetős csomagokkal is rendelkezik. A loggly néhány elemző funkciója közé tartozik, hogy a dinamikus mezőfeltárójukkal madártávlatból láthatja a naplóit. Néhány egyszerű kattintással kiszűrheti a zajt. Emellett erőteljes teljes szöveges keresésekkel, tartományokkal és boolékkal is büszkélkedhetnek. A gazdag nézetek és grafikonok segítségével könnyen észreveheti a naplóiban a trendeket is. Ha egy kiugrást lát, gyorsan leszűkítheti azt a napló adott időpontjára.

GoAccess

A GoAccess gyors, terminálalapú naplóelemzőnek készült. Alapgondolata a webszerver statisztikák gyors elemzése és megtekintése valós időben, a böngésző használata nélkül. Nyílt forráskódú, és a GitHubon érhető el, több mint 2900 csillaggal és több mint 200 elágazással.

GoAccess jellemzői

A GoAccess-t azért szeretjük, mert nyílt forráskódú, és emiatt teljesen ingyenesen használható. Ez egy eszköz azoknak, akik szeretik használni a terminált és az SSH-t, és gyors hozzáférést szeretnének az adataikhoz. Ezzel az eszközzel könnyedén készíthetünk jelentéseket menet közben, valós idejű HTML, JSON vagy CSV formátumba generálva azokat. Itt megtekinthet egy élő demót.

Az egyéb funkciók közé tartozik a naplók inkrementális feldolgozása, a naplóformátum kiválasztása, a valós idejű statisztikák és az előre meghatározott egyéni naplóformátumú karakterláncok.

logz.io

A logz.io valós idejű, használható betekintést nyújt a naplóelemzési adatokba a hosztolt ELK mint szolgáltatás segítségével. Az ELK egy egyszerű, de robusztus naplóelemző platform, amely az ár töredékébe kerül. Ügyfelei közé tartozik többek között a Netflix, a Facebook, a LinkedIn, a Cisco és a Microsoft. logz.io valószínűleg az egyik legnagyobb versenytársa a Splunknak, amelyről alább még szó lesz.

logz.io jellemzői

A logz.io ingyenes és fizetős csomagokkal is rendelkezik. A termelési problémák hibaelhárítása talán a naplóelemzés leggyakoribb felhasználási esete. A Kibana által támogatott felületük lehetővé teszi, hogy több millió rekordban keressen a lehetséges problémák kivizsgálása és pontos meghatározása érdekében. Az eredményeket szűrheti szerver, alkalmazás vagy bármilyen egyéni paraméter szerint, amíg el nem éri a probléma forrását. Ha a Splunk alternatíváját keresi, érdemes kipróbálnia a logz.io-t.

Graylog

A Graylog egy nyílt forráskódú naplókezelő platform, amely lehetővé teszi a naplófájlok keresését, elemzését és figyelmeztetését. Néhány ügyfelük közé tartozik a BCBS, az eBay, az SAP, a Cisco, a LinkedIn és a Twilio. A GitHubon érhető el, több mint 2000 csillaggal és 300+ elágazással.

Graylog jellemzői

Mivel nyílt forráskódú, a Graylog teljesen ingyenesen használható. Van egy vállalati verziójuk is, ahol licencenként számolnak fel egy szerverre. Néhány jellemzője közé tartozik a REST API és a Graylog rugalmas feldolgozómotorja, amely megkönnyíti a naplók elemzését és gazdagítását bármilyen adatforrásból. Azonnal kereshet terabájtnyi adatban, és akár el is mentheti a keresési lekérdezéseket, hogy később megoszthassa azokat a kollégáival. A nagy teljesítményű drill-down elemzés és a grafikonok segítségével könnyen megtalálhatja a naplóiban lévő problémákat.

Splunk

A Plunk nagy név a napló- és alkalmazáskezelési területen. Ők már 2003 óta léteznek nem újoncok, ha az adatok elemzéséről és megfigyeléséről van szó. Nagyszerű megoldásokat kínálnak a nagyobb vállalati ügyfelek számára.

Splunk funkciók

A Splunknak ingyenes és fizetős csomagjai is vannak. Ingyenes csomagjuk, a Spunk light, legfeljebb napi 500 MB adat naplózását teszi lehetővé. A fizetős csomagok árazása a feldolgozandó adatmennyiségtől függ. A Splunk nagyszerű lehetőséget kínál bármilyen gép által generált adat gyűjtésére, tárolására, indexelésére, keresésére, korrelálására, vizualizálására, elemzésére és jelentésére, hogy gyorsabb, megismételhetőbb és megfizethetőbb módon azonosítsa és megoldja az üzemeltetési és biztonsági problémákat. Nagy teljesítményű drill-downokat kínálnak, amelyek lehetővé teszik, hogy ad-hoc lekérdezésekkel könnyedén visszamehessen az időben. Műszerfaluk és trenddiagramjaik szintén remek lehetőséget nyújtanak a lehetséges trendek kiszűrésére és vizualizálására.

Logmatic.io

A Logmatic.io egy olyan naplóelemző eszköz, amelyet kifejezetten a szoftverek és az üzleti teljesítmény javítására terveztek. Az alapítók több mint 10 éves tapasztalattal rendelkeznek a valós idejű és big data szoftverek területén. A hangsúlyt a “gépi adatok” elemzésére helyezik.”

Logmatic jellemzői

A Logmatic.io fizetős csomagjai havi 49 dollártól kezdődnek. Néhány funkciójuk közé tartozik a saját egyéni elemzési szabályok létrehozásának lehetősége, amelyek lehetővé teszik a szoftver számára a minták automatikus felismerését. Ezt támogatják Apache, Nginx, syslogok, JSON események stb. esetén. Facettált és teljes szövegű granuláris keresésekkel rendelkezik egészen a napló szintjéig, valamint valós idejű naplókkal és valós idejű keresésekkel. Használhat összetett lekérdezéseket, például AND, OR, jokereket. stb. Mindenféle grafikonokat biztosítanak a trendek felismeréséhez, a geotérképektől kezdve a folyamatábrákon át a pivot táblázatokig mindent!”

Logstash

A Logstash egy ingyenes nyílt forráskódú eszköz az események és naplók kezelésére. Segítségével naplókat gyűjthet, elemezhet és tárolhat későbbi felhasználásra. Ez az eszköz kéz a kézben jár mind az Elasticsearch-csel, mind a Kibanával. Ezek együttes használata hatékony kombinációja lehet egy naplóelemző eszköznek. Mindhárom elérhető a GitHubon.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Logstash jellemzői

Mivel nyílt forráskódú, a Logstash teljesen ingyenesen használható. Van egy fizetős licencük is, bár azok számára, akiknek további funkciókra van szükségük. Az elasticsearch, kibana és logstash együtt használható. A kibana lehetővé teszi a logstash segítségével behozott naplóadatok könnyebb feltárását és vizualizálását, az elasticsearch pedig erőteljes valós idejű keresési és elemzési képességeket biztosít.

Sumo Logic

A Sumo Logic az egységesített naplók és mérőszámok gépi tanulására összpontosít, hogy valós idejű betekintést nyerjen az alkalmazások igényeibe és az új ügyféllehetőségekbe. 2010-ben alapították őket, és felhő-natív szolgáltatásuk naponta több mint 100 petabájtnyi adatot elemez.

Sumo Logic jellemzői

A Sumo Logic ingyenes és fizetős csomagokkal is rendelkezik, amelyek havi 90 dollártól kezdődnek. Egyedülálló funkciót kínálnak, amit ők gépi tanulásnak neveznek. Ez lehetővé teszi, hogy petabájtnyi adatot elemezzenek, és ebből tanulva gyorsabban fedezzenek fel mintákat. Eszközük fejlett analitikát használ, amely indexelés és szűrés segítségével segít értelmet adni a nagy mennyiségű adatnak. Intuitív műszerfaluk lehetővé teszi, hogy az ügyfél által előre meghatározott metrikus szűrők beállításával kiszúrja az anomáliákat.

Papertrail

Aapertrail inkább egy naplókezelési szolgáltatás, de ők is kínálnak néhány nagyszerű funkciót, amelyekkel gyorsan elemezheti a naplóit! Néhány ügyfelük közé tartozik a GitHub, az Instacart, a Product Hunt és a DNSimple.

Papertrail funkciók

Aapertrail ingyenes és fizetős csomagokkal rendelkezik, amelyek havi 7 dollártól kezdődnek. Néhány jellemzőjük közé tartozik az intuitív webes naplómegjelenítő és a hatékony parancssori eszközök. REST API-val és hosszú távú archiválással rendelkeznek az S3 segítségével. Ha fejlesztő vagy, akkor valószínűleg tetszeni fog, amit a Papertrail csinál! Futtathatsz élő farokkereséseket, kereshetsz idő, tartalom, elegáns keresések alapján, mentheted a kereséseidet, és még a naplóidat is másképp színezheted. Még egy OS X dashboard widgetjük is van, és integrációik vannak a kedvenc eszközeiddel, például a Slackkel és a Zendeskkel.

Fluentd

A Fluentd egy másik nyílt forráskódú adatelemző eszköz, amely lehetővé teszi a több forrásból származó naplók egységesítését a jobb és könnyebb elemzés érdekében. A Fluentd néhány legnevesebb felhasználója közé tartozik a Microsoft, az Amazon AWS és az Atlassian.

Fluentd jellemzői

A Fluentd lehetővé teszi több adatforrás, például a hozzáférési naplók, alkalmazásnaplók, rendszernaplók stb. szétválasztását és egységesítését egyetlen naplózási rétegben. Ezután szűrheti, pufferelheti és továbbíthatja ezeket a naplókat a megfelelő rendszerekbe (pl. Hadoop, Elasticsearch, AWS stb.). A Fluentd felhasználóknak 300+ plugin is a rendelkezésükre áll, hogy adatforrások sokaságához csatlakozhassanak. Mindezt úgy tudja megtenni, hogy a memóriaigénye mindössze 30-40 MB.

Összefoglaló

Megannyi naplóelemző eszköz létezik, amelyek segítenek jobban megérteni a naplóadatokat, és hatékonyabban elemezni azokat. Ez segíthet a DevOps munkafolyamatok racionalizálásában, és időt takaríthat meg, amikor legközelebb probléma merül fel. Az utolsó dolog, amit szeretne, hogy órákat töltsön azzal, hogy rendezetlen naplóadatok között kutatva próbálja megtalálni, amire szüksége van.