Žijeme v době, kdy se zaznamenávají a protokolují data téměř o všem. Ať už se jedná o dobu provozu webového serveru, chyby JavaScriptu, databázové dotazy, provoz CDN, chyby Nginxu atd. Řekněte si, co chcete, a pravděpodobně to můžete zaznamenat. V předchozím příspěvku jsme se zabývali důležitostí integrace služby správy protokolů do pracovního postupu DevOps. Mít centralizované protokoly může být skvělé, ale musíte být také schopni je efektivně analyzovat. Proto se dnes chceme zabývat 10 nejlepšími nástroji pro analýzu logů, které můžete použít k lepšímu rozboru logů, spuštění živého vyhledávání a dotazování na konkrétní data logů, která potřebujete.

Nástroje pro analýzu logů

S přechodem stále většího počtu společností do cloudu jsou nástroje a služby pro analýzu, analýzu a správu logů stále důležitější. Inženýři DevOps, správci systémů, inženýři zabývající se spolehlivostí webů a weboví vývojáři mohou využívat protokoly k přijímání lepších rozhodnutí založených na datech.

Existuje mnoho různých nástrojů pro analýzu protokolů, níže uvádíme 10 nejoblíbenějších. Každý z nich nabízí vlastní jedinečné vyhledávací funkce, živé dotazy na chvostu atd. Některé z uvedených nástrojů jsou spíše službami pro správu protokolů, ale nabízejí také efektivnější způsoby analýzy protokolů ve srovnání s prohlížením surových dat. Nejsou řazeny v žádném konkrétním pořadí a zahrnují jak bezplatné, tak placené nástroje.

Spojení všech protokolů, metrik a událostí stroje do jednoho centra. Získejte jasný přehled o tom, co se děje ve vašich distribuovaných prostředích, a v mžiku odhalte jehlu v kupce sena.

– Logmatic

Loggly

Loggly je cloudový poskytovatel služeb správy a analýzy protokolů založený v roce 2009. Jejich hlavním cílem je, že správa logů musí být mnohem jednodušší a že DevOps, SysOps a inženýři by se neměli starat o správu logů. Mezi jejich zákazníky patří například společnosti EA, Autodesk, SendGrid, Atlassian, Sony Pictures a Citrix.

Funkce služby Loggly

Loggly má bezplatné i placené plány. Mezi analytické funkce služby loggly patří možnost zobrazení logů z ptačí perspektivy pomocí jejich dynamického průzkumníka polí. Několika jednoduchými kliknutími můžete vyřadit šum. Mohou se také pochlubit výkonným fulltextovým vyhledáváním, rozsahy a booleany. Pomocí bohatých zobrazení a grafů můžete také snadno zjistit trendy v protokolech. Pokud uvidíte nějakou špičku, můžete ji rychle zúžit na daný časový bod v protokolu.

GoAccess

GoAccess je navržen jako rychlý terminálový analyzátor protokolů. Jeho hlavní myšlenkou je rychlá analýza a prohlížení statistik webového serveru v reálném čase, aniž byste museli používat prohlížeč. Má otevřený zdrojový kód a je k dispozici na serveru GitHub s více než 2 900 hvězdičkami a více než 200 forky.

Vlastnosti aplikace GoAccess

Máme rádi aplikaci GoAccess, protože má otevřený zdrojový kód, a díky tomu ji lze používat zcela zdarma. Je to nástroj pro ty, kteří rádi používají terminál a SSH a chtějí mít rychlý přístup ke svým datům. S tímto nástrojem můžete snadno vytvářet reporty za běhu jejich generováním do HTML, JSON nebo CSV v reálném čase. Živou ukázku si můžete prohlédnout zde.

Další funkce zahrnují možnost přírůstkového zpracování protokolů, výběr formátu protokolu, statistiky v reálném čase a předdefinované vlastní řetězce formátu protokolu.

logz.io

logz.io vám nabízí užitečný přehled o datech analýzy protokolu v reálném čase pomocí hostované služby ELK jako služby. ELK je jednoduchá, ale robustní platforma pro analýzu protokolů, která stojí zlomek ceny. Mezi jejich zákazníky patří například společnosti Netflix, Facebook, LinkedIn, Cisco a Microsoft. logz.io je pravděpodobně jedním z největších konkurentů společnosti Splunk, o které se zmiňujeme dále.

logz.io features

logz.io má bezplatné i placené plány. Řešení problémů ve výrobě je asi nejčastějším případem použití analýzy protokolů. Jejich rozhraní, které je poháněno technologií Kibana, umožňuje prohledávat miliony záznamů a zkoumat a identifikovat potenciální problémy. Výsledky můžete filtrovat podle serveru, aplikace nebo libovolného vlastního parametru, dokud se nedostanete ke zdroji problému. Pokud hledáte alternativu Splunku, možná byste měli vyzkoušet logz.io.

Graylog

Graylog je open source platforma pro správu protokolů, která umožňuje vyhledávat, analyzovat a upozorňovat napříč všemi soubory protokolů. Mezi jejich zákazníky patří například společnosti BCBS, eBay, SAP, Cisco, LinkedIn a Twilio. Je k dispozici na serveru GitHub s více než 2 000 hvězdičkami a více než 300 forky.

Funkce služby Graylog

Protože se jedná o open source, je služba Graylog zcela zdarma. Mají také podnikovou verzi, kde se účtuje za licenci na serveru. Mezi jeho funkce patří rozhraní REST API a flexibilní zpracovatelský engine Graylog, který umožňuje snadno analyzovat a obohacovat protokoly z libovolného zdroje dat. Můžete okamžitě prohledávat terabajty dat a dokonce ukládat vyhledávací dotazy, které můžete později sdílet se svými kolegy. Jejich výkonná drill-down analýza a grafy umožňují snadno identifikovat problémy v protokolech.

Splunk

Splunk je velké jméno v oblasti správy protokolů a aplikací. Existují již od roku 2003 nejsou žádnými nováčky, pokud jde o analýzu a monitorování dat. Nabízejí skvělá řešení pro větší podnikové zákazníky.

Funkce služby Splunk

Splunk má bezplatné i placené plány. Jejich bezplatný plán Spunk light umožňuje zaznamenávat až 500 MB dat denně. Tamní ceny placených plánů závisí na objemu zpracovávaných dat. Splunk nabízí skvělý způsob, jak shromažďovat, ukládat, indexovat, vyhledávat, korelovat, vizualizovat, analyzovat a reportovat jakákoli data generovaná stroji, aby bylo možné rychleji, opakovaně a cenově dostupněji identifikovat a řešit provozní a bezpečnostní problémy. Nabízejí výkonné drill-downs, které umožňují snadný návrat v čase pomocí ad-hoc dotazů. Jejich ovládací panel a grafy trendů také poskytují skvělý způsob, jak odhalit a vizualizovat možné trendy.

Logmatic.io

Logmatic.io je nástroj pro analýzu protokolů navržený speciálně pro zlepšení výkonu softwaru a podniku. Zakladatelé mají více než 10 let zkušeností se softwarem pracujícím v reálném čase a s velkými objemy dat. Kladou důraz na analýzu vašich „strojových dat.“

Funkce Logmatic

Logmatic.io má placené plány od 49 dolarů měsíčně. Mezi jejich funkce patří možnost vytvořit si vlastní pravidla pro analýzu, která softwaru umožní automaticky rozpoznávat vzory. To je podporováno v aplikacích Apache, Nginx, syslogy, události JSON atd. K dispozici máte fazetové a fulltextové granulární vyhledávání až na úroveň protokolu, stejně jako protokoly v reálném čase a vyhledávání v reálném čase. Můžete používat složité dotazy, jako jsou AND, OR, zástupné znaky atd. Poskytují vám nejrůznější grafy pro zjišťování trendů, vše od zeměpisných map, vývojových diagramů a pivotových tabulek!“

Logstash

Logstash je bezplatný open source nástroj pro správu událostí a protokolů. Pomocí něj můžete shromažďovat protokoly, analyzovat je a ukládat pro pozdější použití. Tento nástroj jde ruku v ruce s nástroji Elasticsearch a Kibana. Jejich společné použití může být silnou kombinací nástroje pro analýzu logů. Všechny tři jsou k dispozici na serveru GitHub.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Funkce Logstash

Protože se jedná o open source, je Logstash zcela zdarma. Má však k dispozici i placenou licenci pro ty, kteří potřebují další funkce. Elasticsearch, kibana a logstash můžete používat společně. Kibana vám umožní snadněji prozkoumat a vizualizovat data logů, která přinesete pomocí logstash, a elasticsearch vám poskytne výkonné možnosti vyhledávání a analýzy v reálném čase.

Sumo Logic

Sumo Logic se zaměřuje na strojové učení pro sjednocené logy a metriky, abyste v reálném čase odhalili poznatky o potřebách aplikací a nových příležitostech pro zákazníky. Byla založena v roce 2010 a její cloudová služba analyzuje více než 100 petabajtů dat denně.

Funkce společnosti Sumo Logic

Sumo Logic má bezplatné i placené plány začínající na 90 dolarech měsíčně. Nabízejí jedinečnou funkci, kterou nazývají strojové učení. To umožňuje analyzovat petabajty dat a učit se z nich, abyste rychleji odhalili vzorce. Jejich nástroj využívá pokročilou analytiku, která pomocí indexování a filtrování pomáhá dávat smysl velkému množství dat. Jejich intuitivní ovládací panel umožňuje odhalit anomálie nastavením zákaznických předdefinovaných metrických filtrů.

Papertrail

Papertrail je spíše služba pro správu protokolů, ale nabízí také několik skvělých funkcí, díky kterým je analýza vašich protokolů rychlá! Mezi jejich zákazníky patří například společnosti GitHub, Instacart, Product Hunt a DNSimple.

Funkce služby Papertrail

Papertrail má bezplatné i placené plány začínající na 7 dolarech měsíčně. Mezi jejich funkce patří intuitivní webový prohlížeč protokolů a výkonné nástroje příkazového řádku. Mají rozhraní REST API a dlouhodobé archivy pomocí S3. Pokud jste vývojář, pravděpodobně se vám bude líbit, co Papertrail dělá! Můžete spouštět živé vyhledávání na chvostu, vyhledávat podle času, obsahu, elegantní vyhledávání, ukládat vyhledávání a dokonce různě barevně upravovat své protokoly. Mají dokonce widget pro ovládací panel OS X a integraci s vašimi oblíbenými nástroji, jako je Slack a Zendesk.

Fluentd

Fluentd je další open source nástroj pro analýzu dat, který vám umožní sjednotit logy z více zdrojů, abyste je mohli lépe a snadněji analyzovat. Mezi nejvýznamnější uživatele nástroje Fluentd patří společnosti Microsoft, Amazon AWS a Atlassian.

Funkce nástroje Fluentd

Fluentd umožňuje oddělit více zdrojů dat, jako jsou protokoly přístupu, protokoly aplikací, systémové protokoly atd. a sjednotit je do jedné vrstvy protokolování. Tyto logy pak můžete filtrovat, ukládat do vyrovnávací paměti a směrovat do příslušných systémů (např. Hadoop, Elasticsearch, AWS atd.). Uživatelé Fluentd mají také k dispozici více než 300 zásuvných modulů pro připojení k mnoha zdrojům dat. To vše dokáže při zachování malé paměťové stopy pouhých 30-40 MB.

Shrnutí

Existuje spousta nástrojů pro analýzu logů, které vám pomohou lépe porozumět datům logů a efektivněji je analyzovat. To vám může pomoci zefektivnit pracovní postupy DevOps a ušetřit čas při dalším výskytu problému. Poslední věc, kterou chcete dělat, je trávit hodiny prohrabáváním se neuspořádanými daty protokolů ve snaze najít to, co potřebujete.