Żyjemy w czasach, w których dane są rejestrowane i zapisywane w logach dla prawie wszystkiego. Czy jest to czas pracy serwera WWW, błędy JavaScript, zapytania do bazy danych, ruch CDN, błędy Nginx, itp. Możesz to nazwać, i prawdopodobnie możesz to zalogować. W poprzednim poście omówiliśmy znaczenie integracji usługi zarządzania logami z przepływem pracy DevOps. Posiadanie scentralizowanych logów może być świetne, ale musisz również być w stanie efektywnie je analizować. Dlatego dzisiaj chcemy omówić 10 najlepszych narzędzi do analizy logów, które można wykorzystać do lepszego przetwarzania logów, uruchamiania wyszukiwania na żywo i wyszukiwania konkretnych danych z logów, których potrzebujesz.

Narzędzia do analizy logów

Jak coraz więcej firm przenosi się do chmury, narzędzia i usługi do analizy logów, analizy logów i zarządzania logami stają się coraz bardziej krytyczne. Inżynierowie DevOps, administratorzy systemów, inżynierowie niezawodności witryn i programiści stron internetowych mogą wykorzystywać dzienniki do podejmowania lepszych decyzji opartych na danych.

Istnieje wiele różnych narzędzi do analizy dzienników, poniżej znajduje się 10 najpopularniejszych z nich. Każde z nich oferuje swoje własne unikalne funkcje wyszukiwania, zapytania z ogonem na żywo itp. Niektóre z wymienionych narzędzi są bardziej usługami zarządzania logami, ale oferują również bardziej efektywne sposoby analizy logów w porównaniu do patrzenia na surowe dane. Są one w nieszczególnej kolejności i obejmują zarówno darmowe, jak i płatne narzędzia.

Funnel wszystkie dzienniki, metryki i zdarzenia maszynowe do jednego centrum. Uzyskaj jasny przegląd tego, co dzieje się w Twoich rozproszonych środowiskach, i błyskawicznie znajdź igłę w stogu siana.

– Logmatic

Loggly

Loggly to dostawca usług zarządzania i analizy logów w chmurze, założony w 2009 roku. Ich głównym celem jest to, że zarządzanie logami musi być znacznie prostsze i że DevOps, SysOps i inżynierowie nie powinni się martwić o zarządzanie logami. Niektórzy z ich klientów to EA, Autodesk, SendGrid, Atlassian, Sony Pictures i Citrix.

Cechy loggly

Loggly ma zarówno darmowe jak i płatne plany. Niektóre z analizowanych funkcji Loggly to możliwość zobaczenia logów z lotu ptaka dzięki dynamicznemu eksploratorowi pól. Możesz pozbyć się szumu za pomocą kilku prostych kliknięć. Mogą również pochwalić się potężnymi wyszukiwaniami pełnotekstowymi, zakresami i booleans. Możesz również łatwo zauważyć trendy w logach, korzystając z ich bogatych widoków i wykresów. Jeśli zauważysz skok, możesz szybko zawęzić go do tego punktu w czasie w dzienniku.

GoAccess

GoAccess został zaprojektowany jako szybki, terminalowy analizator dzienników. Jego główną ideą jest szybkie analizowanie i przeglądanie statystyk serwera WWW w czasie rzeczywistym bez konieczności używania przeglądarki. Jest open source i dostępny na GitHub z ponad 2900 gwiazdkami i 200+ forkami.

CechyGoAccess

Kochamy GoAccess, ponieważ jest open source, a dzięki temu jest całkowicie darmowy w użyciu. Jest to narzędzie dla tych, którzy kochają używać terminala i SSH i chcą mieć szybki dostęp do swoich danych. Możesz łatwo generować raporty za pomocą tego narzędzia w locie, generując je do HTML, JSON lub CSV w czasie rzeczywistym. Możesz zobaczyć demo na żywo tutaj.

Inne funkcje obejmują możliwość przetwarzania dzienników przyrostowo, wybieranie formatu dziennika, statystyki w czasie rzeczywistym i predefiniowane niestandardowe ciągi formatu dziennika.

logz.io

logz.io oferuje wgląd w czasie rzeczywistym, możliwy do zastosowania w danych analitycznych dziennika z hostowanym ELK jako usługą. ELK jest prostą, ale solidną platformą do analizy logów, która kosztuje ułamek ceny. Niektórzy z ich klientów to Netflix, Facebook, LinkedIn, Cisco i Microsoft. logz.io jest prawdopodobnie jednym z największych konkurentów Splunk, o którym mowa poniżej.

logz.io features

logz.io posiada zarówno darmowe, jak i płatne plany. Rozwiązywanie problemów produkcyjnych jest prawdopodobnie najczęstszym przypadkiem użycia analityki logów. Ich interfejs, który jest zasilany przez Kibanę, pozwala na przeszukiwanie milionów rekordów, aby zbadać i wskazać potencjalne problemy. Możesz filtrować wyniki według serwera, aplikacji lub dowolnego parametru, aż dotrzesz do źródła problemu. Jeśli szukasz alternatywy dla Splunk, możesz spróbować logz.io.

Graylog

Graylog to platforma open source do zarządzania logami, która pozwala na wyszukiwanie, analizowanie i ostrzeganie o wszystkich plikach logów. Niektórzy z ich klientów to BCBS, eBay, SAP, Cisco, LinkedIn i Twilio. Jest on dostępny na GitHub z ponad 2000 gwiazdek i 300+ forków.

Cechy Graylog

Ponieważ jest to open source, Graylog jest całkowicie darmowy w użyciu. Mają również wersję dla przedsiębiorstw, gdzie pobierają opłatę za licencję na serwerze. Niektóre z jego funkcji obejmują REST API i elastyczny silnik przetwarzania Graylog, który ułatwia parsowanie i wzbogacanie logów z dowolnego źródła danych. Możesz błyskawicznie przeszukiwać terabajty danych, a nawet zapisywać zapytania, aby później podzielić się nimi z kolegami. Ich potężna analiza drill-down i wykresy ułatwiają identyfikację problemów w logach.

Splunk

Splunk to duża nazwa w przestrzeni zarządzania logami i aplikacjami. Istnieją od 2003 roku i nie są nowicjuszami jeśli chodzi o analizę i monitorowanie danych. Oferują świetne rozwiązania dla większych klientów korporacyjnych.

Cechy Splunk

Splunk ma zarówno darmowe jak i płatne plany. Ich darmowy plan, Spunk light, pozwala na rejestrowanie do 500 MB danych dziennie. Ceny płatnych planów zależą od ilości przetwarzanych danych. Splunk oferuje doskonały sposób zbierania, przechowywania, indeksowania, wyszukiwania, korelowania, wizualizacji, analizy i raportowania danych generowanych przez maszyny w celu identyfikacji i rozwiązywania problemów operacyjnych i związanych z bezpieczeństwem w szybszy, powtarzalny i bardziej przystępny sposób. Oferują one potężne drill-downs, które pozwalają na łatwe cofanie się w czasie przy użyciu zapytań ad-hoc. Ich tablica rozdzielcza i wykresy trendów również zapewniają świetny sposób na dostrzeżenie i wizualizację możliwych trendów.

Logmatic.io

Logmatic.io jest narzędziem do analizy logów zaprojektowanym specjalnie w celu poprawy wydajności oprogramowania i biznesu. Założyciele mają ponad 10 lat doświadczenia w oprogramowaniu czasu rzeczywistego i big data. Ich nacisk kładziony jest na analizę „danych maszynowych.”

Cechy Logmatic

Logmatic.io ma płatne plany zaczynające się od $49 miesięcznie. Niektóre z ich funkcji obejmują możliwość tworzenia własnych reguł parsowania, które pozwalają oprogramowaniu na automatyczne rozpoznawanie wzorców. Jest to obsługiwane w Apache, Nginx, syslogs, JSON zdarzeń, itp. Masz faceted i pełnotekstowe wyszukiwanie granularne aż do poziomu dziennika, jak również dzienniki w czasie rzeczywistym i wyszukiwania w czasie rzeczywistym. Możesz używać złożonych zapytań, takich jak AND, OR, symbole wieloznaczne itp. Zapewniają one wszelkiego rodzaju wykresy, aby dostrzec trendy, wszystko od map geograficznych, wykresów przepływu i tabel przestawnych!

Logstash

Logstash jest darmowym narzędziem open source do zarządzania zdarzeniami i dziennikami. Można go używać do zbierania logów, parsowania ich i przechowywania do późniejszego wykorzystania. Narzędzie to idzie w parze zarówno z Elasticsearch jak i Kibana. Użycie ich razem może być potężną kombinacją dla narzędzia do analizy logów. Są one wszystkie trzy dostępne na GitHub.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Cechy Logstash

Ponieważ jest to open source, Logstash jest całkowicie darmowy do użytku. Mają też płatną licencję, choć dostępną dla tych, którzy potrzebują dodatkowych funkcji. Możesz używać elasticsearch, kibana i logstash razem. Kibana pozwala na łatwiejszą eksplorację i wizualizację danych dziennika wprowadzanych za pomocą logstash, a elasticsearch daje potężne możliwości wyszukiwania i analizy w czasie rzeczywistym.

Sumo Logic

Sumo Logic skupia się na uczeniu maszynowym dla zunifikowanych dzienników i metryk, aby odkryć w czasie rzeczywistym wgląd w potrzeby aplikacji i nowe możliwości dla klientów. Zostali założeni w 2010 roku, a ich natywna usługa w chmurze analizuje ponad 100 petabajtów danych dziennie.

Cechy Sumo Logic

Sumo Logic ma zarówno darmowe, jak i płatne plany zaczynające się od 90 dolarów miesięcznie. Oferują one unikalną funkcję, którą nazywają uczeniem maszynowym. To pozwala na analizę petabajtów danych i uczyć się od tego, aby odkryć wzorce szybciej. Ich narzędzie wykorzystuje zaawansowaną analitykę, która pomaga nadać sens dużej ilości danych za pomocą indeksowania i filtrowania. Ich intuicyjny dashboard pozwala na wykrycie anomalii poprzez ustawienie predefiniowanych przez klienta filtrów metrycznych.

Papertrail

Papertrail jest bardziej usługą zarządzania logami, ale oferuje również kilka świetnych funkcji, które sprawiają, że analiza logów jest szybka! Niektórzy z ich klientów to GitHub, Instacart, Product Hunt, i DNSimple.

Cechy Papertrail

Papertrail ma zarówno darmowe jak i płatne plany zaczynające się od $7 miesięcznie. Niektóre z ich funkcji obejmują intuicyjną przeglądarkę logów opartą na przeglądarce internetowej i potężne narzędzia wiersza poleceń. Mają REST API i długoterminowe archiwa z S3. Jeśli jesteś deweloperem, prawdopodobnie spodoba Ci się to, co robi Papertrail! Możesz uruchomić wyszukiwanie ogona na żywo, szukać według czasu, treści, eleganckich wyszukiwań, zapisywać wyszukiwania, a nawet kolorować swoje dzienniki w różny sposób. Mają nawet widget OS X dashboard i integracje z ulubionymi narzędziami takimi jak Slack i Zendesk.

Fluentd

Fluentd jest kolejnym narzędziem open source do analizy danych, które pozwala na ujednolicenie logów z wielu źródeł w celu lepszej i łatwiejszej ich analizy. Kilka z najbardziej znanych użytkowników Fluentd to Microsoft, Amazon AWS i Atlassian.

Cechy Fluentd

Fluentd pozwala oddzielić wiele źródeł danych, takich jak logi dostępu, logi aplikacji, logi systemowe, itp. i zjednoczyć je w jedną warstwę logowania. Następnie można filtrować, buforować i kierować te logi do odpowiednich systemów (np. Hadoop, Elasticsearch, AWS, itp.). Użytkownicy Fluentd mają również do dyspozycji ponad 300 wtyczek, które pozwalają na połączenie z wieloma źródłami danych. Wszystko to można zrobić zachowując niewielki ślad pamięciowy wynoszący zaledwie 30-40 MB.

Podsumowanie

Istnieje wiele narzędzi do analizy dzienników, które pomagają lepiej zrozumieć dane dziennika i przetwarzać je w bardziej efektywny sposób. To może pomóc usprawnić przepływ pracy DevOps i zaoszczędzić czas następnym razem, gdy pojawi się problem. Ostatnią rzeczą, jaką chcesz zrobić, jest spędzenie godzin na przekopywaniu się przez niezorganizowane dane dziennika, próbując znaleźć to, czego potrzebujesz.