Elämme ajassa, jossa tietoja tallennetaan ja lokitetaan lähes kaikesta. Olipa kyse web-palvelimen käytettävyydestä, JavaScript-virheistä, tietokantakyselyistä, CDN-liikenteestä, Nginx-virheistä jne. Voit luetella mitä tahansa, ja voit luultavasti kirjata sen lokiin. Edellisessä postauksessa käsittelimme lokienhallintapalvelun integroinnin tärkeyttä DevOps-työnkulkuun. Keskitetyt lokit voivat olla hienoja, mutta niitä on myös pystyttävä analysoimaan tehokkaasti. Siksi tänään haluamme käsitellä 10 parasta lokianalyysityökalua, joiden avulla voit analysoida lokit paremmin, suorittaa live tail -hakuja ja kysyä tiettyjä tarvitsemiasi lokitietoja.

Lokianalyysityökalut

Kun yhä useammat yritykset siirtyvät pilvipalveluihin, lokianalyysin, lokianalyysin ja lokien hallinnan työkalut ja palvelut muuttuvat yhä tärkeämmiksi. DevOps-insinöörit, järjestelmänvalvojat, sivustojen luotettavuusinsinöörit ja web-kehittäjät voivat kaikki käyttää lokeja parempien tietoon perustuvien päätösten tekemiseen.

Lokianalyysityökaluja on paljon erilaisia, alla on 10 suosituinta niistä. Jokainen niistä tarjoaa omat ainutlaatuiset hakuominaisuutensa, live tail -kyselyt jne. Jotkin luetelluista työkaluista ovat enemmän lokien hallintapalveluita, mutta ne tarjoavat myös tehokkaampia tapoja analysoida lokit verrattuna raakadatan tarkasteluun. Nämä eivät ole tietyssä järjestyksessä, ja mukana on sekä ilmaisia että maksullisia työkaluja.

Kanavoi kaikki lokit, metriikat ja konetapahtumat yhteen keskukseen. Saat selkeän yleiskuvan siitä, mitä hajautetuissa ympäristöissäsi tapahtuu, ja löydät neulan heinäsuovasta hetkessä.

– Logmatic

Loggly

Loggly on vuonna 2009 perustettu pilvipohjainen lokienhallinta- ja analytiikkapalvelujen tarjoaja. Heidän pääpaino on siinä, että lokien hallinnan on oltava paljon yksinkertaisempaa ja että DevOpsin, SysOpsin ja insinöörien ei pitäisi joutua huolehtimaan lokien hallinnasta. Heidän asiakkaisiinsa kuuluvat muun muassa EA, Autodesk, SendGrid, Atlassian, Sony Pictures ja Citrix.

Logglyn ominaisuudet

Logglyllä on sekä ilmaisia että maksullisia suunnitelmia. Logglyn analysointiominaisuuksiin kuuluu muun muassa mahdollisuus nähdä lokit lintuperspektiivistä dynaamisen kenttäselaimen avulla. Voit karsia kohinan pois muutamalla yksinkertaisella klikkauksella. Ne ylpeilevät myös tehokkailla kokotekstihauilla, vaihteluväleillä ja booleanseilla. Voit myös helposti havaita lokien trendejä käyttämällä monipuolisia näkymiä ja kaavioita. Jos näet piikin, voit nopeasti rajata sen lokin kyseiseen ajankohtaan.

GoAccess

GoAccess on suunniteltu nopeaksi, päätepohjaiseksi lokianalysaattoriksi. Sen ydinajatus on analysoida ja tarkastella web-palvelimen tilastoja nopeasti ja reaaliaikaisesti ilman selaimen käyttöä. Se on avoimen lähdekoodin ja saatavilla GitHubissa, jossa on yli 2900 tähteä ja yli 200 haaraa.

GoAccessin ominaisuudet

Me rakastamme GoAccessia, koska se on avoimen lähdekoodin ja sen vuoksi sen käyttö on täysin ilmaista. Tämä on työkalu niille, jotka rakastavat terminaalin ja SSH:n käyttöä ja haluavat nopean pääsyn tietoihinsa. Voit helposti luoda raportteja tällä työkalulla lennossa luomalla ne reaaliaikaisiin HTML-, JSON- tai CSV-tiedostoihin. Voit katsoa live-demon täältä.

Muihin ominaisuuksiin kuuluvat muun muassa mahdollisuus käsitellä lokit inkrementaalisesti, lokimuodon valitseminen, reaaliaikaiset tilastot ja ennalta määritetyt mukautetut lokimuoto-merkkijonot.

logz.io

logz.io tarjoaa reaaliaikaisia, käyttökelpoisia oivalluksia lokeihin liittyvästä analytiikkatiedostostostasi isännöidyn ELK:n avulla palveluna. ELK on yksinkertainen mutta vankka lokianalyysialusta, joka maksaa murto-osan hinnasta. Heidän asiakkaisiinsa kuuluvat muun muassa Netflix, Facebook, LinkedIn, Cisco ja Microsoft. logz.io on luultavasti yksi suurimmista kilpailijoista Splunkille, joka mainitaan tarkemmin alla.

logz.ion ominaisuudet

logz.iolla on sekä ilmaisia että maksullisia suunnitelmia. Tuotantoon liittyvien ongelmien vianmääritys on ehkä yleisin lokianalytiikan käyttötapaus. Heidän käyttöliittymänsä, joka perustuu Kibanaan, antaa sinulle mahdollisuuden etsiä miljoonista tietueista mahdollisten ongelmien tutkimiseksi ja paikallistamiseksi. Voit suodattaa tuloksia palvelimen, sovelluksen tai minkä tahansa mukautetun parametrin mukaan, kunnes löydät ongelman lähteen. Jos etsit Splunk-vaihtoehtoa, kannattaa kokeilla logz.io:ta.

Graylog

Graylog on avoimen lähdekoodin lokienhallinta-alusta, jonka avulla voit etsiä, analysoida ja hälyttää kaikista lokitiedostoista. Heidän asiakkaisiinsa kuuluvat muun muassa BCBS, eBay, SAP, Cisco, LinkedIn ja Twilio. Se on saatavilla GitHubissa, jossa on yli 2 000 tähteä ja yli 300 haaraa.

Graylogin ominaisuudet

Koska se on avointa lähdekoodia, Graylog on täysin ilmainen käyttää. Heillä on myös yritysversio, jossa he veloittavat palvelimen lisenssistä. Sen ominaisuuksiin kuuluu muun muassa REST API ja Graylogin joustava käsittelymoottori, jonka avulla on helppo jäsentää ja rikastaa lokit mistä tahansa tietolähteestä. Voit tehdä hakuja teratavun kokoisista tiedoista välittömästi ja jopa tallentaa hakukyselyjä, joita voit jakaa myöhemmin kollegoillesi. Niiden tehokas porautuva analyysi ja kaaviot helpottavat lokien ongelmien paikantamista.

Splunk

Splunk on suuri nimi lokien ja sovellusten hallinnan alalla. He ovat toimineet vuodesta 2003 lähtien eivätkä ole uusia tulokkaita tietojen analysoinnissa ja seurannassa. He tarjoavat loistavia ratkaisuja suuremmille yritysasiakkaille.

Splunkin ominaisuudet

Splunkilla on sekä ilmaisia että maksullisia suunnitelmia. Heidän ilmaispakettinsa, Spunk light, mahdollistaa enintään 500 Mt datan kirjaamisen päivässä. Maksullisten suunnitelmien hinnoittelu riippuu käsiteltävän datan määrästä. Splunk tarjoaa loistavan tavan kerätä, tallentaa, indeksoida, hakea, korreloida, visualisoida, analysoida ja raportoida mitä tahansa koneiden tuottamaa dataa, jotta toiminta- ja tietoturvaongelmat voidaan tunnistaa ja ratkaista nopeammin, toistettavasti ja edullisemmin. Ne tarjoavat tehokkaita porautumismahdollisuuksia, joiden avulla voit helposti palata ajassa taaksepäin ad-hoc-kyselyillä. Niiden kojelauta ja trendikaaviot tarjoavat myös loistavan tavan havaita ja visualisoida mahdollisia trendejä.

Logmatic.io

Logmatic.io on lokianalyysityökalu, joka on suunniteltu erityisesti parantamaan ohjelmistojen ja liiketoiminnan suorituskykyä. Perustajilla on yli 10 vuoden kokemus reaaliaikaisista ja big data -ohjelmistoista. He painottavat ”konedatan” analysointia.”

Logmaticin ominaisuudet

Logmatic.io:lla on maksullisia paketteja alkaen 49 dollarista kuukaudessa. Joihinkin heidän ominaisuuksiinsa kuuluu mahdollisuus luoda omia mukautettuja jäsennyssääntöjä, joiden avulla ohjelmisto tunnistaa automaattisesti kuvioita. Tätä tuetaan Apache, Nginx, syslogit, JSON-tapahtumat jne. Käytössäsi on fasetti- ja kokotekstirakeisia hakuja lokitasolle asti sekä reaaliaikaisia lokitietoja ja reaaliaikaisia hakuja. Voit käyttää monimutkaisia kyselyjä, kuten AND, OR, jokerimerkkejä jne. Ne tarjoavat sinulle kaikenlaisia kaavioita trendien havaitsemiseen, kaikkea geokartoista, vuokaavioista ja pivot-taulukoista!

Logstash

Logstash on ilmainen avoimen lähdekoodin työkalu tapahtumien ja lokien hallintaan. Voit käyttää sitä lokien keräämiseen, jäsentämiseen ja tallentamiseen myöhempää käyttöä varten. Tämä työkalu kulkee käsi kädessä sekä Elasticsearchin että Kibanan kanssa. Näiden käyttäminen yhdessä voi olla tehokas yhdistelmä lokianalyysityökalulle. Ne kaikki kolme ovat saatavilla GitHubissa.

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Logstash-ominaisuudet

Koska se on avoimen lähdekoodin työkalu, Logstashin käyttö on täysin ilmaista. Heillä on myös maksullinen lisenssi vaikka saatavilla niille, jotka tarvitsevat lisäominaisuuksia. Voit käyttää elasticsearchia, kibanaa ja logstashia yhdessä. Kibanan avulla voit helpommin tutkia ja visualisoida logstashin avulla tuotua lokidataa, ja elasticsearch antaa sinulle tehokkaat reaaliaikaiset haku- ja analyysiominaisuudet.

Sumo Logic

Sumo Logic keskittyy koneelliseen oppimiseen yhtenäistetyissä lokitiedostoissa ja metriikoissa, jotta voit paljastaa reaaliaikaisia oivalluksia sovellustarpeista ja uusista asiakasmahdollisuuksista. Yritys perustettiin vuonna 2010, ja sen pilvipohjainen palvelu analysoi yli 100 petatavua dataa päivässä.

Sumo Logicin ominaisuudet

Sumo Logicilla on sekä ilmaisia että maksullisia paketteja, jotka alkavat 90 dollarista kuukaudessa. He tarjoavat ainutlaatuisen ominaisuuden, jota he kutsuvat koneoppimiseksi. Sen avulla voit analysoida petatavuja dataa ja oppia siitä, jotta voit paljastaa kuvioita nopeammin. Heidän työkalunsa käyttää kehittynyttä analytiikkaa, joka auttaa ymmärtämään suuria tietomääriä indeksoinnin ja suodatuksen avulla. Heidän intuitiivisen kojelautansa avulla voit havaita poikkeamat asettamalla asiakkaan ennalta määrittelemät metriikkasuodattimet.

Papertrail

Papertrail on pikemminkin lokien hallintapalvelu, mutta se tarjoaa myös hienoja ominaisuuksia, jotka tekevät lokien analysoinnista nopeaa! Heidän asiakkaisiinsa kuuluvat muun muassa GitHub, Instacart, Product Hunt ja DNSimple.

Papertrailin ominaisuudet

Papertraililla on sekä ilmaisia että maksullisia paketteja, jotka alkavat 7 dollarista kuukaudessa. Niiden ominaisuuksiin kuuluvat muun muassa intuitiivinen web-pohjainen lokin katseluohjelma ja tehokkaat komentorivityökalut. Heillä on REST API ja pitkäaikaisarkistot S3:n kanssa. Jos olet kehittäjä, pidät todennäköisesti Papertrailin toiminnasta! Voit suorittaa live tail -hakuja, hakea ajan, sisällön tai tyylikkäiden hakujen perusteella, tallentaa hakuja ja jopa värittää lokit eri tavoin. Heillä on jopa OS X:n dashboard-widget ja integraatiot suosikkityökaluihisi, kuten Slackiin ja Zendeskiin.

Fluentd

Fluentd on toinen avoimen lähdekoodin data-analyysityökalu, jonka avulla voit yhdistää useista lähteistä peräisin olevia lokeja, jotta voit analysoida niitä paremmin ja helpommin. Muutamia Fluentdin merkittävimpiä käyttäjiä ovat muun muassa Microsoft, Amazon AWS ja Atlassian.

Fluentdin ominaisuudet

Fluentdin avulla voit irrottaa useita tietolähteitä, kuten käyttölokit, sovelluslokit, järjestelmälokit jne. ja yhdistää ne yhdeksi lokikerrokseksi. Voit sitten suodattaa, puskuroida ja reitittää nämä lokit sopiviin järjestelmiin (esim. Hadoop, Elasticsearch, AWS jne.). Fluentd-käyttäjillä on käytettävissään myös yli 300 liitännäistä, joiden avulla he voivat muodostaa yhteyden lukuisiin tietolähteisiin. Se pystyy tähän kaikkeen pitäen pienen, vain 30-40 Mt:n muistijalanjäljen.

Yhteenveto

On olemassa runsaasti lokianalyysityökaluja, jotka auttavat sinua ymmärtämään lokitietojasi paremmin ja jäsentämään niitä tehokkaammin. Tämä voi auttaa virtaviivaistamaan DevOps-työnkulkuasi ja säästää aikaa seuraavan ongelman ilmaantuessa. Viimeinen asia, jonka haluat tehdä, on kaivaa tuntikausia järjestelemättömiä lokitietoja etsiessäsi sitä, mitä tarvitset.