Visa obesvarade inlägg | Visa aktiva trådar Aktuellt datum och tid: 07 apr 2020, 21:12



Svara på tråd  [ 8 inlägg ] 
 Logstash 
Författare Meddelande
Fadder
Användarvisningsbild

Blev medlem: 29 sep 2008, 22:05
Inlägg: 257
Ort: Uppsala
OS: Ubuntu
Svara med citat
Inlägg Logstash
Någon här som har erfarenhet av logstash redis och elasticsearch med kibana gui?

Försöker förstå den skalar mot min nuvarande centrala syslog-ng setup som loggar ~20000 rader/sekund via udp från ~600 maskiner.

Hittar inte så mycket information om hur den kan klustras och failover etc. Hur mycket mer disk den kommer att behöva. Läste på något forum att elasticsearch har en faktor 10 i volym efter indexering av loggfilerna.

/Fredrik


09 maj 2014, 14:52
Profil
Serveradmin
Användarvisningsbild

Blev medlem: 22 okt 2006, 09:13
Inlägg: 3795
Ort: Svedala
OS: Ubuntu
Utgåva: 18.04 Bionic Beaver LTS
Svara med citat
Inlägg Re: Logstash
Har själv precis börjat titta på dem (läs igår) så jag har inget att bidra gällande produkterna specifikt. Däremot så körde jag på min tidigare arbetsplats Splunk. Och, ja, mängden loggdata förändras ju inte i sig, däremot behöver du bra prestanda i CPU och I/O för att kunna göra någon givande analys av logginfon.

Kluster och failover har jag inte kommit till än men syftet här är ju primärt logganalys, redundansen i loggdata fixar man via backup, tänker jag. Hur ser du på det?


10 maj 2014, 14:16
Profil WWW
Fadder
Användarvisningsbild

Blev medlem: 29 sep 2008, 22:05
Inlägg: 257
Ort: Uppsala
OS: Ubuntu
Svara med citat
Inlägg Re: Logstash
Jag har tittat på splunk och tycker att deras prissättning är galen.
Kan även nämna att vi tittar på syslog-ng och deras SSB (The syslog-ng Store Box™ (SSB) is a high-reliability log management appliance that builds on the strengths of syslog-ng Premium Edition).
Jag har en SSB installerad och har svårt att förstå vad den ska ge för mervärde, ett gui att söka i för Windows anv?!.

Logstash parsar loggrader och verkar göra det riktigt bra, samt att elasticsearch indexerar det på ett bra sätt. Om man sedan lägger kibana "ovanpå" så har man en ganska komplett analysverktyg.

När man tittar runt på logstash och elasticsearch så är det en faktor 10 mer disk som behövs jämfört med att som traditionellt skriva ner en flatfil som sedan packas.

Det jag inte greppar riktigt och jag har frågat runt på #logstash är:
*Jag hittar inga tester (rekommendationer) cpu, disk etc.
*Backup möjligheter, idag är det enkelt att rotera och tara en fil för att sedan skicka den till backup.
*Lagring, är det elasticsearch eller redis som ska lagra datan?

Hittar ingen bra teknisk dokumentation samt några "best practice" skulle vara fint att läsa om.

//Fredrik


12 maj 2014, 09:23
Profil
Fadder
Användarvisningsbild

Blev medlem: 29 sep 2008, 22:05
Inlägg: 257
Ort: Uppsala
OS: Ubuntu
Svara med citat
Inlägg Re: Logstash
Kanske man ska göra så här...
man låter klienterna (win, linux, unix...) logga till:
syslog-ng (udp, tcp ssl) -->
Skickar vidare det som ska analyseras (apache dns dhcp..) till logstach.

Då låter man beprovad teknik hantera core data samt rotering och backup och sedan skickar man vissa loggar till analys (logstash)?
Vad tror du?

/Fredrik


12 maj 2014, 09:28
Profil
Serveradmin
Användarvisningsbild

Blev medlem: 22 okt 2006, 09:13
Inlägg: 3795
Ort: Svedala
OS: Ubuntu
Utgåva: 18.04 Bionic Beaver LTS
Svara med citat
Inlägg Re: Logstash
uppsalanet skrev:
Kanske man ska göra så här...
man låter klienterna (win, linux, unix...) logga till:
syslog-ng (udp, tcp ssl) -->
Skickar vidare det som ska analyseras (apache dns dhcp..) till logstach.

Då låter man beprovad teknik hantera core data samt rotering och backup och sedan skickar man vissa loggar till analys (logstash)?
Vad tror du?


Absolut, det är definitivt en möjlighet. Mycket handlar ju om vilka faror man ser och vad man vill prioritera. Med det tillvägagångssättet kan du ju alltid följa upp sysloggarna för en klient som eventuellt har orsakat problem på en av dina servrar. Skulle det däremot visa sig vara ett återkommande problem får du kanske fundera på att dra in klientloggarna i logstash också?

På Splunk installationen jag jobbade med, drog vi in loggar för ~4000 servrar. Vi hade en server med 16 kärnor, 64GB RAM, lokal disklösning. Det räckte inte, när något större problem spökade i nätet kunde den gå på knäna ändå.


12 maj 2014, 09:39
Profil WWW
Fadder
Användarvisningsbild

Blev medlem: 29 sep 2008, 22:05
Inlägg: 257
Ort: Uppsala
OS: Ubuntu
Svara med citat
Inlägg Re: Logstash
johanre skrev:
Absolut, det är definitivt en möjlighet. Mycket handlar ju om vilka faror man ser och vad man vill prioritera. Med det tillvägagångssättet kan du ju alltid följa upp sysloggarna för en klient som eventuellt har orsakat problem på en av dina servrar. Skulle det däremot visa sig vara ett återkommande problem får du kanske fundera på att dra in klientloggarna i logstash också?


I mitt fall är vi skyldiga att spara och ta hand om loggar (myndighet). Logstash kanske är lite ungt (2010) för att kliva på till 100%. Lösningen vi har i dag är stabil, syslog-ng, men tillåter inte vidare analys för att proaktivt hantera loggarna. Klart att det går att knöla med script som letar efter vissa mönster i loggarna, men det är att backa in i framtiden ala 1987.

Kommer nog sikta på en syslog-ng med failover och sedan skicka viss data för analys till Logstash-Elastic-Kibana.

@Johan jag ska absolut göra en djupdykning, återkommer :-) Kommer du på något smart så får du gärna höra av dig.

//Fredrik


12 maj 2014, 13:38
Profil
Fadder
Användarvisningsbild

Blev medlem: 29 sep 2008, 22:05
Inlägg: 257
Ort: Uppsala
OS: Ubuntu
Svara med citat
Inlägg Re: Logstash  Tråden är löst
Nu har jag installerat och testat med riktig data för att se hur det skalar.

Så här satte jag upp det:
Maskin #1 - syslog-ng som central syslog på den lägger jag en Logstash som parsar och skickar vidare till redis "message queue".
Maskin #2 - redis "message queue".
Maskin #3 - Logstash som hämtar från redis och skickar det vidare till elasticsearch. Kibana ligger som ett GUI över elasticsearch.

Fungerar riktigt bra, lätt att skala med fler noder både redis och elasticsearch.

EKL (elasticsearch Kibana Logstash) driftas idag av företaget Elasticsearch dom säljer support av olika grad, har pratat med dom och verkar proffsiga och kompetenta.

Ni hitta deb och rmp på deras hemsida om man vill installera.
/Fredrik


05 jun 2014, 13:06
Profil
Serveradmin
Användarvisningsbild

Blev medlem: 22 okt 2006, 09:13
Inlägg: 3795
Ort: Svedala
OS: Ubuntu
Utgåva: 18.04 Bionic Beaver LTS
Svara med citat
Inlägg Re: Logstash
Snyggt, Fredrik, riktigt bra! Skall pilla med detta när jag får tid...(famous last words :-\ )


05 jun 2014, 13:26
Profil WWW
Visa inlägg nyare än:  Sortera efter  
Svara på tråd   [ 8 inlägg ] 

Vilka är online

Användare som besöker denna kategori: Inga registrerade användare och 6 gäster


Du kan inte skapa nya trådar i denna kategori
Du kan inte svara på trådar i denna kategori
Du kan inte redigera dina inlägg i denna kategori
Du kan inte ta bort dina inlägg i denna kategori
Du kan inte bifoga filer i denna kategori

Sök efter:
Hoppa till:  
Main Engineer for phpBB3: Bertie at phpBB.com © 2000 - 2002, 2005 - 2007, the Group behind the Open Source code of phpBB.
Designed by STSoftware, modified by Katt, Konservburk & Peetra. Swedish translation by Peetra & phpBB Sweden © 2006-2011