Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



21.05.2018

Dla małych grup

Drukarki Canon
17.05.2018

Inteligentna ochrona

Ever UPS DUO AVR
14.05.2018

Bezpieczna piaskownica

Kaspersky Cloud Sandbox
10.05.2018

Monitoring IT

NetCrunch 10.2 Suite
07.05.2018

Mobilna firma

Sophos Mobile 8.1
27.04.2018

Wydajne procesory

AMD EPYC Embedded 3000 i AMD Ryzen Embedded V1000
24.04.2018

Z odłączanym ekranem

Panasonic Toughbook CF-20
18.04.2018

Dla biznesu

Monitory AOC 6x
13.04.2018

Ochrona sieci przemysłowych

Stormshield SNi40

Splunk – zarządzanie zdarzeniami

Data publikacji: 29-09-2017 Autor: Jarosław Sobel

W pierwszej części cyklu artykułów o jednym z najpopularniejszych narzędzi do analizy danych maszynowych o nazwie Splunk ogólnie zostały opisane możliwości rozwiązania, jego architektura oraz sposób działania. W tym artykule pokazujemy, jak zaimportować dane do Splunka, i co najważniejsze, jak rozpocząć ich analizę.

Jak już wiemy, wszystkie dane Splunk przechowuje w tzw. indeksach, dlatego prace rozpoczynamy właśnie od utworzenia nowego indeksu. W tym celu wybieramy z menu opcję Settings, a następnie klikamy Indexes w sekcji Data. Jak łatwo zauważyć, aplikacja po instalacji automatycznie tworzy kilka domyślnych indeksów, jednak zarówno podczas wdrożenia produkcyjnego, jak i na potrzeby testów tworzymy nowy indeks. Po kliknięciu przycisku New Index wyświetlona zostanie formatka, w której podajemy dowolną nazwę indeksu oraz określamy jego maksymalny rozmiar (domyślnie jest to 500 GB).

> IMPORT DANYCH

Po wykonaniu wspomnianych czynności wracamy do głównego okna aplikacji i wybieramy akcję Add Data (opcja dostępna jest również w sekcji Settings). Dane można dostarczyć na trzy sposoby:

 

  • za pośrednictwem interfejsu webowego Splunka;
  • za pomocą monitora uruchomianego na lokalnym systemie;
  • za pomocą forwarderów.

 

Jak już wspomniano, w środowisku produkcyjnym Splunk używany jest głównie do tego, aby zbierać i analizować informacje pochodzące z różnych źródeł (systemów). Na początek skupimy się jednak na ręcznym imporcie danych. W tym celu wybieramy opcję Upload. Aby ułatwić rozpoczęcie pracy z aplikacją, jej twórcy udostępnili na stronie projektu przykładowe dane testowe. Można je pobrać ze stron tinyurl.com/splunk-test i tinyurl.com/splunk-test1 (archiwa ZIP) lub wyszukać, wpisując frazę: Splunk tutorial data. Testowe archiwa zawierają dane z fikcyjnego sklepu internetowego „Buttercup Games” (nazwa od imienia maskotki firmy – kucyka Buttercup).

Udostępnione archiwa zawierają:

 

  • logi z serwera www – plik access.log:


175.44.24.82 - - [22/Sep/2016:18:44:40] “POST /product.screen?productId=
WC-SH-A01&JSESSIONID=SD7SL9FF5ADFF5066 HTTP 1.1” 200 3067
“http://www.buttercupgames.com/product.screen?productId=WC-SH-A01”
“Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0;
BOIE9;ENUS)” 307
142.233.200.21 - - [22/Sep/2016:19:20:13] “GET show.do?productId=SF-BVS-
01&JSESSIONID=SD6SL8FF4ADFF5218 HTTP 1.1” 404 1329 “http://www.buttercupgames.com
/cart.do?action=purchase&itemId=EST-13” “Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)” 674

 

  • logi z serwera pocztowego – plik secure.log:


Thu Sep 22 2016 00:15:06 mailsv1 sshd[60445]: pam_unix(sshd:session):
session opened for user djohnson by (uid=0)
Thu Sep 22 2016 00:15:06 mailsv1 sshd[3759]: Failed password for nagios
from 194.8.74.23 port 3769 ssh2
Thu Sep 22 2016 00:15:08 mailsv1 sshd[5276]: Failed password for invalid
user appserver from 194.8.74.23 port 3351

 

  • logi z transakcjami sprzedaży – vendor_sales.log:


[22/Sep/2016:18:23:07] VendorID=5037 Code=C AcctID=5317605039838520
[22/Sep/2016:18:23:22] VendorID=9108 Code=A AcctID=2194850084423218
[22/Sep/2016:18:23:49] VendorID=1285 Code=F AcctID=8560077531775179
[22/Sep/2016:18:23:59] VendorID=1153 Code=D AcctID=4433276107716482

Powyższe pliki są codziennie aktualizowane i zawierają zdarzenia z ostatnich siedmiu dni – w logu przy każdym zdarzeniu znajduje się znacznik czasowy, określający, kiedy dane zdarzenie miało miejsce.

Dodatkowo w danych testowych znajdziemy również słownik zawierający produkty znajdujące się w sklepie. Dane w tym pliku nie mają znacznika czasowego i mogą być traktowane jako tzw. lookup table.

productId,product_name,price,sale_price,Code
DB-SG-G01,Mediocre Kingdoms,24.99,19.99,A
DC-SG-G02,Dream Crusher,39.99,24.99,B
FS-SG-G03,Final Sequel,24.99,16.99,C

Wróćmy do aplikacji. Na początek wykorzystamy plik zawierający logi serwera WWW (www1 access.log). Splunk posiada pokaźną bazę definicji typów plików zawierających dane maszynowe – mogą to być logi z systemów operacyjnych, aplikacji, baz danych czy logi z danymi dotyczącymi zdarzeń bezpieczeństwa. Można również zaimportować dane ustrukturyzowane, takie jak CSV lub JSON. W naszym przypadku logi zostały poprawnie rozpoznane jako access_combined_wcookie. Aby analiza danych miała sens, zdarzenia muszą mieć też właściwy znacznik czasowy – w tym przypadku również został on rozpoznany poprawnie (rys. 1). Może się jednak zdarzyć, że aplikacja nie będzie w stanie znaleźć znacznika w danych – wówczas jako czas wystąpienia zdarzenia (jednego lub wszystkich) zostanie przyjęty czas importu danych do systemu.

W kolejnym kroku wpisujemy nazwę hosta, z którego pochodzą dane (może to być np. nazwa serwera – www1) oraz wskazujemy indeks, do którego zostaną one zaimportowane (w tym przypadku będzie to nowo utworzony indeks test). Po załadowaniu danych można rozpocząć analizę – w tym celu klikamy przycisk Start search. Jeśli wszystko zostało wykonane poprawnie, wyświetlone zostanie okno wyszukiwarki, z którą od tego momentu będziemy pracować i która jest głównym narzędziem analityka danych.

[...]

Autor jest specjalistą zajmującym się projektowaniem, implementacją i administracją rozwiązań wirtualizacyjnych. Posiada certyfikacje firm: Citrix, VMware, Microsoft, NetApp i RedHat. Prelegent oraz autor bloga poświęconego technologii Citrix i wirtualizacji.

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2013 Presscom / Miesięcznik "IT Professional"