Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



20.10.2017

Złote dyski WD

WD GOLD 12 TB
17.10.2017

Ultrapanorama

Philips 492P8
13.10.2017

Druk w bieli

Oki Pro8342WT
11.10.2017

PolCAAT’ 2017 już w...

30 listopada 2017 r. w warszawskim hotelu Marriott odbędzie się XIII edycja konferencji...
10.10.2017

Pełna ochrona

Kaspersky Total Security 2018, Internet Security 2018
06.10.2017

Przeprowadzka do chmury

Oracle Exadata Cloud
03.10.2017

Automatyzacja...

Red Hat Ansible
02.10.2017

Bezpieczeństwo danych zaczyna...

Aby zapewnić bezpieczeństwo danych, w tym informacji poufnych o klientach i pracownikach,...
27.09.2017

Dotykowe 75 cali

BenQ RP750K

Repozytoria data lakes - zaawansowana analiza danych

Data publikacji: 21-07-2015 Autor: Stefan Kaczmarek
Przyrost danych...

Szybki przyrost danych niestrukturalnych jest poważnym wyzwaniem dla przedsiębiorstw. Repozytoria danych, określane jako data lakes, mają duże szanse na odegranie ważnej roli przy wydobywaniu wartościowych informacji biznesowych z gigantycznej wielkości zbiorów danych (big data) wytwarzanych w ekosystemach ICT.

Podobnie jak big data, termin data lake często jest deprecjonowany i traktowany jako marketingowy slogan dotyczący produktów obsługiwanych przez rozwiązania Hadoop. Jednocześnie koncepcja jeziora danych coraz częściej rozumiana i traktowana jest jako sposób opisania dowolnie dużego zasobu danych, w którym wymagania dotyczące schematu i samych danych nie są zdefiniowane do momentu, w którym pojawi się zapytanie o konkretne informacje. Skalowalne repozytoria przeznaczono do przechowywania różnego rodzaju zasobów, pochodzących z różnych źródeł i generowanych przez tradycyjne obciążenia (katalogi główne i współużytkowane pliki), jak i obciążenia nowej generacji (analiza danych, aplikacje udostępniane w chmurze i mobilne systemy synchronizacji i współużytkowania plików). Dane w nich zgromadzone są przetwarzane za pomocą różnych mechanizmów przez odrębne systemy pamięci masowej, bez konieczności zarządzania nimi.

> JEZIORA DANYCH – CO TO JEST I JAK DZIAŁA

Data lake to repozytorium, w którym jest przechowywana ogromna ilość nieprzetworzonych danych w oryginalnym formacie. Podczas gdy hierarchiczna hurtownia danych przechowuje informacje w plikach i folderach, data lake do przechowywania danych wykorzystuje płaską architekturę. Każdy element znajdujący się w repozytorium ma przypisany unikalny identyfikator i jest oznaczany zestawem znaczników metadanych. Gdy pojawia się zapytanie biznesowe, repozytorium może zostać przeszukane pod kątem określonych informacji, a następnie mniejszy, wydzielony zestaw danych może zostać poddany analizie, co ma pomóc w rozwiązaniu określonego problemu.

– Data lake to miejsce, w którym następuje integracja informacji dotyczących dotychczasowych inwestycji, a przy przetwarzaniu danych niestrukturyzowanych i ich analizie wykorzystywana jest dodatkowa inteligencja dostarczana przez odpowiednie narzędzia – taką definicję podaje Michael Cucchi, dyrektor działu Product Marketing for Data w firmie Pivotal. Koncepcja data lake pozwala na maksymalnie szybką, zaawansowaną i kontekstową analizę danych nie tylko historycznych, ale także tych generowanych w czasie rzeczywistym (np. w ramach procesów transakcyjnych). Jest to możliwe m.in. dzięki dynamicznemu reroutingowi realizowanemu nie na podstawie tablic routingu, ale kontekstu i z wykorzystaniem technologii przetwarzania in-memory, mogącej zastąpić wolniejsze i kosztowne systemy business intelligence
– zwraca uwagę Cucchi. Przetwarzanie in-memory daje firmom lepszy wgląd w prowadzone działania, poprawia ich efektywność oraz obniża koszty IT.

Pojęcie data lake jest często powiązane z obiektowymi pamięciami masowymi opartymi na platformie Hadoop. W tym przypadku dane organizacji najpierw są umieszczane na wspomnianej platformie, a następnie przetwarzane za pomocą narzędzi do analiz biznesowych i eksploracji danych.

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2013 Presscom / Miesięcznik "IT Professional"