Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.


25.10.2019

Skalowalna infrastruktura

Red Hat OpenStack Platform 15
25.10.2019

Cienki klient 2.0

Windows Virtual Desktop
25.10.2019

Nowy sprzęt Microsoftu

Rodzina Surface się powiększa
24.10.2019

Serwery ARM

Oracle stawia na Ampere Computing
24.10.2019

Wszechstronny i elegancki

Dell XPS 15
10.10.2019

CYBERSEC EXPO - największe w...

Bezpieczeństwo cyfrowe nie jest problemem dotyczącym jedynie działów IT. Obecnie stanowi...
30.09.2019

Nowości w wirtualizacji

VMware World 2019
30.09.2019

Bezpieczeństwo mobile-first

Android 10

Implementacja SQL Server 2019 BDC

Data publikacji: 29-08-2019 Autor: Marcin Szeliga
Rys. 1. Dzięki usłudze Kibana...

W poprzednim artykule omówiono problemy związane z przetwarzaniem dużych zbiorów danych oraz sposoby ich rozwiązania za pomocą SQL Server Big Data Clusters (BDC). W tej części zainstalujemy serwer i użyjemy go do przeprowadzenia typowych operacji, zaczynając od pracy z danymi w różnych formatach, a na zbudowaniu modelu uczenia maszynowego kończąc.

 

SQL Server Big Data Clusters działa w środowisku klastrów Kubernetes v1.10 lub nowszych. Taki klaster można zainstalować na pojedynczej maszynie wirtualnej, na wielu maszynach wirtualnych lub w usłudze Azure Kubernetes Service (AKS). Skupimy się na trzeciej opcji, co oznacza pominięcie w artykule opisu instalacji i konfiguracji klastra Kubernetes.

Na komputerze użytym do instalacji SQL Server Big Data Clusters należy zainstalować:
 

  • interpretator języka Python w wersji 3.5 lub wyższej oraz menadżera pakietów pip3 – wiele komponentów BDC używa języka Python, a menadżer pip3 pozwoli zainstalować potrzebne do ich konfiguracji narzędzia klienckie,
  • interfejs wiersza polecenia Azure CLI – zostanie użyty do pracy z klastrem Kubernetes działającym w usłudze AKS,
  • program wiersza polecenia kubectl – posłuży do konfiguracji i monitorowania klastra Kubernetes,
  • program wiersza polecenia azdata – za jego pomocą będziemy instalować i konfigurować BDC,
  • narzędzie klienckie BDC Azure Data Studio – graficzne narzędzie pozwalające konfigurować i pracować z różnymi komponentami BDC za pośrednictwem dodatku SQL Ser­ver 2019 extension. W artykule przedstawiono dostępną na GitHubie wersję rozwojową tej konsoli (tinyurl.com/AzureDataStudio-SQL).


> PROCES INSTALACJI

W pierwszej kolejności należy zalogować się do Azure (instrukcja az login wyświetli stronę logowania w przeglądarce). Po zalogowaniu wyświetlone zostaną dane dostępnych subskrypcji, w tym potrzebny nam w następnym kroku identyfikator subskrypcji:
 

 

Microsoft udostępnił przykładowy skrypt deploy-sql-big-data-aks.py, którego uruchomienie spowoduje zainstalowanie BDC. Najnowsza wersja skryptu dostępna jest pod adresem tinyurl.com/skrypt-installBDC. Po jego zapisaniu w folderze, w którym znajduje się program kubectl.exe, należy uruchomić skrypt instrukcją python deploy-sql-big-data-aks.py. Zostaniemy poproszeni o podanie niezbędnych danych konfiguracyjnych, takich jak identyfikator subskrypcji Azure czy nazwa tworzonego serwera BDC:

 

 

 

Jeżeli wszystkie wymagane narzędzia zostały poprawnie zainstalowane, utworzona zostanie grupa zasobów o podanej nazwie i rozpocznie się instalacja serwera BDC. Udana instalacja przebiegnie następująco:

 

 

Wyświetlone zostaną również adresy, pod którymi dostępne będą poszczególne usługi serwera BDC. Niektóre z nich zostały przedstawione w dalszej części artykułu.

> MONITOROWANIE

Do konfiguracji i monitorowania pracy serwera BDC użyjemy programów azdata i kubectl. Działanie serwera BDC można także monitorować za pomocą graficznych dashboardów Kibana oraz Grafana.

 

[...]

 

Pracownik naukowy Wyższej Szkoły Bankowej w Poznaniu Wydział Zamiejscowy w Chorzowie, jest autorem książek poświęconych analizie danych i posiada tytuł Microsoft Most Valuable Professional.

Artykuł pochodzi z miesięcznika: IT Professional

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2019 Presscom / Miesięcznik "IT Professional"