Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



08.07.2019

Narzędzie EDR

ESET Enterprise Inspector
08.07.2019

Usuwanie skutków awarii

Veeam Availability Orchestrator v2
08.07.2019

Indywidualna konfiguracja

baramundi Management Suite 2019
05.07.2019

Technologia Ceph

SUSE Enterprise Storage 6
05.07.2019

Szybkie i bezpieczne...

Konica Minolta bizhub i-Series
05.07.2019

Edge computing

Atos BullSequana Edge
04.07.2019

Terabitowa ochrona

Check Point 16000 i 26000
04.07.2019

Obsługa wideokonferencji

Poly G7500
04.07.2019

Laptop biznesowy

Fujitsu LIFEBOOK U939X

Uczenie maszynowe – ocena, interpretacja i wdrożenie modeli

Data publikacji: 04-07-2019 Autor: Marcin Szeliga
Rys. 1. W tej fazie...

W poprzednim artykule opisano sposoby automatycznego tworzenia modeli uczenia maszynowego przy użyciu notatników Jupyter i biblioteki Azure ML. W tej części będziemy kontynuować nasz eksperyment – przyjrzymy się utworzonym modelom, najlepszy z nich zarejestrujemy w usłudze Azure Machine Learning, a następnie utworzymy kontener z tym modelem i udostępnimy go użytkownikom przez WWW.

 

Usługa automatycznego uczenia maszynowego dobiera do danych treningowych algorytm i znajduje optymalną kombinację hiperparametrów modelu. Nauczone modele są porównywane ze sobą na podstawie wybranej metryki. Klasyfikatory, czyli modele, które przypisują obserwacje do jednej z możliwych klas, mogą być porównywane na podstawie trafności ich działania, obszaru pod krzywą, czułości lub precyzji:

 

 

> OCENA MODELI

W przeprowadzonym w pierwszej części artykułu eksperymencie modele były porównywane na podstawie ich trafności (Accuracy), czyli liczby prawidłowych predykcji podzielonej przez liczbę wszystkich predykcji.

Obszar pod krzywą (AUC) jest miarą jakości klasyfikatorów częściej używaną w pracach naukowych niż w praktyce. Idealny klasyfikator ma wartość AUC równą 1, natomiast dla klasyfikatora losowego wynosi ona 0,5. Ważną statystyczną własnością AUC jest to, że można ją interpretować jako prawdopodobieństwo, że model wyżej oceni losowo wybrany pozytywny element niż losowo wybrany negatywny element. Wagę miary oblicza się jako średnią arytmetyczną obszaru pod krzywą wyznaczonego dla każdej klasy zmiennej wyjściowej.

Czułość (Recall), nazywana też zwrotem, mierzy proporcję poprawnych klasyfikacji przykładów pozytywnych względem wszystkich przykładów należących do klasy pozytywnej, czyli odpowiada na pytanie, ile z pozytywnych przypadków zostało dobrze sklasyfikowanych. Makroczułość jest średnią arytmetyczną czułości poszczególnych klas.

Precyzja (Precision) mierzy proporcję prawidłowych pozytywnych klasyfikacji względem wszystkich pozytywnych klasyfikacji, czyli odpowiada na pytanie, ile z pozytywnie sklasyfikowanych przypadków zostało dobrze sklasyfikowanych. Wagę miary oblicza się jako średnią arytmetyczną precyzji poszczególnych klas z uwzględnieniem liczby przypadków należących do tych klas.

Natomiast średnią precyzję wyznacza się na podstawie krzywej ROC (Receiver Operating Characteristics), w której na osi odciętych została umieszczona 1-specyficzność, a na osi rzędnych czułość modelu. Położenie w tej przestrzeni punktu reprezentującego klasyfikator przedstawia kompromis między zyskiem (współczynnikiem trafień) a kosztem (współczynnikiem fałszywych alarmów). Wagę tej miary również oblicza się jako średnią precyzję otrzymaną dla różnych wartości progowych z uwzględnieniem liczby przypadków należących do poszczególnych klas.

Będziemy kontynuować wcześniej rozpoczęty eksperyment, w ramach którego wykonanie poniższej instrukcji spowoduje nauczenie pięciu kolejnych modeli:

 

 

Szczegółowe informacje o nauczonych w ramach eksperymentu modelach można znaleźć na portalu Azure albo odczytać w następujący sposób (rys. 1):

 

 

Po wybraniu modelu wyświetlone zostaną miary oraz wykresy przedstawiające jego jakość (rys. 2):
 

  • Wykres precyzja–czułość – precyzja modelu powinna jak najmniej spadać wraz ze zwiększaniem się jego czułości.
  • Krzywa ROC – przyjmuje się, że poprawne modele reprezentowane są przez punkty znajdujące się w górnych ćwiartkach wykresu. Im dalej na północny zachód znajduje się model (gdzie wrażliwość i czułość są większe), tym jest on lepszy. Klasyfikatory znajdujące się po lewej stronie wykresu i przy osi odciętych są uznawane za konserwatywne, czyli takie, które zwracają pozytywną predykcję tylko, jeżeli są do tego mocne przesłanki. Natomiast klasyfikatory znajdujące się w górnym prawym rogu określa się jako liberalne, czyli dające wynik pozytywny nawet przy słabych przesłankach.
  • Krzywa zysku – pokazuje zysk z zastosowania modelu do klasyfikacji P procent losowo wybranych przykładów. Zysk mierzy się jako różnicę w prawdopodobieństwie prawidłowej klasyfikacji przez model względem losowego zgadywania.
  • Krzywa Lift – otrzymuje się ją z poprzedniej krzywej poprzez zastąpienie na osi Y bezwzględnego zysku względnym (procentowym).
  • Krzywa kalibracji – przedstawia faktyczną częstość występowania przykładów danej klasy względem częstości przypisywania obserwacji do tej klasy przez model. Krzywa kalibracji nie została pokazana na rysunku 2.
  • Macierz błędów – macierz błędów klasyfikatora binarnego składa się z dwóch kolumn i dwóch wierszy, a jej komórki oznacza się symbolami TP, TN, FP i FN. Oznaczenia te symbolizują cztery możliwe wyniki klasyfikacji binarnej (macierz błędów nie została pokazana na rysunku 2):


– TP (True Positives) – liczba pozytywnych przypadków poprawnie sklasyfikowanych jako należące do klasy pozytywnej;

– FN (False Negatives) – liczba pozytywnych przypadków niepoprawnie sklasyfikowanych jako należące do klasy negatywnej. Błędy typu FN nazywa się błędami drugiego rodzaju;

– FP (False Positives) – liczba negatywnych przypadków niepoprawnie sklasyfikowanych jako należące do klasy pozytywnej. Są to błędy pierwszego rodzaju;

– TN (True Negatives) – liczba negatywnych przypadków poprawnie sklasyfikowanych jako należące do klasy negatywnej.

> INTERPRETACJA PREDYKCJI

Uczenie maszynowe polega na uczeniu maszyn na przykładach. Nauczone na historycznych danych modele używane są do uzupełniania brakujących danych o nowych, innych od treningowych, obserwacjach. Jeżeli każdy przykład jest opisany, czyli oprócz zmiennych objaśniających (cech) zawiera zmienną objaśnianą (docelową), mamy do czynienia z nadzorowanym uczeniem maszynowym. W takim wypadku zadaniem modelu jest znalezienie zależności pomiędzy cechami a zmienną docelową. Zależność ta, z powodów historycznych nazywana hipotezą, pozwala na podstawie znanych cech obliczyć nieznaną wartość zmiennej docelowej: h:X→Y. Obliczanie przez model wartości zmiennej docelowej nazywa się predykcją.

 

[...]

 

Pracownik naukowy Wyższej Szkoły Bankowej w Poznaniu Wydział Zamiejscowy w Chorzowie; jest autorem książek poświęconych analizie danych i posiada tytuł Microsoft Most Valuable Professional.  

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2019 Presscom / Miesięcznik "IT Professional"