Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



26.10.2020

Nowa wersja nVision

Można już pobierać nową wersję nVision
26.10.2020

Monitorowanie infrastruktury

Vertiv Environet Alert
23.10.2020

Telefonia w chmurze

NFON Cloudya
23.10.2020

Nowości w EDR

Bitdefender GravityZone
23.10.2020

Wykrywanie anomalii

Flowmon ADS11
23.10.2020

Mobilny monitor

AOC 16T2
22.10.2020

HP Pavilion

HP zaprezentowało nowe laptopy z linii Pavilion.
22.10.2020

Inteligentny monitoring

WD Purple SC QD101
22.10.2020

Przełącznik 2,5GbE

QNAP QSW-1105-5T

Analiza tekstów i obrazów w Azure. Rozpoznawanie formularzy

Data publikacji: 15-06-2020 Autor: Marcin Szeliga
Rys. Strona nowej usługi...

Kontynuujemy opis metod automatycznego wydobywania informacji z tekstów i obrazów za pomocą usług Azure. W pierwszej części cyklu omówione zostały możliwości Cognitive Search. W drugiej części dostosujemy umiejętności poznawcze do własnych potrzeb.

 

W artykule opublikowanym w kwietniowym wydaniu miesięcznika („IT Professional” 4/2020, s. 19) użyliśmy usługi Azure Cognitive Search do analizy tekstów i obrazów. Dzięki gotowym do użycia usługom poznawczym poindeksowaliśmy zawartość obrazów oraz wygenerowaliśmy ich opisy, korzystając z mechanizmów do analizy obrazów. Wyodrębnione zostały z dokumentów tekstowych: frazy kluczowe, nazwiska, nazwy organizacji i lokalizacje oraz określany był język dokumentu, a oryginalne dokumenty tłumaczone były na język angielski. Takie dane zostały zapisane w indeksie pełnotekstowym, który następnie został użyty do przeszukania katalogu zdjęć i tekstów.


W drugiej części cyklu pójdziemy krok dalej i dostosujemy umiejętności poznawcze Azure do własnych potrzeb. Skorzystamy z nowej (w momencie powstawania artykułu) wersji usługi rozpoznawania formularzy do automatycznego odczytania danych ze skanów faktur.


> USŁUGA FORM RECOGNIZER


Usługa rozpoznawania formularzy (Form Recognizer) jest trzecią, po usługach niestandardowego przetwarzania obrazów oraz interpretacji języka (LUIS), dostępną na platformie Azure usługą umożliwiającą dostosowanie modeli uczenia maszynowego do indywidualnych potrzeb. Wszystkie te usługi korzystają z metod transferu wiedzy, czyli technik modyfikowania wcześniej wytrenowanych modeli uczenia maszynowego, tak aby potrafiły one rozwiązywać nowe zadania.


Uczenie od podstaw modeli rozpoznawania obrazów czy analizowania języka naturalnego jest skomplikowane i kosztowne. Po pierwsze, wymaga zgromadzenia i opisania ogromnej ilości danych treningowych, np. tysięcy zdjęć czy dziesiątków tysięcy wypowiedzi. Po uporaniu się z tym zadaniem trzeba zdefiniować architekturę naszego modelu. Ponieważ budowa i działanie głębokich modeli uczenia maszynowego są obszarem intensywnych badań, których wyniki są ogólnie dostępne, prawie na pewno wybierzemy jakiś model referencyjny, tj. udokumentowany i polecany. Jednak nawet wtedy nauczenie tego modelu przy użyciu pracowicie przygotowanych danych treningowych zajmie wiele dni, o ile nie tygodni. Na końcu może się okazać, że nauczony model nie spełnia naszych oczekiwań, bo jego jakość jest niewystarczająca. Dlatego w praktyce prawie zawsze używa się wcześ­niej nauczonego modelu referencyjnego i jedynie modyfikuje go do własnych potrzeb. Takie podejście nie tylko skraca i upraszcza proces uczenia modeli, ale przede wszystkim pozwala osiągnąć znacznie lepsze efekty, bo zamiast uczyć model rozpoznawania obrazów od zera (tzn. wykrywania coraz bardziej złożonych cech obiektów, takich jak linie, proste kształty czy części formularzy), korzystamy z modelu, który już to umie, i tylko douczamy go, jak wykorzystać te umiejętności np. do rozpoznawania treści faktur.


Zaczynamy od utworzenia zasobu Form Recognizer. W tym celu po zalogowaniu się do portalu Azure przechodzimy do utworzonej poprzednio grupy zasobów SemistructuredDataAnalysis i klikamy przycisk Dodaj. Po wpisaniu nazwy zasobu (Form Recognizer) możemy wybrać odpowiednią usługę z listy i kliknąć przycisk Utwórz. Usługę tę, tak samo jak i inne usługi poznawcze, tworzy się bardzo łatwo – wystarczy podać jej unikatową nazwę, określić lokalizację, warstwę cenową i docelową grupę zasobów. Na potrzeby omawianego w artykule przykładu wystarczą możliwości bezpłatnej wersji usługi. Po jej utworzeniu mamy do dyspozycji adres punktu końcowego komunikacji z usługą oraz wymagany do połączenia się z nią klucz. Obie te informacje będą potrzebne w dalszej części artykułu (rys. 1).


Dodatkowo zakładamy w magazynie danych nowy kontener train, do którego kopiujemy kilka przykładowych skanów faktur (rys. 2). Dokładny opis tworzenia magazynu danych oraz zakładania kontenerów można znaleźć we wspomnianej pierwszej części artykułu.


Naszym zadaniem jest wprowadzenie faktur do bazy. Zakładamy, że dysponujemy jedynie ich skanami w formacie PDF, a dokumentów jest na tyle dużo, że ich ręczne wpisywanie byłoby niepraktyczne. Zamiast tego chcemy użyć usługi rozpoznawania formularzy do automatycznego odczytania danych zapisanych na naszych fakturach.


> UCZENIE MODELU


Do nauczenia modelu rozpoznawania struktury używanych w firmie dokumentów, np. faktur, wystarczy kilka przykładów. Przykładowe dokumenty zostały wgrane do kontenera magazynu danych Azure. Usługa rozpoznawania formularzy musi mieć uprawnienia do odczytu zapisanych w tym kontenerze plików, czyli należy nadać jej uprawnienia Read oraz List. Można to zrobić, generując odpowiednią sygnaturę dostępu współdzielonego (sygnatury SAS można tworzyć w programie Azure Explorer lub wersji online tego programu dostępnej na portalu Azure) lub w celach testowych, dla uproszczenia, zmienić poziom dostępu do kontenera z prywatnego na publiczny, czyli udostępnić kontener wraz z całą zawartością wszystkim, również anonimowym użytkownikom.

 

[...]

 

Pracownik naukowy Wyższej Szkoły Bankowej w Poznaniu Wydział Zamiejscowy w Chorzowie; jest autorem książek poświęconych analizie danych i posiada tytuł Microsoft Most Valuable Professional.

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2019 Presscom / Miesięcznik "IT Professional"