Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



25.07.2017

Nowy napęd SSD

KC1000 NVMe PCIe
21.07.2017

Rekord świata

Lenovo x3950 X6
18.07.2017

Brightness Intellgence Plus

BenQ EW2770QZ
14.07.2017

Poza pasmem

Opengear ACM7000
11.07.2017

Ochrona środowisk wirtualnych

Kaspersky Security for Virtualization Light Agent
07.07.2017

Analityka, SDN i IoT

Citrix ADC NetScaler 12.0
04.07.2017

AntiRansomware

G DATA AntiVirus Business
28.06.2017

Core i9 – nowa seria...

Intel Core i9 Skylake-X i Kaby Lake-X
23.06.2017

Z autotrackingiem

Aver PTC500

Przetwarzanie języka naturalnego

Data publikacji: 22-07-2015 Autor: Marcin Szeliga

W artykule prezentujemy podstawowe pojęcia NLP na przykładzie systemu automatycznie klasyfikującego krótkie wiadomości tekstowe. Przedstawiony eksperyment został przeprowadzony w środowisku Azure Machine Learning z wykorzystaniem skryptów języka R.

Przetwarzanie języka naturalnego (NLP, Natural Language Processing) jest stosukowo nową dziedziną łączącą tradycyjne językoznawstwo z zagadnieniami sztucznej inteligencji, w szczególności z technikami uczenia maszynowego. Jego celem jest automatyczna analiza tekstów, przede wszystkim ich klasyfikacja oraz wyszukiwanie dokumentów na podstawie podanych przez użytkownika fraz.

> Reguły przetwarzania języka naturalnego

Przetwarzanie języka naturalnego odbywa się w kilku etapach, które najprościej przedstawić na przykładzie. Weźmy zdanie „Pies goni chłopca po podwórku”. W pierwszej kolejności należy przeprowadzić analizę leksykalną, czyli oznaczyć części mowy:

 

  • pies – rzeczownik,
  • goni – czasownik,
  • chłopca – rzeczownik,
  • po – przyimek,
  • podwórku – rzeczownik.

 

Ten etap daje się dość dobrze zautomatyzować i współcześnie używane systemy NLP są w stanie opisać części mowy z dokładnością do 98%. Następnym etapem jest analiza syntaktyczna (składniowa) polegająca na określeniu części zdania:

 

  • pies – podmiot,
  • goni – orzeczenie,
  • chłopca – dopełnienie,
  • po podwórku – okolicznik.

 

Dokładność automatycznie przeprowadzanej analizy syntaktycznej wynosi około 90%.

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2013 Presscom / Miesięcznik "IT Professional"