Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



21.04.2017

Nowe pamięci

Samsung Z-SSD
18.04.2017

Dozorowanie w 4K

Panasonic True 4K
14.04.2017

Kompleksowe zarządzanie

Quest Active Administrator 8.1
11.04.2017

EMM dla Androida i IoT

Sophos Mobile 7
07.04.2017

Kontrola dostępu i...

VMware Workspace ONE, VMware AirWatch 9.1
05.04.2017

HPE Reimagine IT 2017

27 kwietnia 2017 r. w Warszawie odbędzie się HPE Reimagine IT 2017, nowa odsłona Wyzwań...
04.04.2017

Nadzór nad ID

NetIQ Identity Governance 2.5
31.03.2017

Technologia SuperMLC

Transcend JetFlash 740
28.03.2017

Flash na błysk

NetApp AFF A700s

Przetwarzanie języka naturalnego

Data publikacji: 22-07-2015 Autor: Marcin Szeliga

W artykule prezentujemy podstawowe pojęcia NLP na przykładzie systemu automatycznie klasyfikującego krótkie wiadomości tekstowe. Przedstawiony eksperyment został przeprowadzony w środowisku Azure Machine Learning z wykorzystaniem skryptów języka R.

Przetwarzanie języka naturalnego (NLP, Natural Language Processing) jest stosukowo nową dziedziną łączącą tradycyjne językoznawstwo z zagadnieniami sztucznej inteligencji, w szczególności z technikami uczenia maszynowego. Jego celem jest automatyczna analiza tekstów, przede wszystkim ich klasyfikacja oraz wyszukiwanie dokumentów na podstawie podanych przez użytkownika fraz.

> Reguły przetwarzania języka naturalnego

Przetwarzanie języka naturalnego odbywa się w kilku etapach, które najprościej przedstawić na przykładzie. Weźmy zdanie „Pies goni chłopca po podwórku”. W pierwszej kolejności należy przeprowadzić analizę leksykalną, czyli oznaczyć części mowy:

 

  • pies – rzeczownik,
  • goni – czasownik,
  • chłopca – rzeczownik,
  • po – przyimek,
  • podwórku – rzeczownik.

 

Ten etap daje się dość dobrze zautomatyzować i współcześnie używane systemy NLP są w stanie opisać części mowy z dokładnością do 98%. Następnym etapem jest analiza syntaktyczna (składniowa) polegająca na określeniu części zdania:

 

  • pies – podmiot,
  • goni – orzeczenie,
  • chłopca – dopełnienie,
  • po podwórku – okolicznik.

 

Dokładność automatycznie przeprowadzanej analizy syntaktycznej wynosi około 90%.

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2013 Presscom / Miesięcznik "IT Professional"