Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



30.09.2016

WLAN zintegrowany

Fortinet FortiAP-U
30.09.2016

Szybki backup i przywracanie

Barracuda Backup 6.3
30.09.2016

Zaawansowane Business...

DomData InForum BI Studio
16.09.2016

ITewolucja w Katowicach

ITewolucja: MASTERS OF SECURITY już 20 października w Katowicach
05.09.2016

EMC Forum odpowie na pytanie,...

EMC organizuje konferencję poświęconą przetwarzaniu w chmurze i nowoczesnym technologiom...
02.09.2016

Veracomp dzieli się wiedzą –...

Znamy coraz więcej szczegółów na temat kolejnych spotkań w ramach projektu „Veracomp...
31.08.2016

Wielofunkcyjne A3

Samsung A3 MultiXpress X3280/ K3300
29.08.2016

Z koncentryka na Ethernet

Konwertery Panasonic
25.08.2016

Coraz wydajniejsze

QNAP TVS-x82 / TVS-x82T

Przetwarzanie języka naturalnego

Data publikacji: 22-07-2015 Autor: Marcin Szeliga

W artykule prezentujemy podstawowe pojęcia NLP na przykładzie systemu automatycznie klasyfikującego krótkie wiadomości tekstowe. Przedstawiony eksperyment został przeprowadzony w środowisku Azure Machine Learning z wykorzystaniem skryptów języka R.

Przetwarzanie języka naturalnego (NLP, Natural Language Processing) jest stosukowo nową dziedziną łączącą tradycyjne językoznawstwo z zagadnieniami sztucznej inteligencji, w szczególności z technikami uczenia maszynowego. Jego celem jest automatyczna analiza tekstów, przede wszystkim ich klasyfikacja oraz wyszukiwanie dokumentów na podstawie podanych przez użytkownika fraz.

> Reguły przetwarzania języka naturalnego

Przetwarzanie języka naturalnego odbywa się w kilku etapach, które najprościej przedstawić na przykładzie. Weźmy zdanie „Pies goni chłopca po podwórku”. W pierwszej kolejności należy przeprowadzić analizę leksykalną, czyli oznaczyć części mowy:

 

  • pies – rzeczownik,
  • goni – czasownik,
  • chłopca – rzeczownik,
  • po – przyimek,
  • podwórku – rzeczownik.

 

Ten etap daje się dość dobrze zautomatyzować i współcześnie używane systemy NLP są w stanie opisać części mowy z dokładnością do 98%. Następnym etapem jest analiza syntaktyczna (składniowa) polegająca na określeniu części zdania:

 

  • pies – podmiot,
  • goni – orzeczenie,
  • chłopca – dopełnienie,
  • po podwórku – okolicznik.

 

Dokładność automatycznie przeprowadzanej analizy syntaktycznej wynosi około 90%.

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2013 Presscom / Miesięcznik "IT Professional"