Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



25.02.2020

Koszty w górę

Zmiany w licencjach VMware
24.02.2020

VPN na nowo

WireGuard w Linuksie
24.02.2020

Wydajność pod kontrolą

Citrix Analytics for Performance
24.02.2020

Zaawansowany backup

Veeam Availability Suite v10
20.02.2020

Serwery Enterprise

OVHCloud stawia na Ryzeny
20.02.2020

Monitory dla biznesu

Newline IP
20.02.2020

Przemysłowe SSD

Dyski Transcend M.2 NVMe
23.01.2020

Google Project Zero

Inicjatywa Google Project Zero
23.01.2020

Ochrona tylko w chmurze

Kaspersky Security Cloud Free

Przetwarzanie języka naturalnego

Data publikacji: 22-07-2015 Autor: Marcin Szeliga

W artykule prezentujemy podstawowe pojęcia NLP na przykładzie systemu automatycznie klasyfikującego krótkie wiadomości tekstowe. Przedstawiony eksperyment został przeprowadzony w środowisku Azure Machine Learning z wykorzystaniem skryptów języka R.

Przetwarzanie języka naturalnego (NLP, Natural Language Processing) jest stosukowo nową dziedziną łączącą tradycyjne językoznawstwo z zagadnieniami sztucznej inteligencji, w szczególności z technikami uczenia maszynowego. Jego celem jest automatyczna analiza tekstów, przede wszystkim ich klasyfikacja oraz wyszukiwanie dokumentów na podstawie podanych przez użytkownika fraz.

> Reguły przetwarzania języka naturalnego

Przetwarzanie języka naturalnego odbywa się w kilku etapach, które najprościej przedstawić na przykładzie. Weźmy zdanie „Pies goni chłopca po podwórku”. W pierwszej kolejności należy przeprowadzić analizę leksykalną, czyli oznaczyć części mowy:

 

  • pies – rzeczownik,
  • goni – czasownik,
  • chłopca – rzeczownik,
  • po – przyimek,
  • podwórku – rzeczownik.

 

Ten etap daje się dość dobrze zautomatyzować i współcześnie używane systemy NLP są w stanie opisać części mowy z dokładnością do 98%. Następnym etapem jest analiza syntaktyczna (składniowa) polegająca na określeniu części zdania:

 

  • pies – podmiot,
  • goni – orzeczenie,
  • chłopca – dopełnienie,
  • po podwórku – okolicznik.

 

Dokładność automatycznie przeprowadzanej analizy syntaktycznej wynosi około 90%.

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2019 Presscom / Miesięcznik "IT Professional"