Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



29.10.2021

Veritas po raz 16. liderem...

Firma Veritas Technologies, producent uznanych rozwiązań backup klasy enterprise,...
21.10.2021

Zarządzanie IT

We wrześniu BTC Sp. z o.o. zaprezentowała premierową wersję systemu eAuditor V8 AI.
21.10.2021

Konferencja VMworld

Imagine That. Pod takim hasłem w dniach 5–7 października 2021 r. odbyła się jedna z...
21.10.2021

Darmowy deszyfrator

Bitdefender wspólnie z organami ścigania opracował i wydał narzędzie, które pozwala...
21.10.2021

Dell C1422H

Dell Technologies wprowadza do oferty przenośny monitor do zwiększenia wydajności pracy w...
21.10.2021

Dysk dla cyfrowych twórców

Western Digital zaprezentowało nowy dysk – WD Blue SN750 NVMe SSD.
21.10.2021

Projektory laserowe

Optoma wprowadza serię projektorów laserowych Ultra Bright ZU1700, ZU1900, ZU2200 z...
21.10.2021

Orzeł wśród routerów

D-Link wprowadza na rynek smart router EAGLE PRO AI AX1500 R15.
21.10.2021

Nowe generacje Ryzen i Epyc

AMD 3D V-Cache. AMD zapowiada procesory Ryzen i Epyc z nowym rozwiązaniem.

Koherencja modeli językowych

Data publikacji: 21-10-2021 Autor: Adam Kamiński

Przetwarzanie języka naturalnego to jeden z najszybciej rozwijających się sektorów w obszarach sztucznej inteligencji i uczenia maszynowego. NLP dało początek takim technologiom jak asystenci głosowi, chatterboty, infoboty, tłumacze, syntezatory mowy, inteligentne domy i wiele innych narzędzi, z których korzystamy na co dzień.

 

Jednym z największych trendów ostatnich trzech lat w przetwarzaniu języka naturalnego (ang. natural language processing – NLP) jest powiększanie rozmiarów modeli językowych (ML) mierzonych przez liczbę parametrów i rozmiar danych treningowych. Tylko od 2018 r. byliśmy świadkami pojawienia się BERT-a i jego wariantów, GPT-2, T-NLG, GPT-3 a ostatnio Switch-C. Systemy te przesunęły granice swoich możliwości zarówno dzięki innowacjom architektonicznym, jak i powiększającym się rozmiarom baz danych. Modele języka naturalnego zaskakują nas swoją wiarygodnością, jednak czy nie jest to tylko zwykła sztuczka? Jak to możliwe, że algorytm umie posługiwać się tak skomplikowanym tworem, jakim jest język?

> PRZETWARZANIE JĘZYKA

Termin „model języka” odnosi się do systemów, które są wytrenowane w przewidywaniu ciągów, czyli prognozowaniu prawdopodobieństwa tokenu (znaku, słowa lub ciągu) na podstawie poprzedzającego go kontekstu (w dwukierunkowych ML) lub kontekstu jego otoczenia. Takie systemy nie są nadzorowane i po wdrożeniu przyjmują tekst jako dane wejściowe, zwykle wyprowadzając wyniki lub przewidywane ciągi. Niektóre z najwcześniejszych wdrożonych ML-ów pochodzą z początków lat 80. i były używane jako komponenty w systemach automatycznego rozpoznawania mowy (ASR), tłumaczenia maszynowego, klasyfikacji dokumentów i innych.

Przetwarzanie języka naturalnego łączy zagadnienia sztucznej inteligencji i językoznawstwa. Tak jak ludzie muszą podświadomie analizować słowa, aby zrozumieć ich znaczenie, tak samo robią maszyny. Parsowanie semantyczne to umiejętność przekształcania danych języka naturalnego w coś, co maszyna może zrozumieć na własnych warunkach. NLP stosuje algorytmy, których zadaniem jest identyfikowanie oraz wyodrębnienie reguł języka naturalnego w taki sposób, aby niestrukturalne dane były konwertowane w postać zrozumiałą dla komputerów. Następnie komputer wykorzystuje algorytm, aby zebrać niezbędne dane i wydobyć znaczenie z każdego zdania. System generujący język naturalny przekształca informacje zapisane w bazie danych komputera na język łatwy do odczytania i zrozumienia przez człowieka. Termin „język naturalny” używany jest, by odróżnić języki ludzkie (takie jak polski, angielski, węgierski) od języka formalnego czy komputerowego (jak C++, Java czy Python).

Podstawowym działaniem NLP jest wyodrębnienie zdania. Drugim etapem jest podział na tokeny. Techniki, jakie stosuje NLP, opierają się w głównej mierze na analizie syntaktycznej oraz semantycznej. Analiza syntaktyczna wykorzystywana jest do oceny zgodności języka naturalnego z zasadami gramatycznymi. Natomiast analiza semantyczna pomaga stworzyć szkielet przetwarzania języka naturalnego oraz wyjaśnia, jak NLP oraz sztuczna inteligencja interpretuje ludzkie zdania.

> ARCHITEKTURY

Architekturą używaną do tworzenia ML-ów są modele n-gramowe, rekurencyjne sieci neuronowe (RNN) i transformery. Od czasu debiutu w 2017 r. transformery są coraz częściej wybieranym modelem w przypadku problemów NLP, zastępując modele RNN, takie jak pamięć długo- i krótkotrwała (ang. long short-term memory – LSTM). Dodatkowa równoległość uczenia umożliwia trenowanie na większych zestawach danych, niż było to kiedyś możliwe.

Sieci neuronowe zwykle przetwarzają język poprzez generowanie reprezentacji w przestrzeni wektorowej o stałej lub zmiennej długości. Po rozpoczęciu od reprezentacji pojedynczych wyrazów lub nawet fragmentów słów agregują informacje z otaczających leksemów, aby określić znaczenie danego fragmentu języka w kontekście. RNN stały się w ostatnich latach typową architekturą sieciową do tłumaczenia, przetwarzającą język sekwencyjnie w sposób od lewej do prawej lub od prawej do lewej. Czytanie jednego słowa naraz zmusza RNN do wykonywania wielu kroków w celu podjęcia decyzji, które zależą od słów znajdujących się daleko od siebie.

 

[...]

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

prenumerata Numer niedostępny Spis treści

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2019 Presscom / Miesięcznik "IT Professional"