Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



24.05.2022

Nowe możliwości w zakresie...

VMware rozszerza ofertę zabezpieczeń end-to-end dla obciążeń cloud-native poprzez ochronę...
24.05.2022

Zarządzanie kluczami

IBM przedstawił nowe rozwiązanie do zarządzania kluczami w wielu chmurach, oferowane jako...
24.05.2022

Ochrona przed zagrożeniami

ESET wprowadził nowe wersje swoich produktów biznesowych do ochrony stacji roboczych,...
24.05.2022

Value Stream Management

Micro Focus zaprezentował nową platformę do zarządzania strumieniem wartości VSM (ang....
24.05.2022

Unijna decyzja Value Stream...

Komisja rynku wewnętrznego i ochrony konsumentów Parlamentu Europejskiego poparła...
24.05.2022

Nowy laptop Dynabooka

Sprzęt waży 1,45 kg, a jego grubość to 17,8 mm. Jest odporny na czynniki zewnętrzne, gdyż...
24.05.2022

Przepływ pracy

QNAP oferuje model TS-435XeU wykorzystujący procesor Marvell OCTEON TX2 CN9131 2,2 GHz z...
24.05.2022

Wideo bez wstrząsów

Kamera stałopozycyjna firmy Axis Communications służy do monitoringu miejsc zagrożonych...
24.05.2022

Akceleratory dla naukowców

Firma AMD ogłosiła wprowadzenie do sprzedaży opartych na architekturze AMD CDNA 2...

Koherencja modeli językowych

Data publikacji: 21-10-2021 Autor: Adam Kamiński

Przetwarzanie języka naturalnego to jeden z najszybciej rozwijających się sektorów w obszarach sztucznej inteligencji i uczenia maszynowego. NLP dało początek takim technologiom jak asystenci głosowi, chatterboty, infoboty, tłumacze, syntezatory mowy, inteligentne domy i wiele innych narzędzi, z których korzystamy na co dzień.

 

Jednym z największych trendów ostatnich trzech lat w przetwarzaniu języka naturalnego (ang. natural language processing – NLP) jest powiększanie rozmiarów modeli językowych (ML) mierzonych przez liczbę parametrów i rozmiar danych treningowych. Tylko od 2018 r. byliśmy świadkami pojawienia się BERT-a i jego wariantów, GPT-2, T-NLG, GPT-3 a ostatnio Switch-C. Systemy te przesunęły granice swoich możliwości zarówno dzięki innowacjom architektonicznym, jak i powiększającym się rozmiarom baz danych. Modele języka naturalnego zaskakują nas swoją wiarygodnością, jednak czy nie jest to tylko zwykła sztuczka? Jak to możliwe, że algorytm umie posługiwać się tak skomplikowanym tworem, jakim jest język?

> PRZETWARZANIE JĘZYKA

Termin „model języka” odnosi się do systemów, które są wytrenowane w przewidywaniu ciągów, czyli prognozowaniu prawdopodobieństwa tokenu (znaku, słowa lub ciągu) na podstawie poprzedzającego go kontekstu (w dwukierunkowych ML) lub kontekstu jego otoczenia. Takie systemy nie są nadzorowane i po wdrożeniu przyjmują tekst jako dane wejściowe, zwykle wyprowadzając wyniki lub przewidywane ciągi. Niektóre z najwcześniejszych wdrożonych ML-ów pochodzą z początków lat 80. i były używane jako komponenty w systemach automatycznego rozpoznawania mowy (ASR), tłumaczenia maszynowego, klasyfikacji dokumentów i innych.

Przetwarzanie języka naturalnego łączy zagadnienia sztucznej inteligencji i językoznawstwa. Tak jak ludzie muszą podświadomie analizować słowa, aby zrozumieć ich znaczenie, tak samo robią maszyny. Parsowanie semantyczne to umiejętność przekształcania danych języka naturalnego w coś, co maszyna może zrozumieć na własnych warunkach. NLP stosuje algorytmy, których zadaniem jest identyfikowanie oraz wyodrębnienie reguł języka naturalnego w taki sposób, aby niestrukturalne dane były konwertowane w postać zrozumiałą dla komputerów. Następnie komputer wykorzystuje algorytm, aby zebrać niezbędne dane i wydobyć znaczenie z każdego zdania. System generujący język naturalny przekształca informacje zapisane w bazie danych komputera na język łatwy do odczytania i zrozumienia przez człowieka. Termin „język naturalny” używany jest, by odróżnić języki ludzkie (takie jak polski, angielski, węgierski) od języka formalnego czy komputerowego (jak C++, Java czy Python).

Podstawowym działaniem NLP jest wyodrębnienie zdania. Drugim etapem jest podział na tokeny. Techniki, jakie stosuje NLP, opierają się w głównej mierze na analizie syntaktycznej oraz semantycznej. Analiza syntaktyczna wykorzystywana jest do oceny zgodności języka naturalnego z zasadami gramatycznymi. Natomiast analiza semantyczna pomaga stworzyć szkielet przetwarzania języka naturalnego oraz wyjaśnia, jak NLP oraz sztuczna inteligencja interpretuje ludzkie zdania.

> ARCHITEKTURY

Architekturą używaną do tworzenia ML-ów są modele n-gramowe, rekurencyjne sieci neuronowe (RNN) i transformery. Od czasu debiutu w 2017 r. transformery są coraz częściej wybieranym modelem w przypadku problemów NLP, zastępując modele RNN, takie jak pamięć długo- i krótkotrwała (ang. long short-term memory – LSTM). Dodatkowa równoległość uczenia umożliwia trenowanie na większych zestawach danych, niż było to kiedyś możliwe.

Sieci neuronowe zwykle przetwarzają język poprzez generowanie reprezentacji w przestrzeni wektorowej o stałej lub zmiennej długości. Po rozpoczęciu od reprezentacji pojedynczych wyrazów lub nawet fragmentów słów agregują informacje z otaczających leksemów, aby określić znaczenie danego fragmentu języka w kontekście. RNN stały się w ostatnich latach typową architekturą sieciową do tłumaczenia, przetwarzającą język sekwencyjnie w sposób od lewej do prawej lub od prawej do lewej. Czytanie jednego słowa naraz zmusza RNN do wykonywania wielu kroków w celu podjęcia decyzji, które zależą od słów znajdujących się daleko od siebie.

 

[...]

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2019 Presscom / Miesięcznik "IT Professional"