Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.


12.05.2022

Odszyfrowanie historii

Z inicjatywy prezesa IPN, dr. Karola Nawrockiego, powstało Biuro Nowych Technologii. Jego...
01.04.2022

Program partnerski

NGAGEFirma NFON, ogólnoeuropejski dostawca komunikacji głosowej w chmurze, ogłosił...
01.04.2022

SI w TFI PZU

Na platformie do inwestowania inPZU działa już nowa metoda identyfikacji tożsamości...
01.04.2022

Kooperacja w chmurze

To oparta na stworzonej przez NetApp technologii ONTAP i w pełni zarządzana przez...
01.04.2022

Nowe laptopy od Dynabook

Dynabook wprowadza do swojej oferty dwa laptopy z procesorami Intel Core 12. generacji,...
01.04.2022

Ryzen do stacji roboczych

AMD przedstawił nową gamę procesorów Ryzen Threadripper PRO 5000 serii WX.
31.03.2022

Serwery dla MŚP

Firma Lenovo wprowadziła nowe rozwiązania w zakresie infrastruktury IT Future Ready,...
31.03.2022

Innowacyjny kontroler SSD

Microchip zaprezentował nowe kontrolery SSD, które umożliwią obsługę napędów o pojemności...
31.03.2022

Wydajny jak Brother

Brother dodał do swojej oferty trzy nowe, atramentowe urządzenia wielofunkcyjne, które...

Koherencja modeli językowych

Data publikacji: 21-10-2021 Autor: Adam Kamiński

Przetwarzanie języka naturalnego to jeden z najszybciej rozwijających się sektorów w obszarach sztucznej inteligencji i uczenia maszynowego. NLP dało początek takim technologiom jak asystenci głosowi, chatterboty, infoboty, tłumacze, syntezatory mowy, inteligentne domy i wiele innych narzędzi, z których korzystamy na co dzień.

 

Jednym z największych trendów ostatnich trzech lat w przetwarzaniu języka naturalnego (ang. natural language processing – NLP) jest powiększanie rozmiarów modeli językowych (ML) mierzonych przez liczbę parametrów i rozmiar danych treningowych. Tylko od 2018 r. byliśmy świadkami pojawienia się BERT-a i jego wariantów, GPT-2, T-NLG, GPT-3 a ostatnio Switch-C. Systemy te przesunęły granice swoich możliwości zarówno dzięki innowacjom architektonicznym, jak i powiększającym się rozmiarom baz danych. Modele języka naturalnego zaskakują nas swoją wiarygodnością, jednak czy nie jest to tylko zwykła sztuczka? Jak to możliwe, że algorytm umie posługiwać się tak skomplikowanym tworem, jakim jest język?

> PRZETWARZANIE JĘZYKA

Termin „model języka” odnosi się do systemów, które są wytrenowane w przewidywaniu ciągów, czyli prognozowaniu prawdopodobieństwa tokenu (znaku, słowa lub ciągu) na podstawie poprzedzającego go kontekstu (w dwukierunkowych ML) lub kontekstu jego otoczenia. Takie systemy nie są nadzorowane i po wdrożeniu przyjmują tekst jako dane wejściowe, zwykle wyprowadzając wyniki lub przewidywane ciągi. Niektóre z najwcześniejszych wdrożonych ML-ów pochodzą z początków lat 80. i były używane jako komponenty w systemach automatycznego rozpoznawania mowy (ASR), tłumaczenia maszynowego, klasyfikacji dokumentów i innych.

Przetwarzanie języka naturalnego łączy zagadnienia sztucznej inteligencji i językoznawstwa. Tak jak ludzie muszą podświadomie analizować słowa, aby zrozumieć ich znaczenie, tak samo robią maszyny. Parsowanie semantyczne to umiejętność przekształcania danych języka naturalnego w coś, co maszyna może zrozumieć na własnych warunkach. NLP stosuje algorytmy, których zadaniem jest identyfikowanie oraz wyodrębnienie reguł języka naturalnego w taki sposób, aby niestrukturalne dane były konwertowane w postać zrozumiałą dla komputerów. Następnie komputer wykorzystuje algorytm, aby zebrać niezbędne dane i wydobyć znaczenie z każdego zdania. System generujący język naturalny przekształca informacje zapisane w bazie danych komputera na język łatwy do odczytania i zrozumienia przez człowieka. Termin „język naturalny” używany jest, by odróżnić języki ludzkie (takie jak polski, angielski, węgierski) od języka formalnego czy komputerowego (jak C++, Java czy Python).

Podstawowym działaniem NLP jest wyodrębnienie zdania. Drugim etapem jest podział na tokeny. Techniki, jakie stosuje NLP, opierają się w głównej mierze na analizie syntaktycznej oraz semantycznej. Analiza syntaktyczna wykorzystywana jest do oceny zgodności języka naturalnego z zasadami gramatycznymi. Natomiast analiza semantyczna pomaga stworzyć szkielet przetwarzania języka naturalnego oraz wyjaśnia, jak NLP oraz sztuczna inteligencja interpretuje ludzkie zdania.

> ARCHITEKTURY

Architekturą używaną do tworzenia ML-ów są modele n-gramowe, rekurencyjne sieci neuronowe (RNN) i transformery. Od czasu debiutu w 2017 r. transformery są coraz częściej wybieranym modelem w przypadku problemów NLP, zastępując modele RNN, takie jak pamięć długo- i krótkotrwała (ang. long short-term memory – LSTM). Dodatkowa równoległość uczenia umożliwia trenowanie na większych zestawach danych, niż było to kiedyś możliwe.

Sieci neuronowe zwykle przetwarzają język poprzez generowanie reprezentacji w przestrzeni wektorowej o stałej lub zmiennej długości. Po rozpoczęciu od reprezentacji pojedynczych wyrazów lub nawet fragmentów słów agregują informacje z otaczających leksemów, aby określić znaczenie danego fragmentu języka w kontekście. RNN stały się w ostatnich latach typową architekturą sieciową do tłumaczenia, przetwarzającą język sekwencyjnie w sposób od lewej do prawej lub od prawej do lewej. Czytanie jednego słowa naraz zmusza RNN do wykonywania wielu kroków w celu podjęcia decyzji, które zależą od słów znajdujących się daleko od siebie.

 

[...]

Artykuł pochodzi z miesięcznika: IT Professional

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2019 Presscom / Miesięcznik "IT Professional"