Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



26.08.2021

Firma Fortinet rozszerzyła...

Firma Fortinet rozszerzyła ofertę o usługę FortiTrust, która dołączyła do innych usług...
26.08.2021

Aplikacje biznesowe

Ready_™ AppStore
26.08.2021

Automatyzacja chmur...

Integracja z Red Hat Ansible
26.08.2021

Backup kodu źródłowego

GitProtect.io dostępny na Github
26.08.2021

Wsparcie pracy hybrydowej

Zdalny SD WAN
26.08.2021

Nowy monitor Philips 498P9Z

Nowy monitor Philips 498P9Z to model wyposażony w 49-calowy, zakrzywiony panel VA o...
26.08.2021

Wytrzymały punkt dostępowy

D-Link DIS-2650AP
26.08.2021

Ekonomiczne dyski

SSD bez DRAM
26.08.2021

Petabajty pojemności

Serwery QNAP

Co potrafi GPT-3

Data publikacji: 04-02-2021 Autor: Adam Kamiński

GPT-2 zaskoczył wszystkich umiejętnością rozumienia i generowania języka naturalnego. Możliwości jego następcy zdumiewają jeszcze bardziej. A niektórych przerażają.

 

Algorytm GPT-3 (ang. Generative Pre-trained Transformer) to autoregresyjny model języka naturalnego wykorzystujący metodę nienadzorowanego głębokiego uczenia. Choć określenie „generator tekstu” nie brzmi może ekscytująco, to już możliwości, jakie oferuje, na pewno takie są. „Rewolucja przemysłowa dała nam poczucie, że nie jesteśmy przygotowani na poważne wstrząsy, które mogą spowodować inteligentne zmiany technologiczne. Istnieją dowody na to, że świat zaczął się rozpadać, gdy luddyści zaczęli niszczyć nowoczesne zautomatyzowane krosna. Dlatego ważne jest, aby używać rozumu i mądrości, aby kontynuować zmiany, tak jak ludzkość czyniła to wielokrotnie” – oto fragment eseju „Robot napisał ten artykuł. Już się boisz, człowieku?” opublikowanego w „The Guardian" wygenerowanego przez GPT-3. Nie bez powodu algorytm w eseju o strachu przed rozwojem technicznym nawiązuje do rewolucji przemysłowej. No bo jak to możliwe, że algorytm umie posługiwać się tak skomplikowanym tworem, jakim jest język? I że robi to tak dobrze?


Jak działa magia


OpenAI zaczęło projektować sieci neuronowe, które uczyły się z ogromnych liczb nieskategoryzowanych tekstów. Przez rok rozwijało je 30 badaczy, karmiąc petabajtami informacji z internetowych baz danych Common Crawl (organizacja zajmująca się indeksowaniem całej sieci internetowej), zbiorów książek (BOOKS 1 i BOOKS 2) i anglojęzycznej Wikipedii. Podczas uczenia algorytm wykrywa we wprowadzonych danych wzorce i tworzy na ich podstawie modele, w których uzupełnia brakujące dane o nowe obserwacje, nieznajdujące się w zbiorze danych treningowych. Poszukując wzorców w tekstach z wgranych w niego baz danych, uczy się przewidywać, jakie kolejne słowa, frazy czy zdania powinny najprawdopodobniej wystąpić w sekwencji. Wzorce te sprowadzają się do mapy ludzkiego języka: matematycznego opisu sposobu, w jaki łączy się znaki, pisząc teksty, czy kodując programy komputerowe. Korzystając z tej mapy, GPT-3 może wykonywać różnego rodzaju zadania, do których nie został stworzony. Ma zdolność rozpoznawania wzoru, który został mu przedstawiony i uzupełnienia treści.


Wyjątkowy w swojej klasie


Co czyni nowy model języka naturalnego naprawdę niezwykłym i odróżnia od poprzednika? Oprócz zwiększonej liczby parametrów to umiejętność rozpoznawania kontekstu między wyrazami. Dlaczego jest to takie trudne? Ponieważ do zrozumienia języka naturalnego wymagana jest szeroka wiedza o świecie zewnętrznym, a żeby prawidłowo rozumieć świat i język, SI musiałaby odbierać je tak samo jak ludzie. Głównym problemem w tej kwestii jest wieloznaczność języka. Semantyka leksemów, gramatyka, kontekst nie są jednoznaczne i wymykają się prostej analizie składniowej, dlatego właściwy dobór wyrazów pasujących do kontekstu stanowi wyzwanie dla sztucznej inteligencji.


Czy możemy już rozpatrywać algorytm GPT-3 jako samoświadomy i samoistniejący? Na pewno nie. Nie myśli naprzód, nie planuje z wyprzedzeniem, nie ma celu. GPT-3 może generować imponująco płynny tekst, ale często nie jest on powiązany z rzeczywistością.


Cokolwiek robisz, zrobię to lepiej


Samorozwój GPT-3 zaskakuje nawet twórców. Zbudowany został w końcu tylko do jednej rzeczy – przewidywania kolejnego wyrazu. Jednak dotychczasowe efekty zastosowania GPT-3 w stworzonych do tej pory narzędziach budzą zdumienie. Amerykański badacz Gwern Branwen opracował za pomocą GPT-3 generator literatury. Opisywana już umiejętność przewidywania kolejnych słów pozwala algorytmowi bardzo precyzyjnie odtwarzać styl różnych autorów, których tekstami został nakarmiony. W efekcie powstały próbki literackie zbliżone poziomem do tych tworzonych przez ludzi. Program potrafił nie tylko naśladować styl różnych autorów, ale również poradził sobie z takimi działaniami jak parodiowanie maniery literackiej czy wplatanie elementów humorystycznych – czyli o wartości będące do tej pory udziałem jedynie ludzkim. W efekcie powstał np. pastisz „Harry’ego Pottera” łączący style Ernesta Hemingwaya i Jane Austen (dostępny pod adresem gwern.net/GPT-3).


Inny eksperyment przeprowadził student Uniwersytetu Kalifornii, Liam Porr. Wybierał on temat i podawał algorytmowi jedynie nagłówek, a generator na jego podstawie tworzył tekst. Następnie, po niewielkiej obróbce, badacz umieszczał go na forum Hacker News i przez dwa tygodnie kontynuował swój eksperyment. Artykuły tworzone przez algorytm cieszyły się ogromną popularnością i były napisane tak dobrze, że większości czytelników nie przyszło nawet do głowy, że nie stworzył ich człowiek.


GPT-3 jest również w stanie wygenerować dowolny tekst, w tym kod komputerowy. Web developer, Sharif Shameem, zmodyfikował GPT-3 tak, żeby zamiast języka naturalnego generował kod HTML i zamieniał go na gotowe, funkcjonujące elementy stron internetowych tylko na podstawie słownego opisu. Przykładowo po wpisaniu „przycisk, który wygląda jak arbuz” algorytm tworzył działający okrągły przycisk o kolorze arbuza z napisem „arbuz” w środku.

 

[...]

 

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2019 Presscom / Miesięcznik "IT Professional"