GPT-3 - co to jest i jak może wpłynąć na nasze życie?

Bardzo często podnoszonym tematem w kontekście sztucznej inteligencji jest ryzyko zastąpienia człowieka przez odpowiednio przeszkolony algorytm, który będzie w stanie wykonywać jego pracę co najmniej tak samo skutecznie. Sztuczna inteligencja udowodniła już, że doskonale radzi sobie z malowaniem obrazów na zadany temat, a nawet odpowiadaniem na zadawane pytania. Kolejna odsłona narzędzia do autouzupełniania GPT-3 udowadnia, że AI radzi sobie ze słowem równie dobrze jak doświadczony publicysta. Jak działa sieć neuronowa GPT-3? Czy autorzy i dziennikarze zostaną wkrótce zastąpieni przez algorytmy?

Co kryje się pod terminem GPT-3?

GPT-3 to model przetwarzania języka naturalnego, który stanowi udoskonaloną wersję modelu GPT-2, zaprezentowaną przez OpenAI w 2019 roku. Generative Pre-trained Transformer, bo tak rozwija się skrót GPT, to doskonały przykład zastosowania sztucznej inteligencji, który udowadnia, że maszyny mogą dziś skutecznie konkurować z człowiekiem.

GPT-2 przeszkolono na kilku miliardach tekstów, dzięki czemu model jest w stanie budować zdania w języku naturalnym, które trudno odróżnić od tych formułowanych przez człowieka. Co więcej, model jest w stanie kończyć rozpoczęte zdania, odpowiadać na pytania, a nawet podsumowywać fragmenty tekstu. Niestety średnio radzi sobie z generowaniem dłuższych form – staje się powtarzalny, a produkowane treści są często pozbawione większego sensu.

Jak można przypuszczać, GPT-3 dysponuje znacznie bardziej imponującymi możliwościami i skutecznie adresuje niedoskonałości swojego poprzednika. Nad jego rozwojem pracowało 30 badaczy, a efekty ich pracy można uznać za imponujące. O ile GPT-2 wykorzystywał 1,5 miliarda parametrów, które określały zależności między elementami sieci, GPT-3 ma ich aż 175 miliardów! Jak przekłada się to na możliwości narzędzia? Te niewątpliwie są potężne, a wszystkie były trenowane na ówcześnie jednymi z najnowszych modeli NVIDIA V100 Tensor Core GPU. Model przeszkolono na ogromnych zbiorach danych, zbieranych przez lata, dzięki czemu GPT-3 jest w stanie generować zarówno krótkie i długie formy, które trudno odróżnić od tekstów tworzonych przez człowieka. Doskonale radzi sobie z tłumaczeniem, odpowiadaniem na pytania i kończeniem fraz.

Porównanie wielkości wykorzystanych korpusów językowych do trenowania modeli,
źródło: https://hellofuture.orange.com/en/the-gpt-3-language-model-revolution-or-evolution/

Sieć neuronowa GPT-3 może zaskakiwać, ale warto w tym miejscu wspomnieć, że stworzenie tak zaawansowanego narzędzia nie byłoby możliwe, gdyby nie odpowiednia infrastruktura systemowa. Analizowanie ogromnych zbiorów danych w ułamkach sekund było kluczowe dla realizacji przedsięwzięcia. Na szczęście laboratorium badawcze OpenAI mogło liczyć na wsparcie Microsoft. Gigant z Redmond przekazał firmie niezwykle potężny superkomputer, zasilany 285 tys. procesorów i 10 tys. układów graficznych, co umożliwiło procesowanie 400 gigabitów danych na sekundę. W momencie przekazania była to piąta najsilniejsza maszyna obliczeniowa na świecie.

Podobnie zainteresowana rozwojem i wykorzystaniem GPT-3 (i kolejnych jego iteracji) jest NVIDIA. We wrześniu 2022 roku firma NVIDIA poinformowała, że NeMo Megatron jest już dostępny w otwartej wersji beta, umożliwiając trenowanie i wdrażanie LLM (Large language models) przy użyciu własnych danych. Więcej na temat przygotowania i wykorzystania można przeczytać na blogu NVIDII: https://developer.nvidia.com/blog/deploying-a-1-3b-gpt-3-model-with-nvidia-nemo-megatron/

AI GPT3 – gdzie znajduje zastosowanie?

Sztuczna inteligencja GPT-3 niewątpliwie budzi podziw, a jednocześnie rodzi pewien niepokój. Możliwości jakie oferuje rozwiązanie są nieprawdopodobnie szerokie, jednak w niewłaściwych rękach mogą powodować wiele negatywnych konsekwencji. Było to widoczne chociażby po debiucie GPT-2. do którego z czasem powszechny dostęp został zablokowany. Dlaczego? Gdyż masowe możliwości generowania treści były wykorzystywane chociażby do produkowania fake newsów i szerzenia mowy nienawiści.

Gdzie zatem GPT-3 znajduje zastosowanie? Możliwości narzędzia wykorzystuje się chociażby do autouzupełniania w wyszukiwarkach internetowych, a to wszystko dzięki temu, że model rozumie kontekst pomiędzy wyrazami i może sugerować stosowne podpowiedzi. Może również stanowić silnik, który będzie napędzał różnego rodzaju chatboty i inne komunikatory, za pośrednictwem których użytkownicy zadają najróżniejsze pytania.  Pozwolenie na komercyjny użytek narzędzia posiada na ten moment wyłącznie Microsoft, jednak dostęp do niego mają również naukowcy, którzy chętnie testują jego możliwości. GPT-3 testowano chociażby w kontekście możliwości zastąpienia lekarzy i udzielania porad medycznych. Wprawdzie rozmowa przeprowadzona z pacjentem na czacie przebiegła bardzo pomyślnie i nie zdradzała w żaden sposób tego, że po drugiej stronie nie ma człowieka, jednak udzielanych przez model porad nie można było uznać za w pełni wiarygodne i trafne, co po części wynika, że nie pod takim kątem był szkolony.

Algorytm GPT – czy jest się czego obawiać?

Medycyna to dziedzina nauki, która nie wybacza błędów, jednak tego samego nie można powiedzieć o działalności publicystycznej. I tu jak się okazuje, możliwości sztucznej inteligencji sprawdzają się bardzo dobrze. Treści generowane przez model trudno odróżnić od tych tworzonych przez człowieka, dlatego istnieje realne ryzyko, że GPT-3 może zastąpić chociażby copywriterów i zrewolucjonizować sposób, w jaki funkcjonuje branża SEO.

Imponujące i zarazem nieco przerażające jest również tempo, w jakim rozwija się technologia i sztuczna inteligencja. GPT-2 zaprezentowano światu w 2019 roku, a już w 2020 roku pojawiła się jego udoskonalona wersja – GPT-3, o jeszcze bardziej imponujących możliwościach i znacznie szerszym zastosowaniu. Co przyniesie kolejna iteracja? Jak bardzo zmieni świat i poszczególne branże? Z pewnością przekonamy się o tym już wkrótce, a z niektórymi rozwiązaniami NVIDIA GPU możesz zapoznać się także w naszym sklepie.