Razem: 0,00 zł
NVIDIA nie przestaje zaskakiwać swoimi kolejnymi technologiami i efektami eksploracji możliwość, jakie oferuje dziś umiejętne wykorzystanie sztucznej inteligencji. Doskonałym przykładem jest technologia NVIDIA RTX Video Super Resolution, która rewolucjonizuje sposób skalowania plików wideo przesyłanych strumieniowo. Jakie możliwości niesie za sobą nowa technologia NVIDIA i w taki sposób wspiera ją sztuczna inteligencja?
Na czym polega strumieniowe przesyłanie wideo?
Dzięki NVIDIA strumieniowe przesyłanie wideo za pośrednictwem przeglądarek internetowych Google Chrome i Microsoft Edge weszło z początkiem roku na zupełnie nowy poziom. W lutym 2023 roku producent wiodących procesorów graficznych poinformował o debiucie swojej nowej technologii – RTX Video Super Resolution (VSR). Co kryje się pod tym tajemniczym terminem? Zupełnie nowa jakość skalowania plików wideo.
Strumieniowe przesyłanie treści wideo pochłania aż 80% przepustowości łącza internetowego. Zdecydowana większość plików wideo – w tym również treści udostępnianych przez YouTube czy Netflix – przesyłana jest strumieniowo w rozdzielczości 1080p lub mniejszej. O ile użytkownik odtwarza je na wyświetlaczu o analogicznej rozdzielczości, nie ma to większego znaczenia. Problem pojawia się w momencie, gdy jego wyświetlacz ma znacznie większą rozdzielczość, co wcale nie jest niczym rzadkim. W takiej sytuacji przeglądarki automatycznie skalują wideo i dopasowują je do rozdzielczości wyświetlacza. Wykorzystują przy tym bardzo podstawowe techniki skalowania, co niestety znajduje odzwierciedlenie w jakości takiego wideo – bardzo często jest ono mocno zmiękczone i rozmyte.
I właśnie nad tym problemem postanowiła się pochylić NVIDIA, wykorzystując w tym celu możliwości, jakie niesie za sobą sztuczna inteligencja. Wbrew pozorom pomysł ten nie był niczym nowatorskim, a jedynie kontynuacją działań, których efekty zaprezentowano już w 2019 roku. To właśnie wtedy producent przedstawił światu SHIELD TV. Było to wówczas przełomowe rozwiązanie, które ulepszyło skalowanie przesyłanych strumieniowo treści wideo oglądanych przez użytkowników na telewizorach. SHIELD TV to pierwotna wersja opisywanej technologii, którą zoptymalizowano pod kątem oglądania z odległości około 3 metrów.
Jako że użytkownicy komputerów znajdują się znacznie bliżej ekranów, konieczne było dopracowanie skalowania i skuteczniejsze przetwarzanie. Udało się to wraz z debiutem procesorów graficznych RTX z serii 40 i RTX z serii 30. Cechują się one nieprawdopodobną wydajnością i dużą ilością rdzeni Tensor, które wspomagają skalowanie do 4K w czasie rzeczywistym. Co warto podkreślić, robią to niezwykle skutecznie.
Czym jest i jak działa Pixel Perfect: RTX Video Super Resolution?
RTX Video Super Resolution działa na podobnej zasadzie jak SHIELD TV – pozwala skalować pliki wideo z oryginalnej rozdzielczości do rozdzielczości 4K i dopasowywać się do wyświetlacza użytkownika. Osiągnięcie zadowalających efektów okazało się niemałym wyzwaniem. Konieczne było przygotowanie odpowiednich danych treningowych – tj. ogromnej liczby plików wideo o najróżniejszej rozdzielczości i poziomie kompresji – i przeszkolenie na nich modelu. Na tej podstawie model nauczył się odróżniać pliki skompresowane od nieskompresowanych, identyfikować niedoskonałości (tzw. blokowe artefakty kompresji), powstałe przy skalowaniu plików do wyższej rozdzielczości, a także je niwelować lub całkowicie eliminować.
Jak w praktyce odbywa się usuwanie blokowych artefaktów kompresji, poprawa ostrości i jakości plików wideo? Za całość działań – tj. skalowanie rozdzielczości w górę i jednoczesne usuwanie niedoskonałości – odpowiada sieć głębokiego uczenia. Analizuj ona poszczególne klatki w oryginalnej rozdzielczości, próbuje przewidzieć szczątkowy obraz w docelowej rozdzielczości, na który następnie nakłada klatkę przeskalowaną w tradycyjny sposób. Dwie nałożone na siebie klatki są następnie porównywane i doskonalone w taki sposób, by zapewnić użytkownikowi jak najbardziej krystaliczny obraz, wyraziste krawędzie i głębię.
Zakres pracy, jaką wykonuje model głębokiego uczenia jest ogromny. Szczególnie jeśli weźmiemy pod uwagę to, że skalowania i doskonalenia obrazu dokonuje on w czasie rzeczywistym. Jak nietrudno się domyślić, konieczny jest do tego odpowiednio wydajny procesor graficzny. I właśnie tu pojawia się pytanie, dlaczego na udoskonalenie technologii SHIELD TV producent kazał tak długo czekać. Zaoferowanie użytkownikom oczekiwanych doznań i jakości wymagało bowiem odpowiedniej mocy. Pojawiła się ona wraz z debiutem procesorów graficznych RTX z serii 40 i RTX z serii 30.
RTX Video Super Resolution dostępne dla procesorów RTX z serii 40 i 30
Od niedawna technologia RTX Video Super Resolution dostępna jest dla użytkowników przeglądarek Google Chrome oraz Microsoft Edge, korzystających z komputerów wyposażonych w procesory graficzne GeForce RTX z serii 40 lub 30. Warunkiem jest również korzystanie z 64-bitowej wersji systemu Windows 10 lub Windows 11. Z technologii skorzystają również użytkownicy VLC – odtwarzacza multimedialnego rozwijanego przez VideoLAN.
Kto szczególnie doceni starania NVDIA na polu skalowania strumieniowo przesyłanych plików wideo? Przede wszystkim użytkownicy, którzy na co dzień korzystają z urządzeń o rozdzielczości 1440p lub 4K. W ich przypadku niemal wszystkie internetowe treści zostaną udoskonalone przez technologię RTX Video Super Resolution. Tyczy się to również kontentu udostępnianego przez duże platformy oferujące usługi subskrypcyjne – Prime Video, Disney+, Hulu czy HBO MAX.
