RTX Video Super Resolution, czyli NVIDIA wprowadza nową jakość wideo w streamingu

Wideo streaming pochłania zdecydowaną większość przepustowości łącza internetowego. I to nawet biorąc pod uwagę fakt, że większość treści przesyłana jest w stosunkowo niskiej rozdzielczości. Co w sytuacji, gdy użytkownik korzysta z wyświetlacza o zdecydowanie wyższej rozdzielczości? Jak działa skalowanie wideo i co do zaoferowania w tym obszarze ma NVIDIA wraz z technologią RTX Video Super Resolution?

Jak RTX Video Super Resolution rewolucjonizuje streaming wideo?

Strumieniowe przesyłanie wideo według szacunków pochłania aż 80% przepustowości łącza internetowego. Dzieje się tak nawet pomimo faktu, że nawet 90% treści wideo przesyłanych strumieniowo ma rozdzielczość 1080p lub niższą. Tyczy się to chociażby materiałów oferowanych w najpopularniejszych platformach – YouTube, Netflix, Twitch.tv, Disney+ czy Hulu.

Co w sytuacji, gdy użytkownik korzysta z wyświetlacza o wyższej rozdzielczości? Wbrew pozorom nie jest to wcale rzadkie zjawisko – dotyczy chociażby wielu użytkowników komputerów stacjonarnych. Konieczne jest wówczas przeskalowanie przez przeglądarkę w taki sposób, by dopasować ją do rozdzielczości ekranu. Efekt w dużej mierze zależy od technik stosowanych przez poszczególne wyszukiwarki. Nie da się ukryć, że zdecydowana większość korzysta z bardzo podstawowych rozwiązań, przez co przeskalowany obraz jest czasem bardzo mocno rozmyty.

Problem ten dostrzegła NVIDIA i postanowiła go odpowiednio zaadresować. Efekty pracy firmowych ekspertów, stojących za stworzeniem technologii RTX Video Super Resolution, są naprawdę imponujące. Sięgnęli oni po sztuczną inteligencję, której zadaniem jest przeskalowanie treści wideo o niższej rozdzielczości do rozdzielczości 4K i odpowiednie jej dostosowanie do wykorzystywanego przez użytkownika wyświetlacza. Pisząc obrazowo, RTX Video Super Resolution działa niczym okulary korekcyjne – natychmiastowo wyostrza obraz i pozwala użytkownikowi skoncentrować się na barwach, detalach i głębi obrazu.

Jak w praktyce działa RTX Video Super Resolution?

Zasada działania jest stosunkowo prosta. Technologia skalowania wideo wykorzystuje rdzenie AI oraz rdzenie RTX Tensor, by usuwać blokowe artefakty kompresji i zwiększać w ten sposób rozdzielczość plików wideo. Czym są artefakty w plikach wideo? W ujęciu ogólnym są to efekty uboczne przetwarzania czy kompresji plików. W przypadku plików wideo artefaktami są po prostu niskiej jakości klatki obrazu – wszelkiego rodzaju szumy, ząbkowania i rozmycia krawędzi, widoczne wiązki pikseli, utrata barw tonalnych, utrata głębi itp. Artefakty są również istotnym problemem w przesyłaniu strumieniowym. RTX Video Super Resolution z pomocą AI skutecznie sobie z nimi radzi, tj. zmniejsza lub eliminuje je całkowicie, w rezultacie czego użytkownik może oglądać treści lokalne i internetowe – pochodzące chociażby z Netflixa czy YouTube’a – w natywnej rozdzielczości i na wyświetlaczach do 4K.

Uzyskanie satysfakcjonujących rezultatów działania RTX Video Super Resolution wymagało od NVIDIA sięgnięcia po sieci głębokiego uczenia, które trenowano na ogromnej ilości materiałów wideo. W jakim celu? By nauczyć model właściwego działania, identyfikowania artefaktów i właściwego ich niwelowania. Za każdym razem, gdy model skaluje plik wideo, analizuje każdą pojedynczą klatkę i przewiduje jej szczątkowy obraz w docelowej rozdzielczości. Stworzony w ten sposób obraz jest następnie nakładany na ten tradycyjnie przeskalowany w celu wyeliminowania wszelkich niedoskonałości. To właśnie na tym etapie niwelowane są artefakty, wyostrzane krawędzie i detale.

By finalny efekt był jak najlepszy, model stojący za RTX Video Super Resolution trenowano na ogromnej ilości treści o najróżniejszym poziomie kompresji. Pozwoliło to modelowi dokładnie zapoznać się z możliwymi artefaktami, występującymi w plikach niskiej jakości lub plikach o niskiej rozdzielczości, których nie ma w nieskompresowanych obrazach. Po długotrwałym procesie oceny modelu udało się stworzyć rozwiązanie, które doskonale sprawdza się zarówno w świecie najróżniejszych plików wideo, jak i gier.

Kto może się cieszyć nową jakością wideo streamingu?

Podstawowe pytanie, jakie rodzi się w kontekście RTX Video Super Resolution tyczy się jego dostępności. Kto ma już dziś możliwość korzystania z niespotykanej dotychczas opcji skalowania plików wideo? Korzystanie z RTX Video Super Resolution wymaga procesora graficznego GeForce RTX z serii 40 lub 30 – rozwiązanie dostępne jest zarówno dla komputerów stacjonarnych, jak i laptopów.

Zgodnie z informacjami udostępnionymi przez producenta RTX Video Super Resolution nie współpracuje na ten moment z procesorami serii 20, jednak trwają pracę nad tym, by to umożliwić. Wprawdzie seria GeForce RTX 20 zbudowana jest na podobnych fundamentach dla obliczeń AI co seria 30 i 40, jednak konieczne jest mimo wszystko przeformatowanie wielu algorytmów, co niestety jest czasochłonne. Producent nie wskazał konkretnego terminu, kiedy planuje udostępnić RTX Video Super Resolution dla procesorów serii 20, jednak z pewnością wkrótce się to wydarzy i doskonałą jakością skalowania do wyższej rozdzielczości cieszyć się będzie mogło znacznie większe grono użytkowników.

Jakie aplikacje obsługuje RTX Video Super Resolution? Aktualnie będzie on stosowany dla plików wideo odtwarzanych na specjalnej wersji VLC (odtwarzacz multimedialny rozwijany przez VideoLAN), a także w najnowszych wersjach przeglądarek Chrome i Edge. Korzystanie z owej technologii NVIDIA nie wymaga od użytkownika podejmowania dodatkowych działań – konieczne jest jedynie posiadanie odpowiedniego procesora graficznego (np. GeForce RTX 4070) oraz najnowszej wersji jednej z wymienionych powyżej przeglądarek lub odtwarzacza VLC.