Porównanie systemu DGX vs HGX

Wdrożenie korporacyjnych rozwiązań z zakresu sztucznej inteligencji wymaga odpowiedniego przygotowania firmowej infrastruktury. Do procesowania ogromnych wolumenów danych i zaprzęgnięcia do pracy zaawansowanych algorytmów konieczna jest niemała moc obliczeniowa. Szczególnie gdy liczy się czas i niezawodność działania. Jakie rozwiązania profesjonalnym użytkownikom oferuje dziś NVIDIA? Czym różnią się między sobą systemy DGX i HGX i kogo powinny zainteresować?

NVIDIA DGX – profesjonalne wsparcie dla korporacyjnych rozwiązań AI

Rozwój sztucznej inteligencji gwałtownie przyspiesza, więc nikogo nie powinno dziwić to, że w biznesie coraz śmielej decyduje się na korzystanie z możliwości, jakie oferuje dziś AI. Modele próbujące zrozumieć zachowania klientów, systemy rekomendacji czy inteligentne chatboty to tylko przykłady rozwiązań, których szukają dziś firmy. By obsługiwać duże modele językowe, procesować ogromne wolumeny danych i skalować innowacje w całej organizacji, konieczna jest kompleksowa technologia. I właśnie tu z pomocą przychodzi NVIDIA i jej platforma DGX.

NVIDIA DGX to platforma integrująca oprogramowanie AI i niezbędny do jego obsługi sprzęt, by w ten sposób kompleksowo wspierać rozwój innowacyjnych rozwiązań w strukturze organizacji. Jest to prawdziwie hybrydowa platforma, która umożliwia uruchamianie zadań w chmurze (NVIDIA DGX Cloud), lokalnie (NVIDIA DGX) lub w obu tych środowiskach jednocześnie. Silnikiem programowym platformy jest NVIDIA Base Command, która umożliwia obsługę hybrydowej architektury, a dodatkowo optymalizuje i integruje przepływ pracy, a także zarządzanie systemami. W tym miejscu wspomnieć warto również o oferowanym przez producenta oprogramowaniu NVIDIA AI Enterprise, czyli obszernej bibliotece zoptymalizowanego oprogramowania, które dodatkowo zwiększa produktywność pracujących w firmie programistów.

Co do zaoferowania firmom ma NVIDIA DGX? Jak zapewnia producent – bezprecedensową wydajność i przewidywalność kosztów. Od momentu debiutu platformy w 2016 roku, NVIDIA niezmiennie realizuje założone sobie cele – zaskakuje rekordowymi osiągnięciami w kontekście wydajności, a jednocześnie duży nacisk kładzie na efektywność kosztową i energetyczną. W rezultacie niezależnie od wybranego modelu – przetwarzanie w chmurze vs. lokalnie – platforma DGX zapewnia organizacjom prosty i przewidywalny model kosztów infrastruktury. Składają się na nią następujące komponenty:

• NVIDIA DGX SuperPOD – infrastruktura centrum danych AI,
• NVIDIA DGX BasePOD – infrastruktura do rozwoju aplikacji AI,
• NVIDIA DGX H100 – najpotężniejszy w ofercie NVIDIA akcelerator graficzny,
• NVIDIA DGX A100 – akcelerator graficzny wcześniejszej generacji.

Źródło: https://stock.adobe.com/

NVIDIA HGX – najpotężniejsza platforma dla rozwiązań z zakresu sztucznej inteligencji

Stale rosnące wolumeny danych oraz rosnąca wręcz wykładniczo liczba parametrów, które modele muszą w czasie rzeczywisty analizować sprawiają, że biznes nieustannie zgłasza zapotrzebowanie na jeszcze potężniejsze jednostki i platformy do rozwoju sztucznej inteligencji. NVIDIA HGX stanowi odpowiedź producenta z Santa Clara na te potrzeby. Zawiera ona w sobie pełną moc procesorów graficznych NVIDIA, NVIDIA® NVLink®, które umożliwiają ich łączenie, NVIDIA Mellanox® InfiniBand®, a także w pełni zoptymalizowany stos oprogramowania NVIDIA AI i HPC firmy NGC™. W rezultacie jest ona w stanie sprostać najbardziej wymagającym zadaniom i zapewnić niewiarygodną wręcz wydajność.

Wymagający użytkownicy: duże korporacje, centra danych czy instytuty naukowe, które poszukując potężnej mocy obliczeniowej, niezawodności działania i ogromnej wydajności, mogą sięgnąć po NVIDIA HGX z czterema lub ośmioma procesorami graficznymi H100, oferującymi po 80 GB pamięci GPU lub procesorami graficznymi A100, z których każdy oferuje 40 GB lub 80 GB. Zacznijmy od procesorów wcześniejszej generacji A100. Producent dopuszcza następujące konfiguracje platformy:

• A100 PCIe (1x NVIDIA A100 PCIe) - 80GB i 600 GB/s,
• 4-GPU (HGX A100 4-GPU) -  do 320GB i 2.4 TB/s,
• 8-GPU (HGX A100 8-GPU) - do 640 GB i 4.8 TB/s,
• 16-GPU (2x HGX A100 8-GPU) - do 1280 GB i 9.6 TB/s.

Platform HGX dostępna jest w najprostszym wariancie w formie PCIe, jako modułowa i niezwykle łatwa we wdrożeniu opcja. Bardziej wymagających użytkowników zainteresować powinny z kolei pozostałe konfiguracje, które dzięki NVIDIA NVLink lub NVIDIA NVSwitch, pozwalają stworzyć pojedynczy węzeł, składający się z 4, 8 lub nawet 16 procesorów.

Jeszcze potężniejszą infrastrukturę stworzyć można przy pomocy procesorów nowszej generacji, opartych na architekturze Hopper. W ich przypadku mamy dostępne trzy różne warianty:

• H100 PCIe (1x NVIDIA H100 PCIe) - 80GB i 900 GB/s,
• 4-GPU (HGX H100 4-GPU) - do 320GB i 3.6 TB/s,
• 8-GPU  (HGX H100 8-GPU) - do 640 GB i 7.2 TB/s.

NVIDIA GGX vs. NVIDIA HGX – czym się różnią?

Platforma HGX została stworzona po to, by zapewnić niespotykane dotychczas przyspieszenie. Nikogo zatem nie powinno dziwić, że jest znacznie potężniejsza niż poprzednia generacja. Co konkretnie się zmieniło? Jak informuje producent, zapewnia nawet 20-krotnie przyspieszenie AI, a wszystko to za sprawą Tensor Float 32 (TF32), a także 2,5-krotnie przyspieszenie HPC z FP64. Platforma HGX oferuje ponadto oszałamiającą wydajność 10 petaflopsów, co przynajmniej w momencie debiutu czyniło ją najpotężniejszą na świecie platformą skalowalnych serwerów z akceleracją dla rozwiązań AI i HPC. 

Wspomnieć warto również, że nowsza generacja platformy łączy w sobie nie tylko procesory graficzne o większej mocy, ale również udoskonaloną architekturę NVIDIA NVSwitch. Czy oferowane przez NVIDIA platformy spełniają oczekiwania i są w stanie uporać się z naprawdę potężnymi procesami z dziedziny sztucznej inteligencji? Odpowiedź na to pytanie jest oczywista – szczególnie, gdy przypomnimy, że prawdziwi giganci już od dawna używają tych platform w swoich przedsięwzięciach – w tym m. in. OpenAI i ChatGPT.