Porównanie karty H100 vs. A100

Potężny akcelerator graficzny H100, który NVIDIA zaprezentowała w ubiegłym roku, stał się jednocześnie zapowiedzią zupełnie nowej architektury – Hopper. Zgodnie z założeniem producenta stanowi on następcę akceleratora NVIDIA A100 i architektury Ampere i ma naprawdę wiele do zaoferowania. Jak bardzo NVIDIA H100 pozostawia w tyle swojego poprzednika? Co mają do zaoferowania oba akceleratory i gdzie należy się doszukiwać największych różnic w ich parametrach oraz możliwościach?

Co do zaoferowania ma NVIDIA A100?

W momencie debiutu w 2020 roku zaprezentowana podczas GPU Technology Conference karta graficzna A100 była najmocniejszą kartą na świecie. Prezentowała ogromne możliwości nowej wówczas architektury Ampere. Mimo upływu lat nadal cieszy się bardzo dużym zainteresowaniem klientów i wspiera wiele procesów z zakresu sztucznej inteligencji o najróżniejszej skali. Ze względu na swoje parametry, przeznaczona jest do profesjonalnych zastosowań i centrów danych. To właśnie tam od momentu pojawienia się na rynku wspiera obsługę zaawansowanych algorytmów i złożonych obliczeń.

Akcelerator A100 zajął miejsce, które dotychczas należało do układu V100, zbudowanego na architekturze Volta. O tym, jak duża była to rewolucja świadczą parametry nowego układu – A100 oferuje aż 20-krotnie większą wydajność do swojego poprzednika! Poprzednia generacja oferowała 21,1 mld tranzystorów, 5 120 rdzeni NVIDIA CUDA, 640 rdzeni Tensor i do 32 GB pamięci HBM2. NVIDIA A100 ma do zaoferowania znacznie więcej – aż 54,2 mld tranzystorów, 6 912 rdzeni NVIDIA CUDA, 432 rdzenie Tensor i aż 40 GB pamięci HBM2e. Warto w tym miejscu wspomnieć, że dzięki technologii MIG możliwości jednostki mogą zostać podzielone na siedem oddzielnych projektów. Krótko po debiucie pierwszej jednostki, do oferty trafiła kolejna – jeszcze potężniejsza i oferująca aż 80 GB pamięci HBM2e.

Tak imponujące parametry otwierają wiele możliwości profesjonalnego zastosowania. Biorąc jednak pod uwagę ogromny postęp, jaki możemy obserwować w obszarze sztucznej inteligencji i rosnące potrzeby wydajnościowe, warto dodać, że w połączeniu z NVIDIA® NVLink®, PCI Gen4, NVIDIA NVSwitch™, NVIDIA® InfiniBand® i NVIDIA Magnum IO™ SDK możliwe jest skalowanie do tysięcy procesorów A100. Wszystko w celu wspierania najbardziej wymagających klientów i efektywnego realizowania ich procesów.

NVIDIA H100 – specyfikacja techniczna

Po jednostce zbudowanej na architekturze Volta i Ampere, w 2022 roku zadebiutowała karta zbudowana na architekturze Hopper. Zgodnie z tradycją producenta debiut nowej jednostki był jednocześnie prezentacją nowej, jeszcze potężniejszej architektury. Co kryje w sobie jednostka o wartości dobrej klasy samochodu czy niewielkiego mieszkania? Podobnie jak A100, NVIDIA H100 zaprojektowana została z myślą o najbardziej wymagających klientach i profesjonalnych zastosowaniach.

Właśnie dla tych, którzy będą potrzebować wielu takich jednostek, producent oferuje mostki NVIDIA NVLink®, które pozwalają na zbudowanie niezwykle potężnej infrastruktury, składającej się nawet z 256 połączonych ze sobą procesorów i mogącej sprostać najbardziej zaawansowanym procesom. Dedykowany silnik transformatorowy, w jaki wyposażono to potężne GPU, pozwala obsługiwać modele językowe o niewyobrażalnej wręcz liczbie parametrów i robić to 30-krotnie szybciej w porównaniu z jednostkami poprzedniej generacji. 

Przejdźmy teraz do samej oferty i parametrów technicznych, kryjących się pod poszczególnymi jednostkami. W ofercie NVIDIA znaleźć można trzy różne warianty procesora graficznego H100, a są to:

• H100 SXM – 80 GB pamięci, 80 miliardów tranzystorów, 3,35 TB/s przepustowości pamięci, FP64 – 34 TFLOPS,
• H100 PCIe – 80 GB pamięci, 80 miliardów tranzystorów, 2 TB/s przepustowości pamięci, FP64 – 26 TFLOPS,
• H100 NVL – 188 GB pamięci, 80 miliardów tranzystorów, 7,8 TB/s przepustowości pamięci, FP64 – 68 TFLOPS.

Oferowane przez producenta GPU mają naprawdę imponujące możliwości, jednak nikogo nie powinno to dziwić, gdyż adresowane są do profesjonalnego użytkownika i wspierania zaawansowanych projektów z zakresu sztucznej inteligencji, w tym przede wszystkim dużych modeli językowych.

Podstawowym modelem w ofercie jest H100 PCIe, który producent oferuje w zestawie z pięcioletnią subskrypcją, obejmującą zarówno wsparcie dla przedsiębiorstwa, jak i dostęp do pakietu oprogramowania NVIDIA AI Enterprise, ułatwiającego wdrażania sztucznej inteligencji przy zachowaniu najwyższej wydajności. Dla pozostałych jednostek w ofercie jest to usługa oferowana dodatkowo.

Najpotężniejszą jednostką w ofercie jest H100 NVL, która została włączona do oferty w odpowiedzi na rosnącą popularność dużych modeli językowych. Opiera się ona na dwóch układach H100, dzięki czemu oferuje aż 188 GB pamięci HBM3 i przepustowość na poziomie 7.8TB/s! Dzięki tak ogromnej mocy, a także możliwości rozszerzenia jej o kolejne jednostki, obsługa potężnych algorytmów nie sprawia najmniejszych trudności.

Źródło: https://stock.adobe.com

NVIDIA H100 vs. NVIDIA A100 – najważniejsze różnice
NVIDIA przyzwyczaiła już swoich klientów, że w momencie prezentacji nowych jednostek istotnie doskonali swoje produkty na wielu różnych płaszczyznach – bije kolejne rekordy i dostarcza rozwiązania, jakich oczekuje rynek. Nie inaczej było w tym przypadku. NVIDIA H100, która zastąpiła NVIDIA A100, bije swojego przednika na głowę.

Procesory H100 zbudowano na ultraszybkiej i ultra wydajnej architekturze Hopper, wyposażono w rdzenie Tensor czwartej generacji, a także transformator z precyzją FP8, co w rezultacie pozwala przyspieszyć trening 4-krotnie i nawet 30-krotnie przyspieszyć wnioskowania dla dużych modeli językowych.

W H100 producent potroił również liczbę operacji zmiennoprzecinkowych na sekundę (FLOPS) FP64 i dodał instrukcje programowania dynamicznego (DPX), co z kolei przyczyniło się do 7-krotnego zwiększenia wydajności względem poprzedniej generacji. Producent chwali się również, że wzrost wydajności modelu GPT-175B jest nawet 12-krotny w przypadku najsilniejszej jednostki w ofercie – tj. H100 NVL.