Modele językowe a wybór dysków NVMe

Rynek dysków NVMe wkracza w nową erę, a nadchodzące zmiany obiecują rewolucję, której skutki odczujemy nie tylko w kontekście technologicznym.

Owszem, rywalizacja gigantów, takich jak KIOXIA i Samsung, o to, kto pierwszy wypuści na rynek dysk NVMe z tysiącem warstw (w porównaniu w 162 warstwami w najnowszych model) w komórkach NAND czy postępy w wykorzystaniu magistrali PCIe 5.0, oferującej niespotykane dotąd prędkości transferu, budzą ogromne emocje. Jednak to nie te innowacje technologiczne są obecnie głównym zarzewiem nadchodzących zmian. Prawdziwa rewolucja kryje się w dynamice popytu i podaży, która doprowadziła do istotnych wahań cenowych.

Wzrost zapotrzebowania przy nieadekwatnym wzroście produkcji sprawił, że w pierwszym kwartale tego roku ceny dysków twardych wzrosły średnio o 25%, a w drugim kwartale nastąpił kolejny wzrost o 15%. Taka sytuacja sprawia, że wybór odpowiedniego dysku twardego do serwera obsługującego modele sztucznej inteligencji może mieć decydujący wpływ na jego ostateczną cenę. Warto zatem zwrócić uwagę nie tylko na aspekty finansowe, ale także na inne parametry tego kluczowego komponentu. Co więcej, ostateczny wybór dysku może zależeć od specyficznego modelu językowego, który będzie obsługiwany.

Zanim przejdziemy do analizy specyfikacji dysków twardych dostępnych obecnie na rynku, przyjrzyjmy się dwóm najpopularniejszym modelom językowym: deep learning i generatywnej AI. Każdy z nich stawia inne wymagania wobec sprzętu, co ma istotne znaczenie przy podejmowaniu decyzji o zakupie odpowiedniego dysku twardego. Deep learning i generatywna sztuczna inteligencja (Generative AI) są blisko powiązane, ale mają różne cele i zastosowania.

Deep learning to poddziedzina uczenia maszynowego (machine learning), która wykorzystuje sztuczne sieci neuronowe, zwłaszcza sieci głębokie (z wieloma warstwami). Deep learning jest wykorzystywany do rozwiązywania szerokiej gamy problemów, takich jak rozpoznawanie obrazów, analiza tekstu, rozpoznawanie mowy, a także inne zadania, które wymagają przetwarzania dużych ilości danych. Wykorzystuje głębokie sieci neuronowe (z wieloma warstwami) do uczenia się z danych oraz zdolność do rozpoznawania wzorców i podejmowania decyzji na podstawie tych wzorców. Wymaga to dużych zbiorów danych do treningu. Typowe zastosowania obejmują klasyfikację obrazów, tłumaczenie tekstu, rozpoznawanie mowy, detekcję obiektów, itp.

Generative AI to technologia, która wykorzystuje modele uczenia maszynowego do generowania nowych treści, takich jak obrazy, tekst, muzyka, czy nawet filmy. Jest to typ sztucznej inteligencji, który nie tylko analizuje istniejące dane, ale także tworzy coś nowego, co nie istniało wcześniej. Tworzeone są nowe dane, które są podobne do danych treningowych, ale są oryginalne i niepowtarzalne. Typowe zastosowania obejmują tworzenie obrazów, muzyki czy tekstów.

Istnieje różnica w tym, jak często dane są odczytywane lub zapisywane w modelach deep learning i generatywnej AI, choć ta różnica wynika głównie z celów i charakteru tych modeli, a nie z samej technologii. W tradycyjnych modelach deep learning, takich jak te używane do klasyfikacji obrazów, rozpoznawania mowy czy tłumaczenia tekstu, dane są zazwyczaj odczytywane w dużych partiach podczas treningu. Każda partia danych jest przetwarzana przez model, a następnie wyniki są używane do aktualizacji wag sieci neuronowej. Dane są wielokrotnie odczytywane podczas procesu treningu, zwłaszcza jeśli model trenuje przez wiele epok (czyli wielokrotnie przechodzi przez cały zbiór treningowy). Dane nie są zwykle zapisywane przez model po ich odczytaniu, chyba że model jest modyfikowany do jakiegoś rodzaju pamięci długoterminowej (np. w systemach opartych na uczeniu z pamięcią). Wagi modelu są zapisywane po zakończeniu treningu, aby można było je użyć do późniejszego wnioskowania (predykcji).

Modele generatywne również odczytują dane wielokrotnie podczas treningu, aby nauczyć się wzorców z danych treningowych. W przypadku generowania nowych danych (np. obrazów, tekstu), model może korzystać z wcześniej wyuczonych reprezentacji, które zostały zakodowane na podstawie odczytanych danych. W generatywnej AI zapisywanie danych może odbywać się częściej, zwłaszcza jeśli generowane dane są wykorzystywane do dalszego treningu lub oceny. Na przykład, wygenerowane obrazy przez GAN mogą być zapisywane do oceny jakości lub jako finalne wyniki. W przypadku modeli tekstowych, takich jak GPT, generowany tekst może być zapisywany jako końcowy produkt.

Tak więc dobór modelu dysków twardych w celu uzyskania maksymalnej wydajności może się różnić w zależności od tego, czy mamy do czynienia z modelem deep learning, czy generative AI. Wynika to z różnic w sposobie, w jaki te modele odczytują i zapisują dane. W celu uzyskania maksymalnej wydajności warto więc zwrócić uwagę przede wszystkim na sekwencyjny odczyt/zapis czyli maksymalną prędkość odczytu i zapisu danych w dużych blokach. Jest to istotne przy ładowaniu dużych zbiorów danych oraz zapisywaniu wygenerowanych wyników. Drugim istotnym parametrem jest losowy odczyt/zapis (IOPS) ważny dla operacji na mniejszych blokach danych. Wysoka wartość IOPS (Input/Output Operations Per Second) może poprawić wydajność w przypadku wielu małych operacji odczytu/zapisu, np. gdy modele korzystają z wielu mniejszych plików. Warto oczywiście rozważyć również pojemność modelu, jego trwałość ko kontekście zapisu (TBW - Total Bytes Written) czy opóźnienia ale będą ona istotne dla obu omawianych modeli w równym stopniu.

Spróbujmy przeprowadzić przykładową analizę posługując się specyfikacją dwóch popularnych modeli dysków NVMe klasy serwerowej: Micron 7450 PRO 3840GB U.2 z KIOXIA CD8-R 3840GB U.2

KIOXIA CD8-R 3840GB U.2

• Pojemność: 3840 GB
• Prędkość sekwencyjnego odczytu: Do 7200 MB/s
• Prędkość sekwencyjnego zapisu: Do 3500 MB/s
• IOPS (losowy odczyt): Do około 1,250,000 IOPS
• IOPS (losowy zapis): Do około 195,000 IOPS

Micron 7450 PRO 3840GB U.2

• Pojemność: 3840 GB
• Prędkość sekwencyjnego odczytu: Do około 6800 MB/s
• Prędkość sekwencyjnego zapisu: Do około 5600 MB/s
• IOPS (losowy odczyt): Do około 1,000,000 IOPS
• IOPS (losowy zapis): Do około 185,000 IOPS

Kioxia ma w tym zestawieniu ma fenomenalne osiągi w odczytywaniu danych: 400 MB/s oraz 25% wyższy IOPS dla oczyty w porównaniu z Micronem z pewnością dadzą się odczuć przy wykorzystaniu Deep learning. Z kolei Micron 7450 PRO wykazuje znacznie lepsze wyniki sekwencyjnego zapisu dlatego, pomimo nieznacznie gorszego IOPS zapisu, ten model powinien paść wyborem w przypadku wykorzystania generatywnej sztucznej inteligencji.

Po więcej porad dotyczących wyboru komponentów dla Twojego serwera, nie tylko do trenowania sztucznej integiligecji, zachęcamy do kontaku z nami poprzez maila info@gigaserwer.pl lub telefonicznie:

kom: +48 578 203 800

kom: +48 729 110 205