Z Nvidie se zhruba před dvěma lety díky nástupu nové éry takzvané umělé inteligence reprezentované velkými jazykovými modely stala jedna z nejhodnotnějších firem planety. Její AI čipy (GPU) umožňují trénink, inferenci a další operace spojené s AI, a Nvidia ovládá drtivou většinu trhu.
Nezdá se, že odbyt klesal. Dokonce i Česko se uchází o takzvanou AI gigatovárnu, tedy datacentrum se sto tisíci čipy s cenou kolem sto miliard a spotřebou k 80 MW. Nvidii sice v USA zakázali obří Čínu, firma ale nyní upnula pozornost k byznysově zatím malé Evropě. Šéf společnosti Jensen Huang uvedl, že se výpočetní AI kapacity na starém kontinentu brzy zdesetinásobí.
Nejnovější generací křemíků od Nvidie je Blackwell, u něhož se dlouho ladily problémy a spolehlivost, zejména kvůli nárokům na chlazení. Teď už dodávky proudí. Na Lupě jsme nedávno ukazovali první doručený Blackwell box DGX s osmi kusy karet B200 chlazenými vzduchem.
Superčip, vlastně tři čipy
Teď přinášíme obnažený pohled na takzvaný superčip GB200, který se v serverech umisťuje do racků (serverových rozvaděčů) s označením NVL72. Zatímco superčipy GB200 si nechává Nvidia dělat u TSMC, racky dodává více partnerů. V naší galerii je model od Hewlett Packard Enterprise (HPE), jenž z byznysu s AI těží i díky tomu, že dlouhé roky patří mezi hlavní dodavatele superpočítačů (HPC), tedy velmi podobných strojů. Tři aktuálně nejrychlejší HPC stroje na světě jsou od HPE, všechny mají výkon přes jeden exaflop.
GB200 je v současné době to nejlepší, co si od Nvidie můžete koupit. Tomu odpovídá cena. Nvidia neprodává samotné čipy, respektive osazené desky, ale rovnou celé systémy v racku. Jeden superčip GB200 nicméně vyjde na asi 70 tisíc dolarů, zhruba 1,5 milionu korun, a kompletní rack na zhruba tři miliony dolarů, tedy necelých 65 milionů korun.
Označení superčip bylo zvoleno kvůli tomu, že GB200 vlastně není jeden čip, ale soustava více čipů na jedné desce o něco menší než je klasický ATX motherboard pro osobní počítače. Na tomto moc pěkném kusu elektroniky jsou osazeny dvě GPU (AI akcelerátory) s označením B200. A vedle je ještě procesor Grace CPU vyvíjený Nvidií, který je postavený na architektuře ARM. Celé je to propojené skrze NVLink.
Každá ze dvou GPU obsahuje 192 GB paměti HBM3e integrované přímo v čipu. CPU je pak skrze 16 paměťových kanálů napojený na 512 GB LPDDR5 od Micronu. Celkem jde o 896 GB paměti dostupné pro všechny tři čipy.
A celé to umí škálovat. Rack splňující požadavky zmiňované NVL72 může obsahovat až 72 GPU a 32 Grace CPU. GPU opět pro komunikaci používají NVLink, což oproti tradičnímu použití InfiniBandu výrazně zvyšuje přenosové rychlosti. Každá B200 GPU může s tou další komunikovat o rychlosti 1 800 GB/s. Do jednoho NVLinku lze celkově spojit 512 GPU.
Předchozí generace GPU čipů H100 či H200 to měla složitější. Na každých osm GPU bylo nutné použít dva procesory, typicky Xeony od Intelu. Cluster s 64 GPU vyžaduje InfiniBand switch ConnectX-7. Vzájemný přístup k pamětem je omezen na 400 GB/s.
Spotřeba GB200 a celého racku NVL72 je vysoká. Rozvaděč NVL72 plný GB200 si dokáže vzít až 120 kW, do běžného datacentra to tedy není. Jeden superčip GB200 si bere 2 700 W, jedna GPU B200 je pak na 1 200 W. K tomu je nutné chlazení kapalinou, aby bylo možné v racku dosáhnout odpovídající hustoty osazení. Náhled na chlazení rovněž naleznete v přiložené galerii.
Nvidia nyní chystá novou verzi GB300, která bude obsahovat GPU B300. Jejím hlavním upgradem je 288 GB paměti HBMe, což je výrazný nárůst. Technici HPE Lupě řekli, že na desce budou také implementovány paměti LPCAMM.
A takto vypadá server Nvidia HGX B200:
- Chcete mít Lupu bez bannerů?
- Chcete dostávat speciální týdenní newsletter o zákulisí českého internetu?
- Chcete mít k dispozici strojové přepisy podcastů?
- Chcete získat slevu 1 000 Kč na jednu z našich konferencí?
Staňte se naším podporovatelem
