Ceny operačních pamětí RAM v poslední době vyrostly i na více než dvojnásobek, zdražují SSD disky, Raspberry Pi, vyroste cena grafických karet, chytrých telefonů a dalších zařízení. Důvodem je pokračující boom kolem výstavby infrastruktury pro umělou inteligenci. K těmto účelům přizpůsobená datová centra požírají velké množství paměti a saturují kapacity výrobců paměťových čipů. Ukázkou toho, kolik paměti je potřeba, je další iterace AI čipů od Nvidie, hlavního dodavatele v oboru.
Na Lupě jsme v létě ukázali obnažený takzvaný superčip Nvidia GB200, který v té době byl tím nejvýkonnějším, co Nvidia nabízela. Teď se do nasazení dostává vylepšená verze GB300. Jeho základy jsou podobné, na desce jsou dva čipy GPU (nová verze B300, více než 20 tisíc jader CUDA, 208 miliard tranzistorů) a jeden procesor (Grace ARM). Novinka se liší hlavně v paměti.
Zatímco jeden superčip GB200 měl k dispozici 384 GB paměti HBM3e na čip (192 GB na každou GPU) a 512 GB LPDDR5 (celkem 896 GB sdílené paměti), GB300 to šponuje výše. Superčip má 576 GB paměti HBM3e (288 GB na každé GPU) a 480 GB novější LPDDR5X, kde Nvidia vůbec poprvé použila formát LPCAMM, což mimo jiné umožňuje úsporu místa.
Nvidia tyto superčipy skládá do hotových serverových skříní označovaných jako NVL72. Jde referenční design, který sama Nvidia dodává na trh, zároveň má ale partnery typu Hewlett Packard Enterprise, Supermicro a podobně, kteří dodávají vlastní verze. AI servery se vyrábí i v Česku, dělají na nich továrny investorů z Tchaj-wanu (Wistron, Inventec a Foxconn). Lupa přináší galerii s možností prohlédnout si originální rack Nvidia GB300 NVL72, který byl prezentován na konferenci AWS re:Invent 2025 v Las Vegas.
Jedna NVL72 stojí něco přes tři miliony dolarů. Systém obsahuje 72 grafických karet Blackwell Ultra (B300) a 36 procesorů Nvidia Grace (celkem 2 592 jader ARM Neoverse V2). Celková paměť určená pro grafiky (HBM3e) je až 21 TB a propustnost na úrovni racku dosahuje na 576 TB/s. Celková paměť pro procesory (LPDDR5X) dosahuje až na 17 TB.
Systém je propojený technologií NVLink páté generace, kde lze v rámci jedné výpočetní jednotky (compute tray, kterých je v racku 18, každá po dvou GB300) dosáhnout na 1,8 TB/s (interkonekt mezi GPU). Celková propustnost NVLinku je 130 TB/s. U síťového spojení lze dosáhnout na 800 Gb/s, a to díky Connect-X 8. Součástí racku je 18 čipů DPU BlueField-3 pro akceleraci síťových přenosů.
U NVL72 se používá chlazení kapalinou (je vedena přímo na čip), aby bylo možné dosáhnout hustoty technologií na rack – příkon se pohybuje mezi 132 až 140 kW. Jedna grafika B300 si vezme kolem 1 400 W. Jednotlivé NVL72 se spojují do velkých clusterů. Jeden rack může dát výkon až 1 440 petaflops pro inferenci (FP4) nebo 720 petaflops pro trénování (FP8/FP6).
GB300 NVL72 si lze koupit přímo jako rack, případně využít cloudových dodavatelů, kteří postupně technologii začleňují do nabídky. Amazon Web Services v polovině listopadu spustil instance EC2 P6-B300, v rámci nichž nabízí osm grafik B300, 192 vCPU, 4 TB paměti a 2 144 paměti HBM3e. Propojení mezi grafikami dosahuje rychlosti 1 800 GB/s a síťový bandwidth dělá 6,4 Tb/s.
A takto vypadá obnažený o něco starší superčip Nvidia GB200:
- Chcete mít Lupu bez bannerů?
- Chcete dostávat speciální týdenní newsletter o zákulisí českého internetu?
- Chcete mít k dispozici strojové přepisy podcastů?
- Chcete získat slevu 1 000 Kč na jednu z našich konferencí?
Staňte se naším podporovatelem
