Americká společnost Nvidia po několika odkladech uvedla na trh minipočítač DGX Spark připomínající Mac mini, který je zaměřený na vývoj a práci s umělou inteligencí. Přístroj, jehož je na světě omezené množství, je dostupný také v Česku. Původní hype, který kolem sympatického zařízení vyvolal šéf Nvidie Jensen Huang a komunita kolem, je ale zřejmě nutné brzdit. Záleží, co od přístroje čekáte.
Nvidia dominuje dodávkám čipů pro umělou inteligenci do datových center, které jsou základem už nějakou dobu trvajícího boomu kolem velkých jazykových modelů (LLM) a na nich postavených službách typu ChatGPT. Tyto AI čipy jsou v podstatě grafické karty, které se oproti těm běžným, co máte v počítačích, liší vyšším výkonem a hlavně větším množstvím výrazně rychlejší paměti (HBM). Zároveň tyto GPU jdou spojovat do obřích clusterů (datacenter). Díky tomu lze trénovat velké modely a provádět inferenci.
Nvidia se vlivem toho stala nejhodnotnější firmou planety, jako první dosáhla na tržní hodnotu pět bilionů dolarů. Má obrovské příjmy, které investuje do ekosystému startupů a firem kolem včetně například Nokie a Intelu. Ekosystém je základ a pro Nvidii je stěžejní, aby kromě čipů měla komunitu, software a zákazníky. Podobně dobré AI čipy umí udělat i jiné firmy typu AMD, ty ale nemají věci jako software CUDA, který používá “každý”. CUDA je standard s knihovnami, návody, ověřenými postupy a tak dále.
Minipočítač DGX Spark do této strategie zapadá. Nvidia stvořila stroj pro vývojáře, experimentátory, vědce a další zájemce, kteří chtějí dělat projekty kolem AI, strojového učení a tak dále. Jde o takový vývojový kit a prostředí pro ty, kdo nechtějí či nemohou používat GPU instance z cloudu či on-premise serveru.
Omezené množství
Spark se vejde v podstatě kamkoliv, jeho rozměry jsou pouze 150 × 150 × 50,5 milimetru, a váha činí 1,2 kilogramu. Mac mini je jen o něco menší. Nvidia slíbila, že na tomto prckovi půjde zpracovávat AI modely s až 200 miliardami parametrů s výkonem až jeden PFLOP (sparse FP4). Vývoj v této oblasti je značný, podobný teoretický výkon před pár lety nabízelo serverové řešení Nvidia DGX-1 s osmi žravými grafikami.
Není jasné, kolik Nvidia těchto Sparků vyrobila, podle odhadů může jít o zhruba 10 tisíc kusů na celý svět. Do kontinentální Evropy (tedy bez Velké Británie) se nejdříve podle informací Lupy dostalo asi 1500 kusů, které hned zmizely v rukou zákazníků. Posléze dorazilo dalších 600 jednotek a i ty rychle mizí.
V Česku se nachází řádově desítky až nižší stovky. Některé už mají první zákazníci a další jsou skladem u partnerů typu TD Synnex (distributor) nebo M Computers. Dodat je mohou i integrátoři jako je Aricoma. “Ceny záleží na domluvě s prodejcem, množstevní slevě a podobně,” řekl Lupě Stanislav Rampas, který má v TD Synnex na starost Nvidii a Pure Storage.
Narazit lze na rozmezí 4500 až 5000 dolarů. Obchodní ředitel M Computers Petr Plodík uvedl, že Sparka prodává za asi 4300 dolarů s tím, že na něm nepotřebuje dělat výraznou marži, protože jde o budování ekosystému kolem Nvidie a AI. Cílem je tak podpořit prodej serverů a softwaru, kde je marže někde jinde.
Popsaná várka má být jediná, kterou Nvidia vyrobila, další už nebudou. Je to podobné, jako takzvané Founders Edition u desktopových grafických karet. Firma ukázala referenční model, jak by si takové AI minipočítače představovala, a do hry zapojila partnery. Tradiční OEM partneři Acer, Asus, Dell, Gigabyte, HP, Lenovo a MSI budou vyrábět vlastní modely. Ty se začnou objevovat postupně, například Dell nabízí přístroj Pro Max za necelé čtyři tisíce dolarů.
Otázka paměti a rychlosti
Nvidia do malého balení nacpala takzvaný superčip GB10, což je honosné označení pro křemík kombinující procesor a grafiku (AI jednotku). Procesor si navrhla Nvidia a obsahuje 20 jader ARM (půl na půl pro Cortex-X925 a Cortex-A725). GPU patří do aktuální generace Blackwell. Označení nese B10 a obsahuje tensor jádra pátá generace a RT jádra čtvrté generace.
Hlavním trikem Sparku je ovšem paměť. Není zde sice velmi rychlé HBM, případně GDDR7 (používá se LPDDR5X), ale paměť má velikost 128 GB a je sdílená. To může být hlavní argument oproti sestavení si počítače například s desktopovou kartou GeForce RTX 5090, která má pouze 32 GB paměti. Díky větší paměti lze pracovat s většími modely (nebo více malými), daty a podobně. Velké modely typu Llama 3.1 70B nebo Gemma 3 27B lze nahrát přímo do paměti.
Ovšem omezujícím faktorem je to, že paměť má propustnost “pouze” 273 GB/s. První testy ukazují (další jsou zde a zde), že například RTX Pro 6000 umí být ve zpracování dat až čtyřikrát rychlejší a RTX 5090 je na tom také lépe. Reálný výkon v AI je tak někde kolem RTX 5070 Ti, která má ovšem 16 GB paměti.
Vždy bude záležet na tom, co přesně potřebujete – vyšší rychlost zpracování, nebo uložení větších modelů v paměti. Pro řadu uživatelů bude méně omezující možností ta druhá zmíněná.
Stackování dvou Sparků
Důležitou komponentou je síťovka ConnectX-7 podporující InfiniBand. Jde o SmartNIC s propustností až 200 Gb/s v rámci dvou portů QSFP, díky čemuž je možné spojit dva počítače DGX Spark a vytvořit si tak menší cluster. Díky tomu lze pracovat s modely s až 400 miliardami parametrů (FP4).
Podle některých ohlasů lze ovšem v praxi u DGX Sparku narazit na problém s klesajícím výkonem (hlasitý je třeba John Carmack). To je dané přehříváním a throttlováním. Při dlouhodobé vysoké zátěži se prý snižuje spotřeba na 100 wattů, i když je počítač dimenzovaný na 240 wattů. Zřejmě je to daň za malé rozměry přístroje a problémy s odvodem tepla, s čímž má Nvidia u generace Blackwell problémy dlouhodobě. Bude zajímavé sledovat, jak si povedou modely od partnerských výrobců typu Dell, kteří s chlazením mají letité zkušenosti.
Spark si lze pořídit s až 4TB šifrovaným úložištěm M.2 NVMe a součástí jsou 10Gb ethernet, Wi-Fi 7, bluetooth 5.4 a čtyři konektory USB-C ve verzi 4.0 s rychlostí až 40 Gb/s.
Systém postavený na Ubuntu
DGX Spark není dodáván s Windows, ale operačním systémem Nvidia DGX OS, což je fork linuxové distribuce Ubuntu. Součástí jsou nakonfigurované ovladače, knihovny CUDA, Docker, Container Toolkit pro spouštění nástrojů typu PyTorch, TensorFlow a tak dále. K dispozici rovněž budou pravidelné aktualizace a enterprise podpora. Z velké části to není nic, co byste si z Linuxu nemohli udělat sami, ale Nvidia to dodá hezky zabalené a připravené bez nutnosti dlouhých konfigurací.
DGX OS a celé zařízení místy trápí softwarové chyby, takže může dojít k pádu aplikací a podobně. Nvidia ale rychle reaguje a hlášené nedostatky opravuje. Shovívavě to lze přisoudit první generaci nového produktu a postupnému odlaďování much.
Nvidia pro snadnější start také spravuje web, kde jsou popsány věci typu zprovoznění Comfy UI, různých LLM a podobně (takzvané playbooky).
Chrlení tokenů
Jedním z prvních v Česku, kdo DGX Spark zatím krátce testuje, je tým Alquist z CIIRC ČVUT, který nedávno opět uspěl s globální soutěži Amazonu. Studenti a vědci pod vedením Jana Šedivého do minipočítače migrovali svůj systém ADAM, jenž auditorům ministerstva financí pomáhá procházet 40 tisíc stránek PDF o regulích, jak se mají dělat audity kolem dotací. Systém používá klasifikaci textu, extrakci informací, generování odpovědí, sumarizaci a validaci faktů.
Alquist normálně ADAMa provozuje na Azure s napojením na OpenAI. V případě Sparku se na pozadí na testy použil model Qwen3–30B. “Sype to tokeny rychleji než výstupy stačíte číst,” shrnul Šedivý. Tým Alquistu bude zkoušet další modely a přístupy a věří v další zrychlení. Obecně je spokojenost s velikostí sdílené paměti, rychlost oproti plnohodnotným kartám je ale cítit. Alquist zatím nenarazil na problémy s přehříváním.
“Spark je investice, kterou si může dovolit udělat i menší firma. Lze začít s malými aplikacemi, nahrát si tam svoje data a vůbec se nepřipojovat k internetu. Můžete si celou oblast osahat a pochopit triky kolem,” dodal Šedivý. Výhodou je podle něj také inference v rámci FP4.
A takto vypadá deska pro systém Nvidia GB200:
- Chcete mít Lupu bez bannerů?
- Chcete dostávat speciální týdenní newsletter o zákulisí českého internetu?
- Chcete mít k dispozici strojové přepisy podcastů?
- Chcete získat slevu 1 000 Kč na jednu z našich konferencí?
Staňte se naším podporovatelem
