Na AI hardware se čeká i půl roku. Jak postavit efektivní infrastrukturu a přežít čipovou krizi?

Martine, jako NVIDIA Elite Partner má M Computers k dodavatelským řetězcům velmi blízko. Jak to tedy na trhu s AI hardwarem aktuálně vypadá z pohledu cen a dostupnosti? Skončil už kritický nedostatek čipů, nebo řetězce stále drhnou?

Bohužel nedostatek paměťových modulů je stále aktuální téma. Nedostatek čipů se už výrazně promítá do enterprise prostředí, kde rostou především ceny operačních pamětí a NVMe disků.

Tento trend ale začínají stále více pociťovat i koncoví uživatelé. Vyšší ceny komponent se totiž postupně promítají do nových dodávek notebooků, počítačů a mobilních telefonů, které citelně zdražují.

U kterých komponent je dnes kvůli vysoké poptávce největší problém s dostupností?

Největší poptávka je dlouhodobě po GPU akcelerátorech a kompletních DGX či HGX systémech, ale situace se přelévá do celého řetězce. Vysoký tlak na kapacity vidíme u rychlých enterprise NVMe úložišť, vysokokapacitních disků pro datové sady, DDR5 pamětí i samotných procesorů. AI infrastruktura není jen o výpočetních akcelerátorech. Jednotlivé části systému jsou úzce provázané a celý projekt může zbrzdit i nedostupnost zdánlivě běžných komponent, jako jsou síťové adaptéry, diskové řadiče nebo napájecí zdroje. Chybějící komponenta tak může zabránit dokončení celého řešení a jeho následnému nasazení u zákazníka.

Když dnes firma plánuje nákup AI infrastruktury, s jakými dodacími lhůtami by měla reálně počítat a dá se v tomto prostředí vůbec spolehlivě plánovat na měsíce dopředu?

U specifických konfigurací a platforem, jako jsou systémy HGX nebo DGX, je dnes potřeba počítat s dodacími lhůtami, které mohou v krajních případech dosahovat až 24 týdnů. Konkrétní termín se přitom odvíjí od zvoleného typu akcelerátorů, síťových prvků i aktuálních výrobních alokací. Proto je vhodné plánovat s dostatečným předstihem a počítat s tím, že se dostupnost jednotlivých komponent může v průběhu času měnit.

Co ale děláte v situaci, kdy zákazník spěchá a na požadovaný hardware se u výrobců čeká několik měsíců? Máte nějaké možnosti, abyste mu potřebný výkon zajistili včas?

Dodací lhůty se snažíme zkrátit už při návrhu konfigurace – podle aktuální dostupnosti komponent a možností jednotlivých výrobců. Využíváme například program Lenovo Top Choice Express a vlastní skladové zásoby klíčových komponent, takže v některých případech dokážeme hardware dodat rychleji než při standardní výrobě na zakázku.

Pokud zákazník potřebuje začít pracovat ještě před dodáním vlastního hardwaru, můžeme mu po objednání jako dočasné řešení zajistit překlenovací výpočetní kapacitu – například v našem testovacím zázemí nebo v cloudu. Jeho tým tak může na projektu pracovat bez zbytečné prodlevy a po dodání serverů plynule přejít na vlastní on-premise infrastrukturu.

Sledujeme velkou změnu v přístupu firem k AI. Místo vývoje vlastních systémů od základu stále častěji využívají již existující modely. Jak se kvůli tomu mění požadavky na servery a celou IT infrastrukturu?

Zákazníci dnes z ekonomických i časových důvodů preferují předtrénované modely, které následně adaptují na vlastní data. Investice se proto logicky přesouvají od masivních tréninkových clusterů k systémům optimalizovaným pro inferenci.

U těchto serverů už nerozhoduje jen hrubá výpočetní síla, ale zejména kapacita a propustnost paměti, celková energetická efektivita akcelerátorů a rychlost datové vrstvy. S rozšiřováním RAG architektur navíc roste význam rychlých NVMe úložišť a síťové konektivity s nízkou latencí, které modelům umožňují okamžitý přístup k firemním datům bez zbytečných prodlev.

Co firmy při pořizování AI infrastruktury nejčastěji podcení? Stává se vám často, že zákazník přijde s jasnou představou konkrétního GPU serveru, ale vy po analýze zjistíte, že potřebuje úplně jinou architekturu?

Často narážíme na limity stávajících datových center, která historicky nebyla navržená pro dnešní nároky výkonných GPU z hlediska napájení a chlazení. Pokud je sál chlazený pouze vzduchem, mohou moderní výkonné karty narazit na limity daného prostředí. Zákazník přitom může mít představu o konkrétním hardwaru, ale při detailnějším pohledu na zázemí obvykle zjistíme, že je vhodnější zvolit energeticky úspornější variantu. Může jít například o karty v provedení Max-Q, které výrazně snižují nároky na napájení i chlazení a v běžném vzduchem chlazeném datovém sále fungují stejně spolehlivě.

V souvislosti s infrastrukturou často zmiňujete pojem „Tokens per Watt“. Jak se tento parametr reálně promítá do provozních nákladů firem a proč se o něm teď tak mluví?

Tokens per Watt v podstatě říká, kolik reálného AI výkonu dokážete získat z každého spotřebovaného wattu energie. U inference už dnes nerozhoduje jen maximální tabulkový výkon GPU, ale hlavně to, kolik tokenů dokáže infrastruktura zpracovat při dané spotřebě.

Čím vyšší je tento poměr, tím nižší jsou náklady nejen na samotnou elektřinu, ale také na chlazení celého sálu. Při rozsáhlejším provozu umělé inteligence se i relativně malý rozdíl v efektivitě násobí tisíci hodinami nonstop provozu, což má zásadní dopad na celkové TCO. 

Proto se dnes při návrhu nedíváme jen na cenovku a hrubou sílu akcelerátorů, ale právě na to, kolik reálné práce zákazník dostane z každého wattu a v konečném důsledku z každé investované koruny.

V M Computers se specializujete na dodávky tzv. „NVIDIA AI Factory na klíč“. Můžeš vysvětlit, jaký je vlastně rozdíl mezi klasickým datovým centrem a touhle moderní „továrnou na inteligenci“?

Klasické datové centrum je navržené jako univerzální prostředí pro široké spektrum IT služeb – od virtualizace a databází až po běžné podnikové aplikace. AI Factory je oproti tomu infrastruktura postavená od začátku pro AI workloady. Nejde jen o samotné GPU servery, ale o propojení celé architektury – výpočetního výkonu, sítě, úložišť, napájení, chlazení i softwarové vrstvy. Právě jejich správné propojení rozhoduje o efektivitě celého řešení.

Proto se tedy používá přirovnání k továrně. Vstupem jsou data a energie a výsledkem je výpočetní kapacita, která umožňuje trénovat modely nebo generovat tokeny při inferenci. U AI Factory se proto nedíváme na jednotlivé komponenty izolovaně, ale na výkon, propustnost a energetickou efektivitu celé infrastruktury.

Kdy dává firmě ekonomicky a bezpečnostně smysl mít hardware pod vlastní střechou (On-Premises) a kdy je lepší si ho raději pronajímat v cloudu?

Z pohledu bezpečnosti dává vlastní infrastruktura největší smysl tam, kde firma pracuje s citlivými daty, interním know-how nebo regulovanými informacemi. Má tak mnohem větší kontrolu nad tím, kde data zůstávají, kdo k nim má přístup a jak se s nimi pracuje.

Cloud je naopak skvělý pro experimentování, vývoj nebo situace, kdy potřebujete výkon jen nárazově. Firma tak hned nemusí investovat do vlastního hardwaru a potřebnou výpočetní kapacitu si může pronajmout podle aktuální potřeby.

Jakmile ale AI běží dlouhodobě a infrastruktura je pravidelně vytížená, začíná z ekonomického hlediska dávat větší smysl pořídit si vlastní hardware.

U stabilního provozu se počáteční investice postupně rozloží a celkové náklady mohou být výrazně nižší než při dlouhodobém využívání cloudu.

V praxi proto často dává nejlepší smysl kombinace obou přístupů. Citlivá data a klíčové firemní procesy běží pod vlastní střechou, zatímco cloud slouží pro experimenty, špičky nebo situace, kdy je potřeba rychle získat další výkon.

Pokud chce firma v nejbližších měsících začít budovat vlastní AI infrastrukturu, co je z tvého pohledu klíčem k úspěchu? Na co si dát při plánování největší pozor, aby celé řešení nezastaralo s příchodem příští generace hardwaru?

Nejdůležitější je podrobná analýza toho, jak přesně chcete AI využívat – jestli jde o inferenci, fine-tuning, nebo plný trénink. Při konfiguraci doporučujeme volit nejnovější modulární architekturu, aby bylo možné s příchodem nové generace pouze vyměnit či doplnit akcelerátory a nestavět všechno od nuly.

Klíčové je nepodcenit související infrastrukturu: rychlou síť (InfiniBand/RoCE), propustné NVMe úložiště a hlavně dostatečnou rezervu pro napájení a chlazení racku. U novějších generací čipů je navíc potřeba počítat s rostoucími nároky na chlazení a včas zvážit i přípravu na kapalinové chlazení.

Kde se s vámi mohou firmy, které AI infrastrukturu aktuálně řeší, v nejbližší době potkat a probrat svůj projekt osobně?

První příležitostí bude konference NVIDIA GTC v Berlíně, která proběhne 20.–22. října 2026. M Computers se jí zúčastní jako Silver partner a na našem stánku se budete moci potkat i s dalšími kolegy z obchodního a technického týmu. Rádi s vámi probereme konkrétní projekty, zkušenosti s implementací NVIDIA technologií i možnosti jejich využití v praxi.

Rád bych vás také pozval na 10. ročník naší konference NVIDIA AI Days, která se uskuteční 5. listopadu 2026 v Praze. Akce se zaměřuje na aktuální vývoj v oblasti AI, infrastruktury a praktického využití technologií. Bude to zároveň příležitost osobně se potkat a pobavit se o novinkách ze světa umělé inteligence.