Poznaň je jedno z největších a ekonomicky nejúspěšnějších měst v Polsku. Jde o důležité obchodní centrum na trase mezi Varšavou a Berlínem, kde mají centrály firmy jako e-commerce obr Allegro nebo Żabka, v Polsku všudypřítomná síť obchodů s řadou samoobslužných prodejen.
Co se dozvíte v článku
Do Poznaně se dá pohodlně dostat z Prahy přímým vlakem Baltic Express, který zastavuje i ve Vratislavi a jede až do Gdaňsku. Byť se to z ještě ne plně zrekonstruovaného hlavního nádraží nemusí zdát, Poznaň je jedním ze symbolů rychle rostoucích sousedů, město prošlo modernizací a pokračuje v něm výstavba. Do té spadá i komplex datových center, kde odstartovala první takzvaná AI továrna v našem regionu, a to se silnou českou stopou.
Na okraji Poznaně se nachází poměrně rozsáhlé sídliště tak trochu připomínající pražské Jižní město. U této zástavby je alokován prostor pro soustavu datových center provozovaný lokální společností Beyond.pl. Ta má pro napájení celého areálu nasmlouvanou kapacitu až 150 MW, přičemž pro IT techniku má být k dispozici až 120 MW.
Celé to působí dost ambiciózně. Objekt v Poznani je zřejmě nejlépe zabezpečené a hlídané komerční datacentrum v regionu. Objekt stráží muži v maskáčích a téměř nikde mi nebylo dovoleno fotit. Do prostor datacentra jsem si nemohl vzít mobil ani žádnou jinou elektroniku. Jedním z důvodů je fakt, že zde výpočty provádí i polská vláda. Napájení, chlazení a datové cesty jsou zdvojené. Obří dieselový generátor má v případě výpadku elektřiny k dispozici nádrž s 25 tisíci litry nafty. Beyond drží různé vysoké certifikace typu SOC 2 Type 1 a 2, ANSI/TIA-942 Rated 4, EN 50600 Class 4 nebo ISO 27001. Nabízí záruku dostupnosti (SLA) 99,999 procenta.
Suverénní AI infrastruktura proti americkým cloudůmSuverénní Evropa
Pro Beyond.pl je to kromě jiného součást marketingu a obchodního “pitche”. Výkonný ředitel firmy Wojciech Stramski se vymezuje proti americkým provozovatelům cloudů a datacenter, kteří podléhají federálním zákonům a musí vydávat data evropských zákazníků americké vládě, i když tato data leží mimo USA (giganti proto v Evropě staví suverénní cloudy). Stramski razí tezi, že si náš region musí budovat vlastní infrastrukturu a kapacity včetně AI, aby zůstal konkurenceschopný v geopolitické agendě.
“Dění na geopolitické scéně se pořád zhoršuje. Trump sice bude za tři roky pryč, ale pořád je to risk, který musíme brát vážně. Situace nám vlastně vyhovuje,” popsal Stramski během návštěvy. Doplnil, že američtí hyperscalers mají kreativní cesty, jak dostat data zákazníků pryč do USA – terorismus, korupce a tak dále. Také trénování AI modelů na datech z Evropy se děje v USA.
Beyond.pl investuje v Polsku a dává do toho domácí kapitál. Za firmou stojí silná polská skupina Kulczyk Investments, která investuje do řady průmyslových oblastí či nemovitostí. Její zakladatel Jan Kulczyk byl do své smrti v roce 2015 nejbohatším Polákem. Teď podnik vede jeho syn Sebastian Kulczyk. Skupina si před pár lety vyhodnotila, že AI bude důležitou součástí infrastruktury, takže se rozhodla uvolnit prostředky.
Beyond.pl operuje už zhruba 20 let, doposud hlavně v tradičním hostingu, má přes 500 zákazníků. V AI chce hrát regionální velkou rybu. Právě Beyond.pl je hlavním konkurentem České republiky ve vybudování jedné z pěti evropských AI gigafactory za desítky miliard korun. Za nás je ve hře připravované datacentrum Českých Radiokomunikací na Zbraslavi, Poláci se vytasili s Beyond.pl. Na úrovni vlád a obou firem nyní probíhají debaty, zda se na AI gigafactory nepodílet společně a nerozdělit jí na dvě lokality spojené optikou (odezva mezi Prahou a Poznaní je sedm milisekund oboustranně, Beyond je také v NIXu a Peering.cz).
První Nvidia SuperPOD v Polsku s českou pomocí
V areálu Beyondu jsou prozatím k dispozici dvě datacentra. To první slouží pro tradiční hostingové a housingové služby, čemuž odpovídá i kapacita 1,8 MW a možnost do jednoho serverového rozvaděče (racku) dostat 12 kW.
Druhé datacentrum míří výrazně výše. V současné době má alokováno 53 MW, z toho 42 MW lze využít pro IT techniku. Do jednoho racku už lze nacpat více než 140 kW. Poláci s tímto projektem chtějí zkusit štěstí v provozu infrastruktury pro takzvanou umělou inteligenci, zejména tedy výkonných grafických karet od společnosti Nvidia, která tomuto trhu vládne.
Beyond.pl jako první ve střední a východní Evropě nasadila technologii Nvidia DGX SuperPOD. Dodala jí česká společnost M Computers, která se pro SuperPODy stala jedním z hlavních partnerů Nvidie od Česka na východ Evropy. SuperPOD zapadá do modulárního konceptu Nvidie, podle něhož lze z jednotlivých GPU a serverů skládat “jeden obří čip” o velikosti celých datacenter.
Základní stavební jednotkou SuperPODu je uzel DGX B200. Ten obsahuje osm grafických karet Nvidia B200 z aktuální generace Blackwell (celkem 1 440 GB paměti HBM3E), dále server se dvěma procesory Intel Xeon Platinum 8570 (celkem 112 jader) a 2 TB RAM. Jeden takový uzel si bere až 14,3 kW. Výkon je 72 petaflops (FP8).
Polský SuperPOD obsahuje 31 těchto nodů, celkově tedy 248 grafických karet B200. Beyond.pl tuto instalaci označuje jako superpočítač F.I.N. Systém lze do budoucna škálovat a dle poptávky přidávat další nody a dostat se na tisíce GPU. Základní blok DGX B200 jsme Lupě rozebírali. Tyto boxy se do velkých clusterů připojují skrze NVLink, Quantum-2 InfiniBand (400 Gb/s) a Spectrum Ethernet. Architektura je popsána zde.
DGX B200 je zřejmě poslední generace boxů tohoto typu chlazená vzduchem, což odpovídá rozměrům. Žebrování pasivních chladičů je vysoké (galerie je tady) a box tak v racku zabere 10U. Poláci dávají do jednoho racku dva boxy DGX B200, celkově to tedy na rack dělá zhruba 30 kW. Teoreticky by bylo možné do racku dát čtyři boxy a dostat se na 60 kW, Nvidia ale ještě pro tyto účely necertifikovala systém chlazení v zadní části rozvaděče (rear door exchanger), takže se od toho zatím upustilo.
SuperPODy se kombinují s externím úložištěm. V Beyondu zvolili systém FlashBlade//S500 od Pure Storage, který se mimo jiné vyvíjí v početném vývojovém centru v Praze a vyrábí ve Foxconnu v Kutné Hoře. V Polsku nyní mají k dispozici 3,5 PB s možnou expanzí na 30 PB. Rychlost čtení je 131 GB/s a rychlost zápisu 48 GB/s.
Jak se vytápí město
Servery a grafické karty produkují a při zvyšování kapacity budou produkovat velké množství odpadního tepla. V Beyondu počítají s tím, že by mohli takto produkovat až 60 MW. Datacentrum je napojené na centrální systém Poznaně, takže se začíná podílet na vytápění. Voda z datacentra se o teplotě asi 40 stupňů Celsia posílá pro další ohřev a následnou distribuci. V zimě se datacentrum může podílet až na 15 procentech potřeb metropole, v teplých obdobích to má být výrazně více. Datacentrum má studené a teplé uličky a v zimě využívá free cooling.
Podle zástupců Beyondu tento mechanismus umožňuje cenově konkurovat dobrým chladícím podmínkám v severských zemích. Zároveň odpadní teplo přispívá obyvatelům města, takže projekt má politickou podporu.
Komerční datacentrum má mít také další obecné přínosy. Při stavbě datacenter se často mluví hlavně o tom, že zaberou půdu, odčerpají elektřinu, zahřejí okolí, zaměstnají pár techniků a to je vše. Beyond už zaměstnává 116 lidí, z toho 14 nově dedikovaných čistě na AI. Datacentra jsou zároveň napojena na Poznan Supercomputing and Networking Center, obdobu našeho IT4Innovations v Ostravě. Toto centrum provozuje superpočítače a kvantový stroj. Pomocí spojení vzniká ekosystém přenosu znalostí, výchovy talentů, spin-offů a podobně, což do města láká vzdělanou pracovní sílu.
Velká část karet umře
Beyond.pl na svém superpočítači nabízí běžné komerční služby s tím, že s růstem se budou přidávat další nody. Pořídit si lze GPU jako službu, AI PaaS nebo Managed Inference. Firma vedle samotného provozu SuperPODu nabízí možnost kolokace GPU, budování upravených clusterů a podobně. Využívají se technologie jako OpenShift, Slurm Workload Manager nebo Run:ai.
Poláci nekomentují, na kolik SuperPOD vyšel. Jedna DGX B200 nicméně stojí až 322 tisíc eur, tady jich je (zatím) 31 plus storage. Tyto věci nejsou levnou záležitostí. Například 72 nodů novějších modelů DGX B300 (576 karet) stojí výrazně přes miliardu korun. “Nvidia z ceníkových cen nedává slevu ani dolar,” nastínil Petr Plodík, obchodní ředitel M Computers.
Dále je nutné počítat se servisem. Podle Beyondu, nebo například Seznamu, běžně umírá 15 až 20 procent instalovaných Nvidií, takže jsou nutné časté výměny.
Bude tedy zajímavé sledovat, jak tento byznys bude finančně vycházet. Stramski tvrdí, že dokáže nabízet nižší ceny než američtí konkurenti a zároveň hraje na notu již zmíněné technologické suverenity. Nvidie ale rychle zastarávají, efektivita nových modelů je často výrazně lepší, AI ještě zdaleka nemá zavedené funkční obchodní modely a celé je to kapitálově obrovsky náročné.