Hlavní navigace

Seznam postaví druhé datacentrum. Nasadí v něm vlastní servery, v provozu jich už má tisíce

12. 5. 2021
Doba čtení: 4 minuty

Sdílet

 Autor: Jan Sedlák
V Benátkách nad Jizerou vyroste Nagoja, druhé datové centrum Seznamu. Firma rychle roste a musí pryč z Nagana, kde vzniknou byty.

Největší česká internetová firma Seznam.cz postaví své druhé datové centrum. Ponese označení Nagoja po jednom z největším měst v Japonsku. Nagoja naváže na první seznamácké datacentrum Kokura, které bylo v pražských Horních Počernicích uvedeno do provozu v roce 2015. Tentokrát se bude stavět mimo hlavní město. Seznam koupil parcelu v Benátkách nad Jizerou, kousek od exitu 27 z Prahy.

„Našli jsme tam vhodný pozemek s rozestavěnou halou, kde původně měla fungovat výroba pro automobilový průmysl. Existuje zde stále platné stavební povolení. To nám usnadní stavbu,“ popisuje pro Lupu technický ředitel Seznamu Vlastimil Pečínka. Pozemek má celkovou rozlohu 18 tisíc metrů čtverečních s tím, že budova datacentra zabere zhruba 1250 metrů čtverečních. Bude tak dostatek prostoru pro případný další růst.

Nagoja zřejmě bude stát o něco více, než kolik stála Kokura. Ta bez pozemku vyšla na zhruba 200 milionů korun. Přesně propočty Nagoji ještě Seznam nemá, aktuálně se zpracovává projekt. Na něm se spolupracuje se společností Systeming. Dosavadní partner Altron má nadále figurovat jako dodavatel u datacentra Kokura.

Seznam se pro další datový objekt se značnou investicí rozhodl z důvodu rychlého růstu potřebného výkonu a zpracovávaných dat. „Když jsme projektovali první datacentrum, podcenili jsme náš růst,“ vysvětluje Pečínka.

Roli hraje také situace v O2 a jeho žižkovském datacentru Nagano, ve kterém si Seznam dlouhodobě pronajímal prostory pro servery. Nagano do konce roku 2023 skončí, majitel (společnost Geosan Development) objekt přestaví na byty. „Do konce příštího roku tak musíme mít postaveno,“ počítá Pečínka.

Tři megawatty a vlastní servery

Nagoja dostane několik vylepšení. Jedno se týká napájení. Datacentrum má mít od začátku k dispozici 3 MW pro IT vybavení. Seznam má u ČEZu podanou žádost až na 6 MW, řeší také nezávislé optické trasy. Do Nagoji se má vejít přes 200 serverových racků, na každý vychází příkon 12 až 15 kW. Další inovací v Nagoje má být přímý freecooling pro chlazení serverů a další techniky.

Jak si Seznam sestavuje vlastní servery:

Posilovat napájení se bude rovněž v Kokuře. Ta disponuje jedním megawattem pro IT vybavení a v současné době se pracuje na zvýšení na 1,2 MW. Ve hře je její další rozšíření na 3 MW, což by se mělo řešit přístavbou.

Seznam do druhého datové centra plánuje umisťovat servery, které si firma už nějakou dobu sama vyvíjí a sestavuje. Jde o projekt Montovna, o kterém jsme na Lupě psali v roce 2017 a od té doby se rozvinul. Seznam má v současné době v produkci zhruba deset tisíc serverů. Část z nich je od tradičních dodavatelů, jako jsou Dell nebo Fujitsu, přes čtyři tisíce už je ale Made in Seznam.

Vše směřuje k tomu, že se podíl vlastních serverů bude zvyšovat. Zatímco loni Seznam uvedl do provozu dva tisíce vlastních serverů, letos chce toto číslo zdvojnásobit. V datacentru Kokura už proto operuje interní tříčlenný tým, který z jednotlivých součástek dává servery dohromady. Nejlepší pracovníci těchto serverů sestaví až šedesát za den. K těmto dedikovaným lidem se připojují i zaměstnanci dohledu datacentra. Původně to byla práce určená čistě pro dohledáře ve stylu „přivydělání si po večerech“, bylo ale potřeba navýšit kapacity.

Seznam začal provozovat interní cloudovou infrastrukturu. Ta by šla přirovnat ke cloudům Amazon Web Services nebo Azure, ovšem poskytovaným pouze pro vlastní účely. Seznam Computing Infrastructure (SCIF) je postavená na OpenStacku, Kubernetes, Cephu, Swiftu nebo Hadoopu a nabízí služby jednotlivým produktovým týmům. Ty mohou jednoduše spouštět nové instance.

Úložiště na ARMu

Aplikace Seznamu se přesouvají právě na tento SCIF cloud. Spolu s tím Seznam uskutečňuje přesun na vlastní serverový hardware, a komoditní železo od běžných výrobců tak postupně upozaďuje.

Sestavování vlastních serverů mimo jiné umožňuje dělat hardware tak, aby Seznam využíval jen to, co skutečně potřebuje. Nemusí se řešit řada technologií, které přidávají dodavatelé. Seznam také většinově opustil hardwarový RAID a využívá jeho softwarovou verzí.

Seznam si vyvíjí dva druhy serverů. Jedním z nich jsou modely postavené na tradičních procesorech x86 s tím, že se využívá jak Intel Xeon, tak AMD Epyc. V tomto případě se odebírají běžné základní desky od společností Gigabyte a AIC. Komoditní jsou rovněž paměti. Seznam v současné době dokáže čipy a paměti sehnat. „Jsme relativně malí, takže vždy někde dokážeme určité množství komponent získat. Zároveň jsme na místní podmínky dostatečně velcí, takže jsme pro dodavatele a distributory rozeznatelný partner,“ popisuje Pečínka.

Seznam si dle svého dělá šasi, šuplíky a napájení a vše na místě dává dohromady. Podařilo se tak lépe využívat racky. Do nich se dávají 12U skříně s vlastními zdroji s tím, že do každé skříně se vejde 24 šuplíků s 12V napájením.

Lupa_MIF21_vyvojapp

Druhou kategorií jsou servery postavené na architektuře ARM, kde už si Seznam navrhuje i desky a vše okolo. ARMové servery nejsou nasazovány pro tradiční výpočetní úlohy, ale slouží pro disková úložiště. V podstatě jde o objektové úložiště s ethernetovým portem a API pro práci s daty.

Storage není tolik náročná na procesorový výkon, naopak výhodou jsou menší rozměry a rychlost. Díky tomu je možné využívat ARM, konkrétně čtyřjádrový Cortex-A72 od Marvellu. Do jednoho šuplíku se vejde osm disků představujících server. Stroje s ARMem zatím neběží v Kokuře, ale v datovém centrum Osaka, což je nová lokalita, kterou si Seznam pronajímá od O2.

Autor článku

Reportér serveru Lupa.cz, dříve redaktor deníku E15, týdeníku Euro a webu Connect.cz. O technologiích píše také do zahraničních médií.