Největší tuzemská internetová firma Seznam.cz zhruba před 10 lety udělala první krok k tomu, aby byla co nejvíce samostatnou a nezávislou na dodavatelích. U Prahy si postavila datové centrum Kokura, na které později navázala druhým objektem Nagoja v Benátkách nad Jizerou. V roce 2017 se uskutečnila další důležitá věc, když Seznam v rámci projektu Montovna rozjel první generaci svých vlastních serverů. Dnes už servery od běžných dodavatelů nenakupuje a dělá se ji sám. A plány jdou ještě dál, Seznam by rád nahradil tradiční výrobce síťových prvků. Rýsují se rovněž plány na třetí datacentrum a finišuje se fotovoltaika. A dojde na přechod z AMD a Intelu na ARM?
Seznam má aktuálně v chodu kolem tisícovky různých síťových “krabic”. Hlavními dodavateli jsou společnosti Cisco a Juniper Networks (tu se snaží koupit Hewlett Packard Enterprise a vytvořit tak konkurenci Ciscu a Huawei). Operátoři zřejmě budou větší zákazníci, přesto je Seznam na naše poměry nemalým klientem, o něhož by američtí dodavatelé mohli minimálně z velké části přijít.
Seznam je totiž s přístupem hlavně Cisca dlouhodobě nespokojený. Hardwarový manažer české internetové jedničky Miroslav Bezdička Lupě řekl, že Cisco nastavuje nevýhodné podmínky za různé úrovně podpory, je skoro nemožné si u něj koupit jen jednu věc bez upsellu dalších technologií a služeb, běžné je neprůhledné naceňování a podobně. Jde o poměrně běžný přístup velkých dodavatelů, kteří se snaží hledat marže a navýšení výsledků, kde to jen jde.
Seznam tedy plánuje, že začne kupovat takzvané white boxy – tedy síťové prvky umožňující nasadit open source systémy. Firma má konkrétně zájem o technologii SONiC neboli Software for Open Networking in the Cloud. Jde o otevřený operační systém určený do switchů postavený na Linuxu, který původně vyvinul Microsoft společně s organizací Open Compute Project. Ta sdružuje firmy jako Meta, Microsoft a další a sdílí technologie pro produkci vlastního hardwaru do datacenter. Na SONiC dohlíží The Linux Foundation. Dále se Seznam poohlíží po Aristě.
“Zatím jsme závislí na Ciscu a Juniperu. Naše síťařina je hlavně o BGP a myslíme si, že tyto dodavatele zvládneme nahradit, na popsaném řešení se dá postavit celá síť,” popsal Bezdička v hardwarové laboratoři Bastlírna v centrále Seznamu.
Aktualizace: Seznam aktuálně jedná s Ciscem o převedení všech softwarových licencí pod jednu smlouvu (Enterprise Agreement), což by mělo zjednodušit správu licencí a snížit náklady.
“Se Seznamem spolupracujeme dlouhodobě, je velmi inovativní. Sami si vyvíjejí náročné aplikace a my k tomu dodáváme síťovou infrastrukturu, která ty aplikace umožňuje velmi rychle (v řádu několika hodin) aktualizovat a zajistit jejich vysoký výkon. Datová centra Seznamu mají jednu z největších instalovaných bází přepínačů Cisco Nexus v České republice a využívají také náš software, který umožňuje z jedné konzole spravovat infrastrukturu, zajistit bezpečnost nebo předcházet úzkým hrdlům v síti dříve, než nastanou,” uvedl Martin Doležel, obchodní ředitel Cisca pro oblast commercial a channel.
Výrazné úspory
Dnes to může znít trochu divoce, podobně ambiciózně ale vypadaly snahy Seznamu přejít na výrobu vlastních serverů. Velké kolosy jako AWS, Microsoft, Google, Meta a další si běžně datacentra a hardware v nich řeší samy (servery pro většinu z nich se vyrábí i v Česku). U nás až na Seznam zatím neexistují dostatečně velké a silné podniky, které by něco takového mohly dělat, zároveň ale iniciativy jako zmiňovaný Open Compute Project umožňují přístup k řadě technologií a postupnou standardizaci. Díky tomu naskakuje i čím dál větší zakázkových a partnerských výrobců a ekosystém roste.
I proto je zvláštní sledovat, jak velcí dodavatelé hardwaru k zákazníkům jako Seznam nepřistupují strategicky a zkouší na něj obchodní taktiky, které jim projdou u těch klientů, kteří nemají na výběr, případně jim to je skoro jedno.
Servery už Seznam od běžných výrobců typu Dell, Hewlett Packard Enterprise, Super Micro a podobně nenakupuje. V provozu má 13 tisíc strojů, z toho 11 tisíc je vlastní produkce. Zbylé dva tisíce dobíhají a další už se nepořizují.
Bezdička odhadl, že se Seznam pomocí vlastní výroba serverů dostane na zhruba poloviční náklady. Není nutné platit za funkce a služby, které nejsou potřeba, nad dodávkami je kontrola, vlastní podpora je pružnější a tak dále.
Seznam na vlastních serverech staví interní cloud. Funguje jako tradiční poskytovatel těchto služeb, ovšem pouze dovnitř firmy, jinak si ale jednotlivé týmy kupují instance a spol. Běží to nad OpenStackem a další otevřenou softwarovou skládačkou.
OCP 3.0
V Bastlírně aktuálně dokončují pátou generaci serverů Montovna. O tom už jsme na Lupě informovali v bleskovce, nyní přinášíme galerii a pár detailů navíc. Vývoj jedné takové generace trvá zhruba rok.
Seznam bude mít dvě verze těchto serverů. Do jedné bude dodávat základní desky ASRock, do druhé Gigabyte. Je to kvůli diverzifikaci. Hlavní rozdíly budou dva – každá z desek pojme jinak velký objem RAM a lišit se bude také konektor, pomocí něhož Seznam do desek připojuje jím navrženou desku osazenou šesti NVMe disky (její osazování probíhá v TTC, případně to řeší přímo dodavatel základní desky).
Gigabyte má konektor proprietární. U ASRocku už se nicméně ukazuje jedna z výhod Open Compute Projectu. Deska využívá konektor OCP 3.0, který se také používá pro připojení síťových karet (25G NIC). Obě desky, které Seznam nasazuje, přes OCP 3.0 připojují síťové karty od Intelu. A zatím pouze ASRock používá OCP 3.0 na připojení desky s disky. OCP 3.0 je pěkně rozebráno zde.
Jak vypadá pátá generace serverů Seznam Montovna:
Do Seznamem navržených rozšiřujících desek připojovaných k motherboardu lze osadit až šest NVMe disků skrze PCIe 5.0 (používá se Micron). Další dva takto rychlé disky jsou přímo na základní desce. Všechny linky jsou vedeny do procesoru, není zde tedy úzké hrdlo.
Seznam v páté generaci serverů nasadí procesory AMD Epyc 8534P (64 jader a 128 vláken). Firma už opustila Intel, který se špatně chladí a obecně má horší parametry. Seznam testoval desku s Intelem, kde se dostal na spotřebu 350 wattů, zatímco AMD bylo o desítky procent níže. Zároveň AMD Epyc vůči Intelu vychází na asi 75 procent ceny Intelu v přepočtu na jednotku výpočetního výkonu (cena celého serveru).
Seznam do jedné serverové skříně umisťuje 72 vlastních serverů při celkové spotřebě zhruba 10 kW. Nároky na chlazení postupně rostou.
Kladivem na RAMky
Seznam mimochodem ohledně disků plánuje možné změny a zlepšováky. Cloudové instance aktuálně dokáží k NVMe diskům přistupovat fyzicky, a to skrze PCI passthrough v rámci OpenStacku. Uživatelé tak mají alokovány vlastní fyzické disky. Výhodou je velká rychlost, nevýhodou menší flexibilita nebo slabý monitoring. Seznam zvažuje nasazení dvou 15TB E3 disků na server, které by šly rozdělit.
Při pohledu na různé generace serverů Montovna je jasně viditelný pokrok. Zatímco dříve bylo v šasi vidět poměrně dost kabelů, dnes jich tam moc není. Je to i díky tomu, že výrobci desek jako ASRock nebo Gigabyte od určitých objemů (dejme tomu tisíc desek a více) umí dělat úpravy na míru. Seznam si například nechal na základní desku udělat napájecí konektor, aby do vlastní desky s disky mohl vést pouze linky PCIe a vše tak zjednodušil.
“Teoreticky je možné si také nechat udělat kompletně vlastní základní desky. Do toho se nám ale nechce, museli bychom řešit custom BIOS a tak dále,” popsal Bezdička.
Montáž serverů Montovna má na starost tříčlenný tým sídlící v datacentru Kokura. Díky tomu, že konstrukce byla postupně zlepšena, je to poměrně rychlá práce. Minimálně stejně více času zabere práce se skladem, evidence toho, kam se dala jaká RAMka a CPU, načítání sériových čísel a podobně. Technici rovněž přišli se zlepšováky. Když mají denně osadit hromadu modulů RAM, ze zaklapávání hodně bolí prsty. Proto umí několik modulů zaklapnout kladivem. Prý bezpečně, takže asi dobrý skill.
Třetí datacentrum, ARM a fotovoltaika
Seznam má v chodu další projekty. V datacentru Nagoja v Benátkách nad Jizerou dokončuje instalaci fotovoltaiky, výkon ve špičce má být až 1 MW.
Firma zároveň pomalu pracuje na třetím vlastním datacentru. Díky tomu by se během jednotek let zřejmě mohla odstěhovat z O2, kde stále provozuje třetí lokalitu. “Příprava papírů trvá zhruba rok, stavba také. Takže někdy příští rok bychom mohli mít vyzkoumané, jak to bude,” naznačil Bezdička.
V Bastlírně se zároveň chystají v serverech testovat procesory na architektuře ARM. Půjde o modely od společnosti Ampere Computing (tu nyní za 6,5 miliard dolarů kupuje SoftBank, který již vlastní ARM). Hlavní výhodou má být 192 jader, ovšem bez multithreadingu. Kompatibilita se softwarem by neměla být problém, Ubuntu a další nástroje, které Seznam používá, jsou na ARM připraveny. Servery s Ampere u nás nasadil Wedos, jemuž náklady na provoz klesly o desítky procent.
- Chcete mít Lupu bez bannerů?
- Chcete dostávat speciální týdenní newsletter o zákulisí českého internetu?
- Chcete mít k dispozici strojové přepisy podcastů?
- Chcete získat slevu 1 000 Kč na jednu z našich konferencí?
Staňte se naším podporovatelem
