Lambda gridy

Gridová infrastruktura těží z možností, které jí nabízí rychlé a spolehlivé optické sítě. Pro objemné přenosy dat se využívají koncové optické cesty na úrovni vlnových délek. Spolehlivá infrastruktura musí ovšem také účinně spolupracovat s vyššími vrstvami TCP/IP.

S prosazováním nových síťových technologií a možností komunikační infrastruktury vznikají vedle tradičních datových či aplikačních gridů specifické gridy již přímo související s použitou infrastrukturou. Příkladem jsou globální lambda gridy, které jsou založeny na vysoce propustných sítích založených na přepojování optických cest, přesněji vlnových délek (lambda) na úrovni fyzické vrstvy (proto se někdy označují jako layer 1 gridy), nevyužívajících již přepojování paketů. Lambda grid je takový grid, v němž se lambda síť může naplánovat podobně jako jakékoli jiné výpočetní či úložné prostředky

Globální řešení, které využívá lambd, vzniká v rámci iniciativy Global Lambda Integrated Facility (GLIF), na jejímž výzkumu a vývoji se podílí i naše republika prostřednictvím sdružení CESNET.

Global Lambda Integrated Facility

GLIF je sice teprve v plenkách, ale již teď se jasně rýsují aplikace s extrémními přenosovými nároky, pro které bude ideálním prostředím, např. sběr dat z omezené množiny koncových míst, pro dálkové řízení experimentů a měření a zpřístupnění nákladných zařízení, pro experimenty v oblasti astronomie, životního prostředí nebo bioinformatiky. Pro propojení superpočítačových clusterů se spíše vyplatí statické (nikoli dynamické) přidělení lambd, protože pravděpodobnost jejich opětovného použití je dostatečně vysoká a počet těchto clusterů je spíše malý a clustery nejsou mobilní.

GLIF není uzavřenou elitní skupinou, ale otevřenou komunitou účastníků (institucí a národních výzkumných sítí), kteří nejsou pouhými „konzumenty“ sítě, ale jejími tvůrci. Celá infrastruktura GLIF totiž vzniká postupně, jak do ní jednotliví účastníci vkládají své optické trasy a dávají je k dispozici pro společné využití v jedné globální laboratoři.

GLIF se skládá z mnoha gigabitových optických tras („lambda“ okruhů, vlnových délek) pokrývajících Severní Ameriku, Evropu a Asii (viz obrázek). Na rozdíl od klasického Internetu GLIF může dynamicky (zatím ovšem nikoli automaticky, ale pouze manuálně) přidělit aplikacím vyhrazené optické trasy. Okruh mezi stanovenými body se předem zarezervuje a síť ho po danou dobu v dané kapacitě zaručí. Globální lambda grid mohou vědci v naplánovaných časových úsecích používat pro vývoj datově náročných aplikací, protokolů a optických sítí. Lambda grid tedy využívá tzv. světelných cest („lightpaths“), které vznikají na vyžádání propojením optických spojů a přenášejí data koncově, přes celou optickou síť.

Moderní přístup k využití optických sítí na bázi lambd spočívá v tom, že se uživatelům (zákazníkům) přidělí jejich soubor barev (vlnových délek) v infrastruktuře tvořené temnými vlákny. Optická síť je nejčastěji typu DWDM (Dense WDM), kde přesným laserovým vysíláním lze docílit skutečně „hustého“ využití vlnových délek, které jsou přitom od sebe dostatečně odděleny.

Vlnový multiplex – na rozdíl od optických technologií SDH/SONET nabízejících pouze jediný přenosový kanál na jednom vláknu – umožňuje v případě DWDM využití 16/32/64/96/256 vlnových délek (lambd) na jednom jediném optickém vlákně, každou o kapacitě 2,5 Gbit/s nebo 10 Gbit/s, v případě levnějšího CWDM pak 8/16 lambd na vlákno s maximální kapacitou 1,5 Gbit/s na vlnovou délku. Při pohledu na tyto již tak dost úžasné hodnoty stojí za zmínku, že ve výzkumných optických sítích se zkouší již 1000 kanálů na jedno vlákno, s kapacitou až 160 Gbit/s na k­anál.

Zpět ke GLIF a našim možnostem. Lambda připojení z Prahy do Amsterdamu na GLIF nabízí kapacitu 10 Gbit/s do nizozemské experimentální sítě NetherLight a dále se napojuje transatlantickou cestou na obdobnou americkou síť TransLight/Star­Light. Připojení se realizuje z experimentální sítě CzechLight (paralelní vůči CESNET2), protože není možné pro experimenty v takovém rozsahu používat provozní síť, kterou běžně využívají připojené organizace, od výzkumných ústavů až po nemocnice a školy. Experimenty (aplikace i změny topologie či nasazování nových technologií) totiž mohou nejen narušit chod jiných aplikací, ale mohou vést i k výpadku sítě, a to si samozřejmě moderní přenosová síť nemůže dovolit.

GLIF se vehementně brání označení síť – jedná se totiž výhradně o prostředek a prostředí („facility“). Nemá také nijak konkurovat službám poskytovaným sítěmi jako GÉANT2, která jakožto hybridní síť poskytuje vedle tradičních IP služeb také lambda služby, ale bude zaměřena na pokročilejší aplikace a experimenty v globálním měřítku. Např. díky připojení na GLIF se na experimentech na dokončovaném urychlovači Large Hadron Collider (LHC) ve švýcarském středisku CERN (viz též článek Grid computing ve firemním prostředí) může podílet také Fyzikální ústav AV ČR a jeho Regionální výpočetní centrum pro fyziku částic.

Pomalé TCP

Pokud se podíváme na vyšší vrstvy síťové architektury pro gridy, narazíme prakticky ve 100 procentech na využití architektury TCP/IP. Jakkoli efektivní tyto protokoly jsou v Internetu, ne vždy vyhovují gridovým aplikacím. IETF zabývající se specifikacemi internetových protokolů se sice konkrétně gridy nezabývá, ale řada aktivit se gridů více či méně týká, stejně jako se jich týká většina síťových záležitostí a inovací.

Z přenosového hlediska je nejzajímavější oblastí rychlé TCP (viz např. RFC 3649 High-speed TCP for large congestion windows). Problematika související s překvapivě nedostatečnou rychlostí TCP na jinak velice rychlých síťových spojích přesahuje rámec tohoto článku, ale naštěstí mohu zvídavým čtenářům vřele doporučit velice podrobný článek „Gigabit TCP“ od Geoffa Hustona v červnovém Internet Protocol Journal (včetně rychlostních rekordů s TCP a porovnání jeho navrhovaných změn v podobě paralelního TCP, rychlého TCP či FAST). Kompletní přehled variant transportních protokolů podává dokument A survey of transport protocols other than „standard TCP“ [PDF, 593 KB]. Do kategorie vylepšení mechanizmů TCP (a dokonce IP) patří také právě schvalovaný experimentální protokol Quick-Start for TCP and IP [TXT].

Za všechno u TCP totiž mohou zabudované mechanizmy zátěžového okna („congestion window“), pomalého startu a vyhýbání se přetížení (jinými slovy okamžitá nekompromisní reakce na ztrátu paketu). Má to tu vadu, že při každé ztrátě paketu se tato ztráta přičítá výhradně zahlcení sítě a odpovídá se na ni nejen opakovaným přenosem ztraceného segmentu, ale především zpomalením vysílání o polovinu. Umíte si jistě představit, jak prudce se změní propustnost na multigigabitové optické síti v takovém případě.

Pokud by se rychle situace napravila a dosáhlo se během krátké doby optimální propustnosti při přenášení daného objemného toku, nebyla by situace až tak nežádoucí. Jenže TCP je opatrný transportní protokol a jen velice pomalu zvyšuje velikost okna (objem dat vyslaných před čekáním na potvrzení jejich přijetí), doslova po milimetrech (tedy přesněji bytech).

A neštěstí je hotovo, protože návrat do ideální plné propustnosti – po nedoručení jednoho jediného paketu – není v řádu milisekund ani sekund, ale trvá ne méně než půl hodinu (příklad z výše zmiňovaného článku se týká dostatečně rozlehlé sítě s dobou odezvy RTT o hodnotě 70 ms)! Po celou tuto dobu není pro standardní TCP možné plně využít na maximum byť dostupné a volné kapacity gigabitových sítí. V průměru tedy nelze dosáhnout ani na desetigigabitovém spoji rychlost vyšší než 7,5 Gbit/s (bez jakýchkoli dalších omezení např. u bufferů přepínačů). Nejen propustnost sítě tedy hraje roli, protože chybovost a ztráty paketů – výrazněji než by se na první pohled mohlo zdát – přispívají k neefektivnímu využití šířky pásma (zejména tam, zde se přenáší velké objemy dat přes velmi rychlé sítě). Spolehlivost především.

A spolehlivá použitá optická infrastruktura gridových sítí opravdu je, zejména v případě vyhrazených optických okruhů. Proto si na transportní vrstvě lze dovolit použít nikoli TCP zajišťující spolehlivý přenos dat, ale vystačí se mnohdy s UDP. Ten se ve svém standardním režimu o doručení dat nestará, ale v případě optických (gridových) sítí je v podstatě rovnocenný TCP. V případech, kdy je potřeba zajistit doručení všech odeslaných datagramů, lze použít UDP s rozšířením detekce ztráty datagramu (RBUDP, Reliable Blast UDP; UDT, UDP-based Data Transfer; nebo Tsunami). Odměnou je vysoká propustnost sítě, protože jakákoli ztráta dat nezpůsobí zpomalení přenášených toků dat podobně jako u spolehlivého TCP.

Optické sítě nejen čistě přenosovým prostředkem

Páteřní síť není jedinou problematikou gridových sítí, protože je potřeba nový software a middleware na poskytování přenosu dat v rámci rychlých sítí. Jednou ze zajímavých oblastí vývoje je tzv. OptIPuter (Optical networking, Internet Protocol, Computer Storage), který právě poskytuje middleware a další potřebný software pro využití možností síťového hardware tak, aby byly plně k dispozici gridovým aplikacím.

Gridy založené na optických sítích umožňují rovněž vytvoření tzv. virtuálních datových skladů („data mart“), v nichž vzdálená a distribuovaná data zůstávají na místě, ale integrovaná data jsou k dispozici na vyžádání.

Výzkum a vývoj v oblasti gridových sítí a optické infrastruktury (včetně optických přepínačů) postupuje velmi rychle kupředu, a to i díky řadě projektů částečně podporovaných z národních či evropských fondů. Jedním z nejnovějších slibných projektů je právě spouštěný PHOSPHORUS [PDF, 785 KB] (dříve LUCIFER, Lambda User Controlled Infrastructure For European Research, ale jméno změnilo podobu na řeckou variantu slova, které v mnohých mohlo vyvolat nepříjemné konotace). Zaměřuje se na problematiku poskytování koncových síťových služeb na vyžádání přes vícero domén.

UX16

Aplikace by měly mít přehled o veškerých zdrojích v rámci gridového prostředí, včetně sítí, a měly by být schopny je dynamicky (optimálně) využívat. CESNET2 bude vedle dvou dalších národních výzkumných sítí Pioneer a SurfNet tvořit v návaznosti na GÉANT2 a GLIF zkušební globální síť pro tyto výzkumné účely.

Další zdroje:

Travostino Franco, Mambretti Joe, Karmous-Edwards Gigi (editors): Grid Networks (Enabling grids with advanced communications technology), John Wiley & Sons, 2006 (ISBN 0–470–01748–1)

Anketa

Zajímáte se o rozvoj:

2 názory Vstoupit do diskuse
poslední názor přidán 5. 11. 2006 23:19
Zasílat nově přidané názory e-mailem

Školení: Obsahová strategie a content marketing

  •  
    Proč je obsahový marketing výrazným trendem.
  • Jak navrhnout užitečnou obsahovou strategii.
  • Jak zlepšit workflow a výsledky copywritingu.

Detailní informace o školení content strategy »