Největší cloud světa Amazon Web Services (AWS) představil novou generaci svých serverových čipů Graviton a Trainium. První z nich je klasický procesor postaveným na ARMu, druhý slouží jako akcelerátor pro výpočty kolem umělé inteligence.
AWS s nasazováním vlastních čipů začal v roce 2018, když vydal první generaci Gravitonu postavenou na akvizici startupu Annapurna Labs. O dva roky později přišla druhá generace a v roce 2022 došlo na Graviton3. Aktuální generace označovaná jako Graviton4 prozatím v preview verzi pohání novou cloudovou instanci R8g v rámci EC2.
Výkonný ředitel AWS Adam Selipsky na konferenci re:Invent 2023 v Las Vegas uvedl, že firma už vyrobila přes dva miliony Gravitonů. Instance s těmito procesory používá přes padesát tisíc zákazníků AWS. Na těchto ARMových čipech například běží SAP HANA.
Graviton4 má přinést o třicet procent vyšší mezigenerační výkon, o padesát procent větší hustotu jader a o pětasedmdesát procent větší paměťovou propustnost. Databáze či aplikace v Javě mají běžet až o desítky procent rychleji.
Čtvrtý Graviton má až 96 jader s podporou dvanácti kanálů pamětí DDR5 (5600 MT/s) a 96 linek pro PCI Express 5.0.
ARM v serverech pomalu posiluje. Společnost Bernstein Research uvedla, že na této architektuře běží asi deset procent instalovaných serverů, přičemž asi čtyřicet procent z toho připadá na Čínu. Zbytek z velké části ovládá AWS. Do hry nově vstoupil Microsoft, který v rámci Azure bude nasazovat ARM čipy Cobalt 100 se 128 jádra Neoverse N2. Dalším významným hráčem je Ampere Altra.
Proti Nvidií, ale i s ní
Druhou polovodičovou novinkou AWS je AI akcelerátor Trainium2, který bude k dispozici během příštího roku. Ten má v rámci trénování být až o čtyřikrát rychlejší než první verze. K dispozici bude mít 96 GB paměti. Čipy budou dostupné v rámci instancí Trn2, a to po šestnácti kusech. Bude ale možné vytvořit cluster s až sto tisíci akcelerátory, a to za použití EC2 UltraClusteru.
Trainium2 se soustředí hlavně na trénování jazykových (LLM) a foundation modelů. Podle prohlášení AWS dokáže pracovat se stovkami miliard až biliony parametrů. Čip podporuje klasické frameworky jako TensorFlow nebo PyTorch.
I když se AWS snaží čím dál více nasazovat čipy vlastní produkce, nadále pokračuje ve spolupráci s polovodičovými partnery. Selipského na pódiu v Las Vegas doplnil výkonný ředitel Nvidie Jensen Huang. Společně oznámili, že v AWS nasadí takzvané “superčipy” Grace Hopper (HG200). K dispozici budou v clusteru až s dvaatřiceti kusy propojenými NVLinkem.
Grace Hopper kombinuje GPU s procesory postavenými rovněž na ARMu. “ARM je skvělý, protože ho můžeme přizpůsobit svým potřebám, navíc s dobrou energetickou úsporou,” nastínil Huang.
AWS a Nvidia dále spolupracují na superpočítači, který bude obsahovat 16 384 kusů čipů GH200s. Tato sestava má být schopná doručit výkon až 65 exaflops (FP8) pro operace kolem AI. To má výrazně snížit čas pro trénování modelů.
AWS dále rozjede instance s kartami H200, L40S a L4 a bude hostovat DGX Cloud. Huang uvedl, že v AWS už byly nasazeny dva miliony akcelerátorů od Nvidie.
