Současným vítězem byznysu s umělou inteligencí jsou kromě amerických firem typu Nvidia dvě asijské země. Jensen Huang uvedl, že bez Tchaj-wanu by žádné AI nebylo, protože se tam vyrábí jak čipy, tak servery, součástky a tak dále (těží z toho i Česko). Tamní burza vystřelila mezi největší na světě a HDP ostrova roste. A pak je zde Jižní Korea. Tamní firmy Samsung a SK Hynix jsou dva ze tří dodavatelů pamětí HBM používaných v tandemu s AI čipy. Korea vyrábí i další paměťové čipy, zároveň se snaží uchytit v samotných AI procesorech.
V naší galerii se můžete podívat na čipy a akcelerační karty od tří mladých jihokorejských startupů, detaily naleznete níže. Tyto firmy se soustředí na vývoj LPU a NPU primárně pro inferenci. Tam se otevírá poměrně dost prostoru. Trh je hladový a hledá efektivnější a levnější varianty k Nvidii, navíc bez vendor lock-inu.
Je pravděpodobné, že mix AI čipů v datových centrech v budoucnu bude rozmanitý. Dominanci jedné firmy si nikdo nepřeje. Hyperscaleři jako Amazon Web Services, Google, Microsoft nebo Meta už si navrhují vlastní čipy, přidávají se i firmy jako OpenAI. Google, jehož AI hardware jsme na Lupě nedávno ukazovali (stejně jako ty od AWS), už prodal čipy Anthropicu. Některé analýzy odhadují, že takzvané custom AI čipy (často ASIC odladěný pro konkrétní operace) do roku 2030 získají poloviční podíl globálního trhu. Dnes jsou to desítky procent.
Do hry vedle amerických hráčů (aktivní je Qualcomm) budou chtít promluvit Číňané (třeba Huawei už své Ascendy nabízí v některých zemích). Evropa to zkouší s nizozemskou společnosti Axelera AI, jejíž čipy by mohly pohánět jednu z chystaných AI gigafactory.
Korejci také nejsou bez šance, i díky tomu, že mají za zády domácí technologické kolosy – mezi první zákazníky patří například LG. Významný výrobce elektroniky a dalších technologií nasazuje AI skrze chytré televize, domácí spotřebiče a podobně, k čemuž si provozuje vlastní infrastrukturu a tvoří vlastní modely (divize LG AI Research). „Snažíme se o nezávislost. I proto vyvíjíme operační systém webOS, protože například u používání Android TV čelíte zvyšování poplatků ze strany Googlu,“ nastínil pro Lupu firemní strategii Jong Woo Hong, prezident LG pro Česko a Slovensko.
FuriosaAI
FuriosaAI je hodně viditelným zástupcem korejských dodavatelů AI čipů. Startup zatím vybral kolem 270 milionů dolarů a příští rok se chystá na burzu. V současné době má otevřené investiční kolo s objemem až půl miliardy dolarů. Mezi investory patří hlavní korejské internetové firmy jako Kakao a Naver nebo elektronický gigant LG, který je zároveň společně se Samsungem jedním z prvních velkých zákazníků. Do startupu vložil prostředky i stát, a to skrze rozvojové, průmyslové a obchodní banky.
Vlajkovou lodí Furiosy je čip označovaný jako RNGD. Jeho hlavní předností je integrovaná velice rychlá paměť SRAM. Konkrétně jde o dvě die části čipu s celkovou kapacitou 256 MB. Propustnost činí obrovských 384 TB/s.
SRAM je pojem, s nímž se budeme v AI infrastruktuře setkávat čím dál častěji. SRAM sice nabízí oproti běžné paměti malé kapacity, ale velmi vysoké rychlosti. Slouží jako mezipaměťový registr pro uchovávání aktivních váhových koeficientů AI modelů a mezivýpočtů. Díky tomu není nutné tak často přistupovat k tradičním pamětem HBM, čímž se částečně kompenzuje úzké hrdlo dnešní AI infrastruktury, tedy paměť a její rychlost.
FuriosaAI v této hře o SRAM není sama. Nvidia na přelomu roku v podstatě koupila startup Groq, který se v té době zabýval rovněž čipy s tímto druhem pamětí (dnes je to další neocloud). Nvidia technologii integrovala do nové generace svých produktů, takzvaná LPU se budou prodávat pod názvem Groq 3 LPX. Na Lupě jsme také ukázali Cerebras, největší čip na světě zabírající celý wafer. Nové racky Helios od AMD tyto čipy obsahují.
Čip FuriosaAI RNGD (5nm proces TSMC, asi 40 miliard tranzistorů) se osazuje do karet vložitelných do serverů (šestnáct linek PCIe 5.0). Jedna taková karta má spotřebu 180 wattů, 48 GB paměti HBM3 s propustností 1,5 TB/s a výkon až 512 teraflops (FP8, INT8). Do serveru se vejde až osm karet, což znamená výkon až čtyři petaflops, 384 HBM3 a přes dva GB SRAM.
Korejci začínají čipy nabízet a servery nabízet v Evropě. První instalaci dodal první kusy do datacentra Equinix LS2 v Lisabonu.
HyperAccel
Společnost HyperAccel založená v roce 2023 doposud vybrala desítky milionů dolarů od korejského státu, respektive bank, se zapojením dalších investorů jako je SoftBank. Startup má spolupráci se Samsungem, u něhož vyrábí, aktuálně 4nm procesem.
HyperAccel je dalším z rostoucího množství producentů čipů LPU zaměřených na inferenci velkých jazykových modelů. Zástupci společnosti Lupě řekli, že se odlišují hlavně tím, že nepoužívají drahé a rychlé paměti HBM, ale LPDDR5 známé spíše z mobilních telefonů a podobných zařízení.
Vlajkovou lodí HyperAccelu je v současné době čip Bertha 500. Je navržený pro pro poskytování vysoké propustnosti při nižších nákladech a spotřebě energie oproti tradičním grafickým kartám. HyperAccel se srovnává hlavně s Nvidia H100, což je takový pracovní kůň dnešních AI datacenter, kde deklaruje dvakrát vyšší propustnost, až devatenáctkrát vyšší efektivitu generování tokenů a až dvanáctkrát vyšší efektivitu spotřeby při generování tokenů.
Čip pracuje s frekvencí až 1,5 GHz a 32 jádry LPU. Standardně je dodáván jako součást karet pro PCIe 5.0 se spotřebou 250 wattů. K tomu se používá zmíněná paměť LPDDR5X (čipy od SK Hynix) o velikosti 128 GB s možností rozšíření na 256 GB. Propustnost činí 546 GB/s. Také Bertha má integrovanou rychlou SRAM o velikosti 256 MB. Výkon v FP8 je až 768 teraflops.
Rebellions
Firma Rebellions se v příštím roce chystá na burzu. Od investorů už posbírala 850 milionů dolarů. Opět zde skrze banky figuruje vláda, připojily se také korejské technologické kolosy Samsung a SK Hynix, společně s tamními operátory SK Telecom a KT Corp. Finance poslal rovněž ARM.
Hlavním produktem Rebellions je NPU čip Rebel100, což je čip složený ze čtyř čipletů. Startup ho vyrábí doma, konkrétně u Samsung pomocí 3nm procesu. Čiplety používají interní sběrnici UCIe-Advanced pro propojení, rychlost je jeden TB/s na kanál. Čiplety se chovají jako jeden monolitický čip.
Také Rebel100 se umisťuje na celé akcelerační karty připojované přes PCIe 5.0. Výpočetní výkon při FP8 je až 2 048 teraflops, při FP16 to dělá 1 024 teraflops. Čip pracuje s externí pamětí HBM3E od SK Hynix, jde o 144 GB při propustnosti až 4,9 TB/s. Spotřeba může dosáhnout až na 600 wattů. Do jednoho serveru se vejde až osm těchto karet.
Rebellions dělají i celé servery a racky. Do jednoho rozvaděče se vlezou čtyři 5U servery (verze s NPU, nikoliv pro management systému), celkem 32 akceleračních karet. To celkově dělá 4,61 HBM3E na rack s příkonem 28 kW a výkonem 64 petaflops při FP8. Racky pak lze skládat do celých podů, například verze s 256 nody obsahuje 64 NPU racků.
- Chcete mít Lupu bez bannerů?
- Chcete dostávat speciální týdenní newsletter o zákulisí českého internetu?
- Chcete mít k dispozici strojové přepisy podcastů?
- Chcete získat slevu 1 000 Kč na jednu z našich konferencí?
Staňte se naším podporovatelem
ČLÁNKY DO MAILU