Vlákno názorů k článku
Výpadek TTC ochromil 200 tisíc e-mailových schránek Seznamu

Jan Forman (neregistrovaný)

11. 7. 2006 9:49 Nový

Seznam vždycky tam najdu co neznám

No je to trošku zvláštní, že jim to takhle umřelo. Upřímně řečeno si myslím že to asi moc nezvládli. Seznam používá FreeBSD a Debian pak hodně MySQL databázi. Otázkou je jakou verzi. Starší verze byli dost háklivé na výpadky (to ani souborový systém s žurnálem nezachrání - jaká databáze není háklivá na výpadek energie :) neznám). Chyba byla asi v tom že nedošlo k řízenému shutdownu na serverech.
Jenom se musím pochlubit že mám také server v TTC a ten vydržel, jeho uptime je stále nezměněn. Takže někdo umí a někdo ne.

Ale nezávidím to těm deseti technikům to asi muselo bejt hodně ošklivý. Tlak ze všech stran ať to funguje.
Každé kolečko se nakonec poláme i kdyby bylo sebelepší.
A že by to seznam nepřežil :) toho bych se nebál i kdyby
to nefungovalo dva, tři dni tak se stejně nic nezmění.

Odpovědět

Další nový názor

uživatel si přál zůstat v anonymitě

11. 7. 2006 10:53 Nový

Re: Seznam vždycky tam najdu co neznám

U MySQL to není vůbec o verzi. MySQl by v takto rozsáhlých řešeních použil jen sebevrah.

Ps. No vidíte jak jste šikovný. A to máte jen o 449 serverů méně než Seznam a jak to hezky zvládáte :)

Odpovědět

Další nový názor

Jan Forman (neregistrovaný)

11. 7. 2006 12:26 Nový

Re: Seznam vždycky tam najdu co neznám

GOOGLE je sebevrah? To si nemyslim a ani nepouzivaji diskova pole pouze 2x IDE disk a rekl bych ze jim to celkem funguje :)

Odpovědět

Další nový názor

uživatel si přál zůstat v anonymitě

11. 7. 2006 12:30 Nový

Re: Seznam vždycky tam najdu co neznám

A na co tam takovou konnfiguraci používají? Kde k tomu najít další informace?

Odpovědět

Další nový názor

Jan Forman (neregistrovaný)

11. 7. 2006 12:47 Nový

Re: Seznam vždycky tam najdu co neznám

No na všechno :)
2x IDE disky se používají v té jejich server farmě na vyhledávání prostě www.google.com search jede na IDE diskách
cca 12 datacenter spojených 10Gbit linkama rozsypaných po světě
No je tam dost šílenej systém replikace dat, kterej sem nepochopil. Pokud někdo ví sem jedno ucho, ale ta matematika je pro mě asi nezvladatelná :)

Příjde vám google amatérské? Všechno není jenom o HW

MySQL(InnoBase) používají asi na nějaké ty doprovodné služby (podrobněji to nevím jenom vím že je uváděné jako používaný software)
Vyhledávat v MySQL samozřejmě nejde... ale to ani v ORACLE, ten je totiž ještě pomalejší.

Odpovědět

Další nový názor

uživatel si přál zůstat v anonymitě

11. 7. 2006 13:52 Nový

Re: Seznam vždycky tam najdu co neznám

Takže to používají na data, která mohou snadno nahradit :-). Když jeden počítač umře, mají dalších deset. Když umře všech deset tak to znova naindexují z Internetu. To je trochu jiná situace.

Odpovědět

Další nový názor

Jan Forman (neregistrovaný)

11. 7. 2006 14:55 Nový

Re: Seznam vždycky tam najdu co neznám

Mají to strašně složitý :(
Google je v podstatě takovej skynet :)
Je to nová filosofie úplně odlišná od všech ostatních
V jejich případě nezáleží na hardware, ale na síle myšlenky,
kterou museli velmi dobře zaplatit.

Úplně unikátní je sítový souborový systém, který se replikuje mezi všechny servery v síti (proto ty 10Gbit spojení)
Výsledky vyhledávání se skládají z fragmentů dat uložených v datacentru tedy cca 10000 serverů.
Když je v tom integrován gmail tak to musí být asi hodně složitý a žádné informace se neztrácejí

Odpovědět

Další nový názor

Pavel Janoušek

11. 7. 2006 17:22 Nový

Re: Seznam vždycky tam najdu co neznám

Muzete mi rici jake diskove pole je pripojeno ke kazdemu serveru? Kdyz je ten FS replikovan mezi vsechny servery?-) Co takhle si to nejprve nastudovat... Google na to ma ofic. technicky dokument, ktery je verejne pristupny.

Odpovědět

Další nový názor

Jan Forman (neregistrovaný)

11. 7. 2006 18:19 Nový

Re: Seznam vždycky tam najdu co neznám

Všude jsou uváděny IDE disky v softwarovém RAID-1 takže o diskovém poli nic netuším (k čemu bude?)

Odpovědět

Další nový názor

Pavel Janoušek

12. 7. 2006 8:38 Nový

Re: Seznam vždycky tam najdu co neznám

Nebyl jsem ten, co tvrdil, ze vsechny servery maji kompleni replikaci dat...:-r

Odpovědět

Další nový názor

aura:100

Libor Nováček

13. 7. 2006 18:32 Nový

Re: Seznam vždycky tam najdu co neznám

Trochu je to shrnuto zde http://en.wikipedia.org/wiki/Google_platform, pokud o to máte opravdu hlubší zájem a nechcete to jen takto povrchně, projděte si odkazované články nebo si zkuste takové články najít, je jich na webu docela dost a v každém se dozvíte o pár zajímavých informací více. Vždy to ale bude stav techniky, který měl Google před nějakou dobou, protože datacentra rostou jako houby po dešti a přeci jen - Google rád mluví a je rád vidět v médiích, ale to podstatné si pečlivě střeží. Neskutečná je třeba i ta vypilovanost uložení těch mnoha tun HW , např. má Google dokonce patent na takové jednoduché uložení/vedení ethernet kabelů, aby nepřekážely a přepojení/výměna zabrala co nejméně času [US pat. 6,870,095], zkrátka přemýšlí se tam na každém kroku o hodně víc než ve firmách, které jen tupě kopírují.

Odpovědět

Další nový názor

Michal Kára (neregistrovaný)

11. 7. 2006 12:47 Nový

Re: Seznam vždycky tam najdu co neznám

Nojo, holt jsou to lamy, na Seznam nemaji, ten pouziva profesionalni reseni :-)))

Odpovědět

Další nový názor

uživatel si přál zůstat v anonymitě

11. 7. 2006 13:57 Nový

Re: Seznam vždycky tam najdu co neznám

Fulltext je něco dost jiného než email, že? ;-)

Odpovědět

Další nový názor

Michal Kára (neregistrovaný)

11. 7. 2006 14:10 Nový

Re: Seznam vždycky tam najdu co neznám

Stejne reseni se pouziva i na GMail.

Odpovědět

Další nový názor

uživatel si přál zůstat v anonymitě

11. 7. 2006 22:48 Nový

Re: Seznam vždycky tam najdu co neznám

Kde se o tom píše? Máte nějaký odkaz?

Odpovědět

Další nový názor

Michal Kára (neregistrovaný)

11. 7. 2006 23:35 Nový

Re: Seznam vždycky tam najdu co neznám

http://labs.google.com/papers/gfs.html

Odpovědět

Další nový názor

uživatel si přál zůstat v anonymitě

12. 7. 2006 0:02 Nový

Re: Seznam vždycky tam najdu co neznám

Tak a teď si srovnejmě kolik lidí pracuje na GFS a kolik na aplikaci Centra a popřemýšlejte o tom jak by vadalo srovnání rizik, které podstupuje Google a která Centrum.

Odpovědět

Další nový názor

Michal Kára (neregistrovaný)

12. 7. 2006 8:08 Nový

Re: Seznam vždycky tam najdu co neznám

Nevim, proc s tim srovnavate aplikaci Centra, ta je o mnoho jednodussi, nez GFS - odpovida moznostem Centra.

Odpovědět

Další nový názor

Michal Kára (neregistrovaný)

12. 7. 2006 8:11 Nový

Re: Seznam vždycky tam najdu co neznám

A jeste jedna dulezita vec: Stejne nad temi daty musi byt nejaka aplikace, ktera je spravuje (viz moje odpoved vyse), takze pouzitim diskoveho pole se tem rizikum nevyhnete.

Odpovědět

Další nový názor

mormegil

11. 7. 2006 16:31 Nový

Re: Seznam vždycky tam najdu co neznám

> U MySQL to není vůbec o verzi. MySQl by v takto rozsáhlých řešeních použil jen sebevrah.

Jako třeba Wikipedie se svými pár tisíci požadavky za sekundu? ;-)

Odpovědět

Další nový názor

uživatel si přál zůstat v anonymitě

11. 7. 2006 16:44 Nový

Re: Seznam vždycky tam najdu co neznám

To jsou požadavky prakticky pouze na čtení. To přeci nemůžete srovnávat.

Odpovědět

Další nový názor

Pavel Janoušek

11. 7. 2006 17:23 Nový

Re: Seznam vždycky tam najdu co neznám

Par tisic konkurentnich modifikacnich operaci nebo pouze read-only? Mozna byste se divil, jak rychle dochazi MySQL dech pri opravdove praci nad SQL bazi...

Odpovědět

Další nový názor

Jan Forman (neregistrovaný)

11. 7. 2006 18:51 Nový

Re: Seznam vždycky tam najdu co neznám

Myslím že je škoda se dohadovat o tom jestli MySQL je horší než nějaké jiné komerční produkty. Sám mám 1TB dat v MySQL a 30GB v ORACLE a rychlejší se jeví MySQL. Dokonce jsem zažil jak chybně zvolený dotaz úplně zmrazí ORACLE (CPU 100%) odezva ostatních tablespace otřesná. MySQL bezproblémů odbaví dotaz v jiné databázi (zátěž CPU cca 80%)
Místo standardní 0.001s to ale trvalo obrovských 0.7s
Oracle nicméně odpovídal v řádu mnoha sekund
Všechno je relativní...

Odpovědět

Další nový názor

uživatel si přál zůstat v anonymitě

11. 7. 2006 21:54 Nový

Re: Seznam vždycky tam najdu co neznám

No a ja mam uplne opacne zkusenosti. Trochu slozitejsi dotaz, nedejboze subselect a mysql je otresne pomale.

Odpovědět

Další nový názor

HK Maly

12. 7. 2006 8:22 Nový

Re: Seznam vždycky tam najdu co neznám

A mate oba stejnou verzi ? Typicky subselecty budou IMHO dost zaviset na verzi MySQL, protoze MySQL se jeste porad vyviji.

Odpovědět

Další nový názor

J (neregistrovaný)

12. 7. 2006 12:28 Nový

Re: Seznam vždycky tam najdu co neznám

Pokud vim, subselecty jsou pouzitelne az v 5.x verzi a ta je jeste v hodne bourlive se vyvyjejicim stadiu.

Odpovědět

Další nový názor

Jan Forman (neregistrovaný)

12. 7. 2006 22:55 Nový

Re: Seznam vždycky tam najdu co neznám

No je pravda že používám verzi 5, ještě na okraj MySQL běží na kuse šrotu (P4 2.4GHz, IDE disk)
ORACLE má HP Proliant Xeon s 10k disky 1.5TB RAID5
Takže ani nesrovnávám rovnocenný hardware na tu workstajšnu bych se ORACLE bál spustit :)
Každopádně v něčem je rychlejší ORACLE v něčem MySQL
ORACLE se vyznačuje tím že je v něm ukrutnej bordel (jak starej hrad v karpatech) spousta věcí postrádá logiku
Přenositelnost mezi jednotlivými verzemi je bídná (fungovalo vám to v 9i? v 10g nebude :)
Nezkoušel někdo IBM DB2? Vypadá mnohem lépe, alespoň na můj první subjektivní dojem

Odpovědět

Zasílat nově přidané příspěvky e-mailem