Vlákno názorů k článku Seznam.cz vylepšil indexovacího robota od tonda - Sezname, dekujem! Ted nejenom indexujes rychleji, ale nerespektujes...

Sezname, dekujem! Ted nejenom indexujes rychleji, ale nerespektujes Crawl-Delay. Takove 2-3 requesty / sec na web, to ti nedela problem.

Seznam jede obecně 2 req za sekundu na site. Pokud vaše stránka nezvládne takovou zátěž tak běda vašim stránkam, pokud tam někdo vleze z hromadným stahovačem (jako kdysi WebDownloader). To vám položí server?

Nevím, dle mého skromného názoru bych řekl, že každý web by měl zvladnout těch requestů aspon 20 za sekundu.

Na podpoře crawl-delay určitě už hoši pracují.

mimochoden
http://napoveda.seznam.cz/cz/hledani-fulltext-komunikace-s-vyhledavaci-robots-txt.html
Podle nápovědy už to prý podporuje.

ale jmenuje se to jinak. Request-Rate