Vlákno názorů k článku Seznam.cz vylepšil indexovacího robota od Bredy.vyletnici.net - mimochoden http://napoveda.seznam.cz/cz/hledani-fulltext-komunikace-s-vyhledavaci-robots-txt.html Podle nápovědy už to prý podporuje. ale jmenuje se...

mimochoden
http://napoveda.seznam.cz/cz/hledani-fulltext-komunikace-s-vyhledavaci-robots-txt.html
Podle nápovědy už to prý podporuje.

ale jmenuje se to jinak. Request-Rate

Seznam jede obecně 2 req za sekundu na site. Pokud vaše stránka nezvládne takovou zátěž tak běda vašim stránkam, pokud tam někdo vleze z hromadným stahovačem (jako kdysi WebDownloader). To vám položí server?

Nevím, dle mého skromného názoru bych řekl, že každý web by měl zvladnout těch requestů aspon 20 za sekundu.

Na podpoře crawl-delay určitě už hoši pracují.

Sezname, dekujem! Ted nejenom indexujes rychleji, ale nerespektujes Crawl-Delay. Takove 2-3 requesty / sec na web, to ti nedela problem.