Někdo - jako třeba já - naopak nechce, aby mu roboti (i přes zákazy) neustále celou sobotu a neděli zbytečně zatěžovali server.
Dá se říci, že občas dosahuji i částečného úspěchu. Prokazatelně ale se chování robotů řídí podstatným způsobem také obsahem http-hlaviček, o čemž jsem zde zmínku žádnou nenašel.
Proto se nemohu ubránit dojmu, že všechny uváděné poznatky jsou značně spekulativní a plynou jen z toho, co mohli autor i diskutující "vyzkoumat s pomocí MSIE".
Vlákno názorů k článku
Kódujeme stránku – Letní škola SEO
krtek (neregistrovaný)
10. 8. 2004 15:33
Re: Opačný pohled
Ahoj souhlasim s Vami ze autor vychazi ze spekulaci.
Jinak na vylouceni robota pouzivam bud:
viz http://www.robotstxt.org/wc/meta-user.html
nebo soubor robots.txt v korenovem adrsari:
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
viz http://www.robotstxt.org/wc/norobots.html
Nesmime vsak zapomenout na to, ne vsichni roboti jsou slusni a ridi se robots.txt a meta. Pak pomuze uz jen konfigurace www serveru nebo iptables. Jak to resite vy?
Ktek
Jinak na vylouceni robota pouzivam bud:
viz http://www.robotstxt.org/wc/meta-user.html
nebo soubor robots.txt v korenovem adrsari:
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
viz http://www.robotstxt.org/wc/norobots.html
Nesmime vsak zapomenout na to, ne vsichni roboti jsou slusni a ridi se robots.txt a meta. Pak pomuze uz jen konfigurace www serveru nebo iptables. Jak to resite vy?
Ktek
krtek (neregistrovaný)
10. 8. 2004 15:38
Re: Opačný pohled
No nic snayil jsem s poslat priklad a nejde to :) asi maji v redakcnim systemu filtr :-). Skusime ho trochu obelstit:
{meta name="robots" content="noindex,nofollow"}
Nahradte si {} za <>
Krtek
{meta name="robots" content="noindex,nofollow"}
Nahradte si {} za <>
Krtek
