Někdo - jako třeba já - naopak nechce, aby mu roboti (i přes zákazy) neustále celou sobotu a neděli zbytečně zatěžovali server.
Dá se říci, že občas dosahuji i částečného úspěchu. Prokazatelně ale se chování robotů řídí podstatným způsobem také obsahem http-hlaviček, o čemž jsem zde zmínku žádnou nenašel.
Proto se nemohu ubránit dojmu, že všechny uváděné poznatky jsou značně spekulativní a plynou jen z toho, co mohli autor i diskutující "vyzkoumat s pomocí MSIE".
Ahoj souhlasim s Vami ze autor vychazi ze spekulaci.
Jinak na vylouceni robota pouzivam bud:
viz http://www.robotstxt.org/wc/meta-user.html
nebo soubor robots.txt v korenovem adrsari:
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
viz http://www.robotstxt.org/wc/norobots.html
Nesmime vsak zapomenout na to, ne vsichni roboti jsou slusni a ridi se robots.txt a meta. Pak pomuze uz jen konfigurace www serveru nebo iptables. Jak to resite vy?
