Vlákno názorů k článku Kódujeme stránku – Letní škola SEO od krtek - No nic snayil jsem s poslat priklad a...

No nic snayil jsem s poslat priklad a nejde to :) asi maji v redakcnim systemu filtr :-). Skusime ho trochu obelstit:

{meta name="robots" content="noindex,nofollow"}

Nahradte si {} za <>

Krtek

Ahoj souhlasim s Vami ze autor vychazi ze spekulaci.

Jinak na vylouceni robota pouzivam bud:


viz http://www.robotstxt.org/wc/meta-user.html

nebo soubor robots.txt v korenovem adrsari:

User-agent: WebCrawler
Disallow:

User-agent: *
Disallow: /

viz http://www.robotstxt.org/wc/norobots.html


Nesmime vsak zapomenout na to, ne vsichni roboti jsou slusni a ridi se robots.txt a meta. Pak pomuze uz jen konfigurace www serveru nebo iptables. Jak to resite vy?

Ktek

Někdo - jako třeba já - naopak nechce, aby mu roboti (i přes zákazy) neustále celou sobotu a neděli zbytečně zatěžovali server.
Dá se říci, že občas dosahuji i částečného úspěchu. Prokazatelně ale se chování robotů řídí podstatným způsobem také obsahem http-hlaviček, o čemž jsem zde zmínku žádnou nenašel.
Proto se nemohu ubránit dojmu, že všechny uváděné poznatky jsou značně spekulativní a plynou jen z toho, co mohli autor i diskutující "vyzkoumat s pomocí MSIE".