Ve fulltextovych vyhledavacich jsou cca. 2 moznosti
a) vyradit v indexaci (proste to robot preskoci)
b) upravit rank stranky (page rank pouzivaji stejne
vsechny vyhledavace) a to nahoru nebo dolu.
Pokud na stranku odkazuje male mnozstvi jinych stranek tak
je v podstate neviditelna (ma velmi nizkou prioritu)
o duvodech proc tam roboty maji nezadouci nic nevim, ale k informacim z nich se dokazu dostat i jinak vct. elektronickych placenych archivu, takze tento duvod mi pripada nepravdepodobny
Presne takove reakce jsem cekal, jen ne zrovna od Vas, ale co uz. Mimochodem v te dobe jsem pracoval take s ostatnimi servery, ktere se mohly tykat hledaneho tematu jako je napr. ods.cz ale i mnohe dalsi..
No jo, jde o totalitni noviny, ktere nechteji, aby nahodou nekdo vedel, jak se jejich web vyviji. A google a jyxo ma cache stranek z doby indexace. Tyto noviny ovsem nestoji o to, aby nekdo porovnaval veci, ktere jsou na siti nyni, a ktere tam byly pred casem. Zabranit tomu nemuzou, ale kazde omezeni je pro ne dobre.
Pro ty, co se divi, ze nekdo robots.txt dodrzuje - zkuste si zalozit libovolny site, dat na nej par linku, a budete koukat, kolik hitu budete mit na robots.txt.