Každá WWW-stránka na Internetu neexistuje samostatně, ale je zasíláná někde nějakým WWW-serverem. Tedy existuje nevyhnutelně spolu se svými http-hlavičkami. A prokazatelně se způsob indexace této stránky řídí také těmito údaji.
Vzhledem ke specifičnosti nadstaveb mám opačné problémy, zakázat přes můj server indexaci asi poloviny jiných serverů organizace. A třeba při zacyklených adresářích stejný soubor roboti poznají nejpozději ve třetím cyklu (pokud to ale není robot našeho centrum.cz). Obvykle to schopní roboti zjistí podle Etagu.
Experimentálně jsem zjistitl, že stránky cachovatelné pro proxy-servery se i bez problémů indexují. Pokud ale stránka je nějak necachovatelná - a docíleno je to třeba chybným Expires - tak se i těžko definovatelným způsobem indexuje. I když by byla sebelépe napsaná.
Proto mě překvapuje, že až dosud se zde nikdo nikde nezmínil o http-hlavičkách. Ale co se nenajde ve Windows přes Průzkumníka nebo v helpu, to jako by (u nás) ani teoreticky neexistovalo.
Názor k článku
SEO spam: zneužité umění
