...to se nedá říct jinak! Nerad používám sprostý slova, ale tohle byl fakt TALENT! Totiž, oni si u google neuvědomili víc věcí a to už v minulosti. Kupříkladu že vůbec nestojím o to, aby mi nějakej vyhledávač indexoval stránky, kdo o nich má vědět, ten o nich ví a ostatní ať jdou přesně tam.
robots.txt nejsou za současný situace žádná výhra, protože bych předpokládal, že pokud po requestu na robots.txt odpovím 404kou, pak by to mělo znamenat, že nestojím o nějaký indexování mých stránek (tudíž že má jít robot tam, odkud přišel), nikoliv že si tam může řádit jak černá ruka, jak si to vysvětlují patrně všechny vyhledávače.
Druhák, pokud si myslíte, že něco pořešíte tím, že nacpete hned do kořenu robots.txt, tak tím nevyřešíte nic, neb robots.txt musíte poslat kdykoliv, kdy je v requestu někde slovo robot. Na vlastním serveru to není nějak zásadní problém, ale na většině běžných hostingů je to problém neřešitelnej.
Dotřetice, pokud si myslíte, že robot bude akceptovat robots.txt, který mu zakazují hrabat kamkoliv, pak v případě googlu opět nemáte pravdu. Musíte mu nechat kořen + nějakej adresář, kde se nažere, jinak vaše robots.txt směle ignoruje.
Dost dlouho mi trvalo, než jsem se s vyhledávačema vypořádal, nakonec jsem nechal hledat v jednom jediným adresáři a jak tam něco sáhne, tak jde IP toho, co tam sáhne, na firewalu okamžitě do deny a není cesty zpět. Dtto pro některý uživatelem neklikatelný odkazy. Nedá se nic dělat, traffic, co napáchal google, byl asi trojnásobný proti tomu, co napáchali živí uživatelé, což dlouhodobě odmítám platit.
Tohle ale můžu udělat u serveru doma, bohužel ne u serveru na hostingu, kde mi tedy google skutečně zpříjemňuje život.
Pokud uvážím, že už tak agresivní potvora bude ještě agresivnější, tak vážně uvažuju o ukončení všech svých internetových aktivit a soudě z toho, co jsem se dozvěděl od jinejch lidí, nejsem sám. Výsledkem činnosti googlu pak bude, že na webu budou akorát pubošský stránky pochybnýho obsahu, který ovšem budou velmi dobře zindexovaný.
BTW ještě jedna poznámka na okraj. Z čeho má google příjmy? Když se na jejich stránky podíváte, je jasný, že z reklamy to nebude. Provoz takovýho monstra nebude levnej, čili vzniká otázka zásadního významu - kdo ten krám proboha platí!?
Názor k článku
Robot Google se zkouší ponořit do hlubokého webu, zůstává ale na povrchu
