Hlavní navigace

Názor k článku Petra Mikesková (ChciPráci.cz): Stížnosti nechápu, fungujeme podobně jako Google od Tomas3 - Robots.txt neni zadny standard a navic je urcen...

  • Článek je starý, nové názory již nelze přidávat.
  • 8. 1. 2016 14:56

    Tomas3 (neregistrovaný)

    Robots.txt neni zadny standard a navic je urcen (primarne) k tomu, aby crawler nespadl do pasti, tj. nekonecne a zbytecne smycky, napr. pri prochazeni kalendare az pred narozeni Krista.

    Zabranit prochazeni weboveho serveru je netrivialni uloha, zvlaste pokud proti vam stoji profesionalni nastroj schopny simulovat cele mesto virtualnich lidicek. Jinak podobne ne-uplne-koser systemy pouzivaji take "solidni" firmy, aby overily, ze jejich crawlerum nepodvrhujete jiny obsah nez pak davate lidem.

Upozorníme vás na články, které by vám neměly uniknout (maximálně 2x týdně).