Robots.txt neni zadny standard a navic je urcen (primarne) k tomu, aby crawler nespadl do pasti, tj. nekonecne a zbytecne smycky, napr. pri prochazeni kalendare az pred narozeni Krista.
Zabranit prochazeni weboveho serveru je netrivialni uloha, zvlaste pokud proti vam stoji profesionalni nastroj schopny simulovat cele mesto virtualnich lidicek. Jinak podobne ne-uplne-koser systemy pouzivaji take "solidni" firmy, aby overily, ze jejich crawlerum nepodvrhujete jiny obsah nez pak davate lidem.