Dodnes jsem nepochopil princip fungovani webu. Kdyz to neni schovanie za prihlasenim, je to verejne, a kdokoli si s tim muze delat cokoli.
Robots ma predevsim zamezit grabovani vsemoznych login stranek, administraci a dalsich veci o ktere nikdo nestoji ale cravler je neumi rozeznat od tech o ktere nekdo stoji.
Pevne doufam, ze se vyhledavace zacnou chovat tak, ze sve sluzby budou poskytovat vyhradne za penize (tedy pro ty prohledavane weby). To bude revu.