Vlákno názorů k článku Jan Čurn (Apifier): V Americe jsme si pouštěli Queen. Hlavně Show must go on od Jirka - Me by zajimalo, jestli mate v User-Agent identifikovany...

Me by zajimalo, jestli mate v User-Agent identifikovany Vas crawler nebo jestli se maskujete jako browser. A taky by me zajimalo jestli ctite robots.txt.

Vse si muze uzivatel nakonfigurovat v ramci nastaveni crawleru. Muzete mrknout do sekce Advanced settings u prikladu na nasi home page.