@Gyd: Ano, máš pravdu. V článku, respektivě citaci Toma, se to nemělo objevit. Googlebot crawl delay nerespektuje.
Ten problém existuje dlouho, my ho také dlouho sledujeme. Ale to, že by boti bořili nebo výrazně zpomalovaly web, to je relativně nový a zhoršující se fenomén.
Googlebot crawl delay nerespektuje nikdy, koneckonců to uvádí jejich dokumentace a info v GSC o stavu parsování takový řádek označí.