Mně to přijde jak číst článek z časové kapsle z roku 2024, protože už tehdy většinu trafficu na webech zvládali dělat AI boti požadující data. A ignorující samozřejmě vše.
Googlebot crawl delay nerespektuje nikdy, koneckonců to uvádí jejich dokumentace a info v GSC o stavu parsování takový řádek označí.
Ten problém existuje dlouho, my ho také dlouho sledujeme. Ale to, že by boti bořili nebo výrazně zpomalovaly web, to je relativně nový a zhoršující se fenomén.