در فایل robots.txt برای برخی از ربات ها این امکان وجود دارد که فاصله زمانی بین هر کراول را توسط crawl-delay مشخص کرد.
ولی آیا گوگل بات هم از crawl-delay در فایل robots,txt پشتیبانی میکند؟
آقای جان مولر از گوگل در این ویدیو به این پرسش پاسخ می دهند.
کيونما