تماشای ویدئو آیا crawl delay توسط گوگل بات پشتیبانی می شود؟ وب یوز از کيونما

در فایل robots.txt برای برخی از ربات ها این امکان وجود دارد که فاصله زمانی بین هر کراول را توسط crawl-delay مشخص کرد. ولی آیا گوگل بات هم از crawl-delay در فایل robots,txt پشتیبانی میکند؟ آقای جان مولر از گوگل در این ویدیو به این پرسش پاسخ می دهند.
15 اسفند 1396
کيونما
loading...
ویدئو های مرتبط