SEOクイズ⇒ robots.txtがステータスコード200・4xx・5xxを返したらGooglebotはそれぞれどう動く？【SEO記事12本まとめ】 | Web担当者Forum

SEOクイズ⇒ robots.txtがステータスコード200・4xx・5xxを返したらGooglebotはそれぞれどう動く？【SEO記事12本まとめ】 | Web担当者Forum
«  覚えておかねば。「問題なくクロール処理が行われる場合と、そうではない場合があるのだ」。