ロボットテキストとはwebサイトを巡回するクローラーの動きを制御するファイルのことです。ロボットテキストは「①インデックスさせたくないページをクローラーが巡回しないようにする」「②sitemap.xmlの場所をクローラーに伝える」の2つの用途があります。ロボットテキストを活用することで不要なクロールを避けることができ、結果としてクロール効率を上げられ、SEOにも良い影響をもたらします。
ロボットテキストとはwebサイトを巡回するクローラーの動きを制御するファイルのことです。ロボットテキストは「①インデックスさせたくないページをクローラーが巡回しないようにする」「②sitemap.xmlの場所をクローラーに伝える」の2つの用途があります。ロボットテキストを活用することで不要なクロールを避けることができ、結果としてクロール効率を上げられ、SEOにも良い影響をもたらします。
