サイトマップファイルをクローラーに持っていってもらう方法。

まずはじめに、サイトマップとは何か。

サイトマップとは
サイトマップを使うと、ウェブマスターはサイト内のクロールされるページを検索エンジンに簡単に知らせることができます。

で、まぁ、サイトマップ（sitemap.xml）をつくると、次の手順としてYahoo!検索 サイトエクスプローラーやGoogle ウェブマスター ツールに通知するんですが、この大手以外にもロボットが巡回しているサーチエンジン用に「サイトマップを持っていってくれ」とお願いすることができます。

robots.txtとは？
robots.txtは、検索エンジンに対する要求を伝えるファイルです。サイト管理者はrobots.txtをとおして、次の情報を伝えることができます。

※サーバによってはrobots.txtファイルが使用できない場合があります。
※robots.txtファイルが使用できるのは、ルートディレクトリを持つサイトのみです。サブディレクトリのサイトでは使用できません。

この指定ひとつでサーチエンジンに対してサイトマップの通知ができます。ラクチンですね。
サイトマップを Yahoo! や Google に通知するのは当然として、その他のサーチエンジンにもさり気なくお願いしておくのもいいかもしれません。

robots.txtの書き方

sitemap: (https://www.magical-remix.co.jpsitemap.xml)

ポイント

URLは必ず絶対パスで書く。（http://○○○/*.xmlなど）