SEARCH

検索避けのために、robots.txtを設置したい

・検索避けや、検索エンジンへの登録を拒否するにはどうすればいいですか?
・ファイルマネージャにアップしたPDFの中身が、検索エンジンでヒットしてしまいました。中身を検索されないように出来ますか?



robots.txtを編集できる機能をご用意しています。
[サイト基本設定>サイト管理] の「robots.txtの設定」をご利用ください。

記述例)
・検索エンジンへの登録を拒否
User-Agent: *
Disallow: /

・ファイルマネージャーのファイルのインデックスを禁止する
User-agent: *
Disallow: /files/user/

Google Search Consoleで設定すべきか、RCMSの管理画面で設定すべきかは、管理のしやすさでご判断いただくとよいと思います。

違いとしては、
Google Search Console・・Googleのクローラーへの通知に限定される
RCMSの管理画面でrobots.txt設定・・・Google含めその他の各種クローラーにも通知可能
になります。

詳しくは、Googleで「robots.txt」「Google Search Console」を検索していただくと様々な記述方法がヒットしますので、ご参考ください。

また、sitemap.xmlを作成されている場合には、以下を参考にsitemap.xmlの調整をする必要がある場合があります。

sitemap.xmlをカスタマイズする
https://support.r-cms.jp/help/detail/id=1017

SEARCH