Web制作

検索エンジン【robot】に特定のディレクトリだけインデックスさせない方法

2016/09/20

html

今回は少し高度なウェブ制作の話になります。

検索エンジンに特定のディレクトリだけインデックスさせない方法、です。

「検索させない」という言い方だとちょっと違います。

「検索されても検索エンジンに表示されない方法」といった感じですかね。

検索に載ってほしくないページがある、とか、特定のフォルダごと検索に載せたくない、とか、そういった事情があるときに使います。

アフィリエイトやネットビジネスだと、検索エンジンからダイレクトに来てほしくないランディングページ、というものがある場合があります。

かといって、ランディングページなので気楽にアクセスしてほしいからパスワードを掛けたくない、など、事情も様々でしょう。

今回の私のシチュエーションとしては、以下のようなものでした。

お客様が自社にて運用(更新)しているWebサイトで、更新前のチェック用として「test」フォルダを設けていたところ、放っておいたらそのフォルダもインデックスされてしまった!というもの。

Basic認証(パスワードを掛ける)という方法もありますが、そもそも公開しているスペース(www/直下)と www/test フォルダの内容は基本的に同じなので、見られても構わないし、面倒なことはしたくない。

ということで、testフォルダだけインデックスさせない方法を用いました。

基本的な知識ではありますが、制作会社が管理をしていないと、意外と抜け落ちている部分かなと思います。

制作会社が管理を任されているのであれば、このような事態は起こってはならないことのひとつです。

なにしろ、公開用じゃないフォルダがGoogleにインデックスされてしまったのですから、フォルダの内容によっては一大事です。

インデックスというのは、簡単に言うと、「検索エンジンにページ登録される(載る)こと」です。

検索エンジン登録の仕組みは、
クローラーという検索エンジンのロボットコンピュータが世界中のWebページを巡回(クロール)してページ情報を集め、検索エンジンに登録しています。

その時にウェブサイト側では、ロボットコンピュータに対して、HTMLソース内の記述や、「robots.txt」というファイルをサーバに置くことで、

  • インデックスへの登録拒否
  • クロールの拒否

などを宣言することができます。

HTMLのmetaタグでインデックス登録を拒否する方法

以下のmetaタグが記述されたページは、検索エンジンにインデックスされません。

<meta name="robots" content="noindex">

永続的にインデックスされなくて良いページには、この記述をしておけば良いでしょう。

ですが、仮データ(更新用のHTMLなど)にこの記述をしておいて、データのチェックが終わって公開!となったときに消し忘れると、そのページは

「公開ページでインデックスして欲しいページなのにインデックスされない」

という悲劇を招きます。

その点だけ注意が必要です。

robots.txtでクロールやインデックス拒否する方法

「robots.txt」という名前のファイルを作成し、FTPソフトでサーバのルートディレクトリ(www/直下など)に置きます。

Allow:クロールさせる(インデックスしてよい)

Disallow:クローラーの巡回拒否(インデックスさせたくない)

の意味になります。

これらの指示を組み合わせてファイルに記述していきます。

(txtファイルを作るには、テキストエディターで作ります)

サイトすべてについて、検索エンジンの巡回を拒否する場合

User-agent: *
Disallow: /

※User-agent: * は、すべてのクローラーの意味

特定のディレクトリ(今回の場合は「test」ディレクトリ)の巡回を拒否する場合
Disallowの部分にディレクトリ名を記述します。

User-agent: *
Disallow: /test/

↑今回の場合はこれで解決しました。

robots.txtの記述には、そのほかにも「Allow(クロールさせる)」「Disallow(巡回拒否)」を組み合わせたりと、様々な方法があります。

Disallow: /test/
Allow: /test/index.html

↑「test」ディレクトリのインデックスは拒否するが、「test」ディレクトリの「index.html」だけはインデックスしてほしい場合。

さらに「*」や「$」を使って、「文字列の一致するディレクトリ(ファイル)を一括拒否」など、高度な運用方法もあります。

ここでは一部をご紹介しましたが、通常は私が遭遇した今回のシチュエーション程度の運用が多いのではないかと思います。

Web制作の小ネタですが、ネットビジネスやアフィリエイトに取り組む方のお役に立てれば幸いです。

 

最後までお読みいただき、ありがとうございました。
今回の記事はお役に立てましたでしょうか?
もし、今回の記事を読んで感想や分からない事などありましたら、下のフォームよりお伝え下さい。
些細な事でも構いません。
コメントして頂ければ気づき次第、すぐに回答いたします。

 ページ先頭へ