ページを検索結果へ出したくないとき、robots.txtで止めればよいとは限りません。robots.txtはクロールの制御、noindexはインデックス登録の制御です。
どちらもパスワードでページを保護する設定の代わりにはなりません。まず、取得を控えてほしいのか、検索結果から外したいのか、閲覧自体を制限したいのかを分けます。
目次
目的から選ぶ3つの方法
Googleはrobots.txtでクロールを止めたURLでも、他のページから見つかるとインデックス登録される場合があると説明しています。クロール禁止と検索除外を同じ状態にしないようにします。
スクロールできます
| 目的 | 主な方法 | 注意点 |
|---|---|---|
| クローラーの取得を制御する | robots.txt | 他のページからのリンクによりURLが登録される場合がある |
| 検索結果に登録させない | noindex | クローラーが指定を読める状態が必要 |
| 読者のアクセスを制限する | 認証やアクセス制御 | robots.txtやnoindexだけに任せない |
noindexが読めるかを確認する
HTMLでは、head内のmeta robotsでnoindexを示す方法があります。次は説明用の例です。PDFなど、HTML以外ではHTTPヘッダーのX-Robots-Tagを使う方法もあります。
<meta name="robots" content="noindex">同じURLをrobots.txtで止めると、Googlebotがページ内のnoindexを確認できなくなる場合があります。noindexを追加したことだけで終わらせず、取得できるかと実際の出力を照合します。
WordPressで変更する前の確認
管理画面のラベルが似ていても、出力する範囲は製品によって違います。記事、分類ページ、検索結果ページを混ぜず、対象URLで確かめます。
- 対象が1記事、カテゴリ一覧、サイト全体のどれかを特定する。
- 現在のrobots.txt、ページのmeta robots、HTTPヘッダーを控える。
- テーマやSEOプラグインなど、指定を出している機能を確認する。
- サイト全体に影響する設定を、記事1本の問題のために先に変えない。
変更後の確認と引き継ぎ
保存後のHTMLやヘッダーを読み直し、URL検査で状態を確認します。検索結果への反映はGoogleの再取得にも関わるため、設定を変えた時刻と確認した結果を別に記録します。
公開してはいけない情報を、noindexだけで守ろうとしないことも大切です。閲覧権限の問題は認証やアクセス制御の設計へ戻します。この記事では対象URLの考え方を説明しており、本番のrobots.txtやサイト全体の公開設定は変更していません。
