必要な対応としては、時間がかかることを前提に対策することだ。
対策1:前倒しで公開する
検索結果に表示されるのに最低1.5カ月かかるのを考慮し、検索結果に出したい日から2カ月程度遡ってページを公開する。例えば「母の日」や「クリスマス」など、ある程度時期を特定できるイベントの場合はこういった手法をとることが可能だ。
しかしながら、運用負荷が高まるという点と季節感がずれたページを公開しなければならないというデメリットがある。
対策2:バックナンバー化する
掲載期間が終了した特集ページを削除してしまうという運用をしている場合もあるだろう。しかし、終了した特集も削除しない運用にすることで404エラーとなることなどは避けることができる。ただし、こちらの対策では情報の鮮度を保つことが難しい。
対策3:インデックスさせない
上記2点のような運用ができない場合。あるいは、404エラーとなってしまうくらいならインデックスさせないというのも有効な打ち手である。
例えば、特集ページが http://www.example.com/special_20081004.html となる場合には、ルートディレクトリに下記のようなrobots.txtというファイルを配置することでクロールさせないことが可能だ。
robots.txtの記述例
User-agent: * Allow: / Disallow: /special_20081004.html
また、special_20081004.htmlのhtmlファイルに下記のメタタグを追加することでもインデックスさせないことが可能だ。
PCには無いキャリアの「公式サイト」が携帯電話サイトにはあり、ドコモの提供するiメニュー検索サービスやKDDIの提供するEZweb検索サービスにおいては公式サイトだけが表示される仕組みになっている。公式サイト専用の検索サービスではキャリアの仕様にあわせてサイトを構築しなければならない。
各キャリアの公式サイト向け検索サービス(iメニュー検索サービス、EZweb検索サービス、Yahoo!ケータイ)は、公式サイトのみをクロールする仕組みになっている。どうやって公式サイトかどうかを判定しているかが重要なポイントだ。
キャリアによって呼び方は異なるが、どのキャリアでも公式サイトとして登録した範囲のURLかどうかで識別している。各キャリアに申請しているURLと実際にサービスを提供しているURLに相違が無いか確認が必要となる。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」