CNET Japan

最終更新時刻：2009年11月27日(金) 18時18分
CNET Japanからのお知らせ
ついに発売「Windows 7」のチカラ
誰にでもわかる「Chrome OS」
ビジネスに効くTwitterの可能性
「CNET Japanモバイル版β」登場
トップ  »  ブログ  »  井上俊一 / エッセンシャル・サーチエンジン  »  サーチエンジンの仕組み（２） − インデクサー
井上俊一 / エッセンシャル・サーチエンジン
5

サーチエンジンの仕組み（２） − インデクサー

公開日時：
2004/05/10 19:08
著者：
inoue

トラックバック(8)

コメント(6)

ブックマーク(-)

前回に引き続きサーチエンジンの仕組みの話をしたいが、今日はインデクスについて話したいと思う。とりあえず、インデクスがぴんと来ない人は本の後ろにある索引を想像してもらうと良い。五十音順に単語とページ番号が対になって並んでいるあれだ。

サーチエンジンのインデクスも本の索引も本質的に変わらないので、このような理解でまずは良い。
さてこのインデクスを作成するプログラム（一連の処理）をインデクサーと呼ぶ。

サーチエンジンの仕組みを理解する上で、大きく3つに分けて考えると言ったが二つ目の要素がインデクサーだ。今回はこのインデクサーの仕組みを話そうと思う。

  1. インデクサー

    2. インデクサーはクローラーに収集されたHTMLからインデクスを作成する。インデクスとはこの場合、「単語とURLの対」と思っておけば良い。本のページ番号の代わりにURLが書いてあると想像して欲しい。そのためまずはHTMLから単語を切り出す作業が必要になる。

    単語を切り出す作業には通常、形態素解析が用いられる。英語では単語と単語の間はスペースで区切られるが、日本語は単語と単語の間に明確な区切りがない。なんらかの手法により文章を単語に分けなければいけないが、この時に用いられるのが形態素解析だ。中国語、韓国語でも同様の処理が必要になる。

    形態素解析には大手メーカーの研究所や大学のものが存在するが、いずれかのプログラムを用いて文章を単語の集まりに分解する。

    例えば、「私は日本人です。」は「私+は+日本人+です+。」というように。形態素解析には基になる辞書が必要だが、最近の言葉や一部だけで使われる固有名詞などは辞書に登録されていなかったり、あるいは登録するとその弊害で元々うまく分けられていた文章を誤って分けたりするので、簡単に辞書を変更するわけにも行かない。各社独自に出来るだけ自然に分けられるアルゴリズムの開発を研究している。

    ここでは形態素解析を使っているということを理解していただければよい。この形態素解析を使っているという事実が想定しない検索結果を生み出す原因となることがある。自分が入力した言葉が思った通りに解釈されていない可能性があるのだ。

    また同じ単語でも「引越」、「引越し」、「引っ越し」などと色々な書き方があるが、通常では全く別の単語としてインデクスに登録される。同じ単語でもひらがな、カタカナ、漢字で書いた場合では違った単語として認識される。最近Googleに切り替えたGooでは、このような表記のゆれを前段階で処理することによりどのように書いても同じ結果が出るような工夫をしている。

    さらにインデクスを作成する際にはその他の作業が行われることが多い。例えば、その文章が何語で書かれているかという判定（Language Detection）をしたり、検索結果で表示する際に必要となる「サマリー」の情報を作成しておく等である。

    最終的には形態素解析で分けられた単語とURLを対応付けたものがインデクスだ。

    インデクスは先ほども述べたとおり本の例で考えると分かりやすい。例えば今手元にある「Googleポケットガイド（オライリー・ジャパン）」の索引の"P"のところを見ると、

    P

    Pagerank ....................... 9, 63, 115

    PDF .................................... 38, 40

    phonebook: ............ 32, 37, 94, 123

    PHP ........................................ 32

    となっている。キーワードを引けば、それがどのページにでているか分かるものが索引だ。洋書を読まれる方はお気づきと思うがが、索引は英語で"Index"だ。そう、まさにこれがサーチエンジンで言われるところのインデクスと同じことを意味している。

    上記の例で、ページ番号の変わりにURLを書いてみたらどうなるでしょうか？こんな風になりますかね。

    Pagerank ... http://www.google.com/techno...
    http://www.google.com/intl...
    PDF ... http://www.adobe.com/products/...
    http://www.adobe.com/
    phonebook: ... http://www.phonebook.com/
    http://www.uiuc.edu/ricker...
    http://www.hep.net/sites/...
    PHP ... http://www.php.net/

    どうだろうか？なんだかサーチエンジンらしくなってきたでしょう？インデクスとはまさに本の索引のように「キーワードとURLの対応表」なのだ。インデクスとは、いわばWWWの索引と言える。

    一番簡単にインデクサーの理解をするために、PageRankなどの順番を決める処理部分の説明を省いた。これらの処理もインデクス作成の一連の処理の中で行われる。

次回はクエリーサーバーについて説明しよう。

（追記：2004/5/12）

「索引」を誤って「目次」と書いたため、訂正させて頂きました。ご指摘いただいた方、ありがとうございました。

-inoue

※このエントリは CNET Japan ブロガーにより投稿されたものです。朝日インタラクティブ および CNET Japan 編集部の見解・意向を示すものではありません。

ログインしてコメントする このエントリを評価する
運営事務局に問題を報告 この記事についてブログを書く（ブロガー専用）

このエントリーへのコメント

6

めげずに楽しい連載をお願いします．

わかりやすいので，初心者向けの資料として活用
させて頂きたく考えておりますので．．．

  joji on 2004/05/13

5

皆さんおっしゃるとおりです。ご指摘ありがとうございます。「目次」ではなく「索引」が正しいです。

本の例では、本文中に登場する単語を巻末にまとめて、登場するページ番号が書いてあるもののことです。

本文では索引と直しました。

-inoue

  inoue on 2004/05/12

4

普通、インデクスを「目次」とは指さないのでは？
一見詳しく説明しているようですが正しくないですよ。

ついでなのでexcite辞書で検索しました^-^

･････････････････････････････････････････････
大辞林 第二版 （三省堂）

もくじ 【目次】索引をつける
2. 索引に載せる
･････････････････････････････････････････････
新和英中辞典 第４版 （研究社）

もくじ 目次
a table of contents 《★本の目次のページにはふつう単に Contents と書く. なお, content と単数形にすれば本の｢内容｣になる》.
･････････････････････････････････････････････
新英和中辞典 第６版 （研究社）

in･dex（名）
1 ( 〜･es) (本などの)索引.
2a (計器などの)目盛り，指針.
b 表示; 指針，指標 〔of〕.
c 【印刷】 指印 《》.
3a 【統計】 指数.
b ( in･di･ces) 【数】 指数; (対数の)指標.
in･dex（動）
1 〈本に〉索引をつける.
2 〈…を〉索引に載せる.
ラテン語｢指さすもの，人さし指｣の意
･････････････････････････････････････････････

  muramura on 2004/05/11

3

excite辞書で検索しました^^


＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
大辞林 第二版 （三省堂）

もくじ 【目次】<
(1)書物の内容の見出し書き。
(2)項目または箇条の順序。
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
新英和中辞典　第６版　（研究社）

index（名）
1.（本などの）索引
2a.（計器などの）目盛り，指針
b.【統計】表示;指針，指標
c.【印刷】指印
3a.【統計】指数
b.【数】指数;（対数の）指標
index（動）
1. <本に>索引をつける
2. <･･･を>索引に載せる
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
新和英中辞典 第４版 （研究社）

もくじ 目次
a table of contents 《★本の目次のページにはふつう単に Contents と書く. なお, content と単数形にすれば本の｢内容｣になる》.
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊


．．．．．．．．．．．．．

  muramura on 2004/05/11

2

> とりあえず、インデクスがぴんと来ない人は本の後ろにある目次を想像してもらうと良い。

とのことですが，「索引」が正解かと思います．

目次は概念として間違っています．

  joji on 2004/05/11

1

サーチエンジンの仕組み 面白いです。「引越」「引越し」「引っ越し」、あるいは音引きの有無といったものを同一のものとして扱うようになっているんですね。これをもっと進めて、「木」と「ツリー」を同じものとして扱うようになるといいのにと思います。ただ、いつでもそういう検索をするとノイズが増えますから、そこはパーソナライズで制御できるといいな、と。ちょっと専門的になるかと思いますが、N-gram やサーチエンジン最新テクノロジーの話まで聞かせてもらえるとうれしいです。

  editech on 2004/05/11

ブログにコメントするにはCNET_IDにログインしてください。

この記事に対するTrackBackのURL： 

トップ  »  ブログ  »  井上俊一 / エッセンシャル・サーチエンジン  »  サーチエンジンの仕組み（２） − インデクサー

注目トピックス From ZDNet Japan

クローズアップ

[PR]

企画特集

CNET どっち？

HT-03A

iPhone 3GS

業界キーパーソンが最新トピックを斬る！
CNET Japan オンラインパネルディスカッション

スパコン世界一目指すべき？　事業仕分けを考える

回答
松尾　康博さん

箱もの行政論に引っ張られ過ぎ。先に計算したいこととそれに必要な現実的なパ...

新着企業動向

リリース

イベント

企業ブログ

製品

このブログについて

ブロガープロフィール

アルファブロガー

アーカイブ

«
2009年11月
日月火水木金土
1234567
891011121314
15161718192021
22232425262728
2930     

カテゴリ

  • 未分類

アルファブログ

みんなのお題

みんなのお題では、ブロガー同士で質問を出し合いそれに対する回答や意見を集めています。今日はどんな話題が盛り上がっているでしょう？

新着コメント

ブログネットワークとは？

CNET Japan ブログネットワークは、元はCNET Japanの一読者であった読者ブロガーと、編集部の依頼により執筆されているアルファブロガーたちが、ブログを通じてオンタイムに批評や意見を発信する場である「オピニオンプレイス」、また、オピニオンを交換するブロガーたちが集うソサエティです。

広い視野と鋭い目を持ったブロガーたちが、今日のIT業界や製品に対するビジョンや見解について日々熱く語っています。

あなたもブログを書いてみませんか？

CNET Japanやその他サイトが提供するITニュースやコンテンツへの意見や分析、ビジネスやテクノロジーに対するビジョンや見解について語っていただける方を募集しています。ご応募はこちらから

ブログの投稿・管理

ブログの投稿はこちらから（※ブロガー専用）

αマークって？

これは、CNET Japan 編集部の依頼に基づいて執筆されているCNET Japan アルファブロガーであることを示す印です。

Good!って？

CNET Japan ブログネットワーク内で拍手の代わりに使用する機能です。ブログを読んで、感激した・役に立ったなど、うれしいと思ったときにクリックしてください。多くGood!を獲得した記事は、より多くの人に読まれるように表示されます。

CNET Japan ブログ

製品ランキング

デジタルカメラ

データ協力 : GfK Marketing Services Japan

ブロガーみんなで回答中

CNET_ID

メンバー限定サービスをご利用いただく場合、このページの上部からログイン、またはCNET_ID登録（無料）をしてください。

» CNET_IDパスワードの確認

話題のタグ：  iPod |  Twitter |  mixiアプリ |  買収 |  iPhone |  グーグル |  マイクロソフト |  アップル |  Windows 7 |  Google Voice |  PlayStation 3 | 

The Japanese edition of 'CNET' is published under license from CBS Interactive, Inc., San Francisco, CA, USA. Editorial items appearing in 'CNET Japan' that were originally published in the US Edition of 'CNET', 'ZDNet', 'TechRepublic', 'GameSpot' and 'CNET News.com' are the copyright properties of CBS Interactive, Inc. or its suppliers.
Copyright © 2000-2009 CBS Interactive, Inc. All Rights Reserved. 'CNET', 'ZDNet' 'GameSpot' and 'CNET News.com' are trademarks of CBS Interactive, Inc.

 | 個人情報保護方針  | 利用規約  | 訂正  | 広告について  | 朝日インタラクティブについて  | 

Copyright  © 2009 ASAHI INTERACTIVE, Inc. All rights reserved. No reproduction or republication without written permission.