あっしもそんなに詳しいわけでは無いが、いくらなんでもはてなの検索シス..

あっしもそんなに詳しいわけでは無いが、いくらなんでもはてなの検索システムが一般的な全文検索から大きく外れた思想で作られているとは思えない。

まずもって検索システムつうのはどういうものかというと、通常のRDBの通常の検索の話だと、表の特定の列のデータに対象のデータがあったらその行を返すっつうものだ。

これでCOL2に索引をつけた場合、検索条件に「隆」を入れたら行1と行2が返るつうのな。

全文検索だとちょっと面倒でこのCOL1とかCOL2に入るデータが「アストラギウス銀河を真っぷたつに分けた、バララントとギルガメスの二つの星系が砲火を交えて、100年。」とかになるわけなのよね。

となると検索する人は「アストラギウス銀河」とか「バララント」とかで検索するわけで、それを想定して分割した「トークン」つう単位の単語的なもので分割して索引を作るわけ。

そのトークン分割のやり方がいろいろあってそれで索引の出来方がかわって検索の使い勝手が変わってくる訳なんだけど、日本語の場合、まず「てにおは」とかの「ストップワード」で分割して、それぞれのトークンをそれぞれ分割する・・・みたいなのは一般的なのね。

上の文章だと「アストラギウス銀河」　「真っぷたつ」「分けた」みたいに分割して、更に「アス」「アスト」「アストラ」「スト」「ストラ」・・・みたいな。

もちろん索引のサイズがバカみたいになって全部スキャンした方がはやいやんけみたいになったら馬鹿馬鹿しいのでどのくらいのトークンを作るかはさじ加減なんだが、普通の仕組みなら「回し蹴り」はトークンとして入るので元記事の指摘はちょっと違うと思うのだ。

記事への反応 -

記事への反応（ブックマークコメント）