「全文検索」を含む日記

2020-12-25

■anond:20201224204327

あっしもそんなに詳しいわけでは無いが、いくらなんでもはてなの検索システムが一般的な全文検索から大きく外れた思想で作られているとは思えない。

まずもって検索システムつうのはどういうものかというと、通常のRDBの通常の検索の話だと、表の特定の列のデータに対象のデータがあったらその行を返すっつうものだ。

COL1	COL2	COL3
春麗	隆	回し蹴り
サガット	隆	タイガーアッパーカット
ベガ	キャミィ	グヘヘ
キャプテン沢田	キャミィ	澤田スペシャル'95

これでCOL2に索引をつけた場合、検索条件に「隆」を入れたら行1と行2が返るつうのな。

全文検索だとちょっと面倒でこのCOL1とかCOL2に入るデータが「アストラギウス銀河を真っぷたつに分けた、バララントとギルガメスの二つの星系が砲火を交えて、100年。」とかになるわけなのよね。

となると検索する人は「アストラギウス銀河」とか「バララント」とかで検索するわけで、それを想定して分割した「トークン」つう単位の単語的なもので分割して索引を作るわけ。

そのトークン分割のやり方がいろいろあってそれで索引の出来方がかわって検索の使い勝手が変わってくる訳なんだけど、日本語の場合、まず「てにおは」とかの「ストップワード」で分割して、それぞれのトークンをそれぞれ分割する・・・みたいなのは一般的なのね。

上の文章だと「アストラギウス銀河」　「真っぷたつ」「分けた」みたいに分割して、更に「アス」「アスト」「アストラ」「スト」「ストラ」・・・みたいな。

もちろん索引のサイズがバカみたいになって全部スキャンした方がはやいやんけみたいになったら馬鹿馬鹿しいのでどのくらいのトークンを作るかはさじ加減なんだが、普通の仕組みなら「回し蹴り」はトークンとして入るので元記事の指摘はちょっと違うと思うのだ。

Permalink | 記事への反応(0) | 20:44

2020-12-24

■はてブの検索 機能の欠点

はてブで自分のブコメを検索しても、検索結果でヒットしないことがある。明らかなエラーだ。どうしてこういうことが起こるのか？　また、どうすれば解決できるのか？　

調べたところ、次のことがわかった。

「全文検索で単語を項目化するときに、辞書の数が少なすぎるので、連結した形の単語は項目化されない」

たとえば、「回し蹴り」という言葉を検索しても、ヒットしない。なぜなら、はてブの検索辞書には「回し蹴り」という単語がないからだ。検索辞書に単語がないせいで、検索してもヒットしないのだ。

この問題を解決するには、次のようにするといい。

「回し」と「蹴り」とに分離して検索するために、「回し蹴り」のかわりに、間に空白を入れた「回し　蹴り」という２語で検索する。

こういうふうにして検索すると「回し」と「蹴り」の双方が含まれたブコメがヒットするので、「回し蹴り」という単語もヒットする。

つまり、「回し蹴り」という単語を検索したいときには、「回し蹴り」ではなく「回し　蹴り」（間に空白を入れる）で検索すればいいのだ。こうすれば、うまくヒットする。

　――――――――――――――――――

　なお、以上のすべてのかわりに、「はてブでなく、Google で検索する」という手もある。

　たとえば、あなたの ID が「 hatenataro 」であるとしたら、「 hatenataro　回し蹴り」で Google 検索する。そうすれば、該当のブコメが Google で見つかる。

　ただしこの方法は、自分の ID が珍しい名称であることが必要だ。ありふれた名称を ID にしている場合には、この方法は使えない。

　――――――――――――――――――

　《追記》

　「検索でヒットしなかった場合には、空白を入れてから再検索をする」

　というのは、本来なら、自動処理で行うべきだ。ユーザーが手動で処理するのでなく、ソフト自身がシステム内部で自動処理するべきだ。

　こんなことができていないというのは、はてなの技術力の低さのせい。相当、レベルが低いね。

　――――――――――――――――――

　新たに別の事例を見つけた。「懐中電灯」もヒットしなかったが、「懐中　電灯」（空白入り）ならばヒットした。これも理由は同じだろう。

　なお、不思議なことに、「懐中電灯」をコピペすると、インクリメンタル検索でヒットするのだが、コピペしたあとで Enter キーを打鍵すると、通常の検索モードになって、今度は「懐中電灯」ではヒットしなくなる。

　インクリメンタル検索のときだけ、正常になるようだ。

Permalink | 記事への反応(3) | 20:43

2020-08-12

■anond:20200812233444

学生のころは読んだ論文を全部ファイルに閉じてた。

目で見て達成感があったし、また読みたいと思ったときにはファイルを見返していた。

あと、自分は読んだ論文一覧をbibtex 形式でテキストファイルにまとめていた気がする。論文書くときはそれをincludeして参照すると参考文献欄には引用したものしか出てこないんじゃなかったっけ。

当時から自分が読んだ論文とそのまとめをブログにさらしている人は普通にいたけれど、後で見返すのにはいいかもしれない。

それが恥ずかしいなら、テキストファイルに論文ごとのメモを書いておいて全文検索できるようにインデックスを設定するとか、自分しか見られないように権限を設定してクラウドに保存しておくなりがあるかもしれない。

ぶっちゃけ指導教官に出していた週報に読んだ論文のまとめを書いていたので、実質に自分がやっていたのはテキストファイルにまとめを書く方法なんだけどさ。

Permalink | 記事への反応(0) | 23:44

2020-08-04

■増田 検索の遅さ

以前にもこの機能のヤバい遅さは言及されていたのだが、時系列検索をしたくなったときに改めて気になった。

そもそも、全文検索ではないのだ。全文検索は難しい。探索木が素人には無限に見える程に広がる。試験的なサービスで RDBMS に LIKE 検索をさせているサービスもあった。だから、てっきりそういうインデックスが効かず（前方一致なら効く）メモリを大量に消費する処理だから遅いんだと思っていた。

でも、増田の検索ってキーワード検索なんですよね…。はてなキーワードは三十数万件らしいので、 LIKE でも全然即答できる。

これもしかして、 {マッチしたはてなキーワード} (120) とかの (120) 部分、つまり該当キーワードに言及する日記から count するために遅いのでは。いやあったら良いこともあるけれど、検索が機能することよりも大事ではないよね。ついでにいうと count としても遅いので、 NULL 値を考慮しないならカラム名を指定せず選択された行の数を返す count(*) が早いよ。