BERTを使って検索するというのが一時期流行ったその後はhuggingfaceで出てるよ..

BERTを使って検索するというのが一時期流行った

その後はhuggingfaceで出てるようなモデルでベクトル化すると、概念マッチが実装できるようになった

例えば「なんかやわらかいもの」というクエリを「スライム」「餅」と解釈させることができる

で、結局「クエリがドキュメントに関連している度合い」が高ければいいのだけど、LLMを使うと関連性が高まる傾向にある

ただしダブルクオーテーションでくくったのに関係のないキーワードが引っかかるなど、クレームも出ている

Permalink | 記事への反応(1) | 16:49

記事への反応 -

anond:20240401161034
もうちょっとわかりやすく説明して😊
- anond:20240401161211
  精一杯わかりやすくしたんだがなぁ要は「コンテンツを検索する」のが目的で、「関連性」の順番にソートしたいわけよで最初の段階で転置インデックスとか近似最近傍法とかを使って...
  - anond:20240401161653
    こういうことか？ a うんこを食べる b うどんを食べる c 増田を書く d 増田をよむ 👇 A うんこを食べる B うどんを食べる C 増田を書く D 増田をよむ 👇 x うんこう...
    - anond:20240401162707
      BoWを使うならそうだけど、tfidfでもできるし、BoWかtfidfをSVDで圧縮することもできるあるいはLLMを使ってベクトル化してもいい
      - anond:20240401163400
        あるいはLLMを使ってベクトル化してもいいわざわざLLM（大規模言語モデル）つかってベクトル化するってどういうこと？ Bag-of-words TF-IDF ＝ TF（単語の出現頻度）＊ IDF（各単語のレア...
        anond:20240401164243
        BERTを使って検索するというのが一時期流行ったその後はhuggingfaceで出てるようなモデルでベクトル化すると、概念マッチが実装できるようになった例えば「なんかやわらかいもの」とい...
        anond:20240401164919
        その後はhuggingfaceで出てるようなモデルでベクトル化すると、概念マッチが実装できるようになった例えば「なんかやわらかいもの」というクエリを「スライム」「餅」と解釈させる...
- anond:20240401161211
  想像してみてください。あなたは巨大な図書館の司書です。この図書館には数え切れないほどの本があり、あなたの仕事は誰かが特定の本を探しやすくすることです。しかし、本が多す...