  |
精一杯わかりやすくしたんだがなぁ 要は「コンテンツを検索する」のが目的で、「関連性」の順番にソートしたいわけよ で最初の段階で転置インデックスとか近似最近傍法とかを使って...
こういうことか？ a うんこを食べる b うどんを食べる c 増田を書く d 増田をよむ 👇 A うんこ を 食べる B うどん を 食べる C 増田 を 書く D 増田 を よむ 👇 x うんこ う...
BoWを使うならそうだけど、tfidfでもできるし、BoWかtfidfをSVDで圧縮することもできる あるいはLLMを使ってベクトル化してもいい
あるいはLLMを使ってベクトル化してもいい わざわざLLM（大規模言語モデル）つかってベクトル化するってどういうこと？ Bag-of-words TF-IDF ＝ TF（単語の出現頻度）＊ IDF（各単語のレア...
BERTを使って検索するというのが一時期流行った その後はhuggingfaceで出てるようなモデルでベクトル化すると、概念マッチが実装できるようになった 例えば「なんかやわらかいもの」とい...
その後はhuggingfaceで出てるようなモデルでベクトル化すると、概念マッチが実装できるようになった 例えば「なんかやわらかいもの」というクエリを「スライム」「餅」と解釈させる...
8
