  |
で、なんのグループを出していてどのようなprocessing（NLP＝Natural Language Processing）をどの段階でしているの？
まずコンテンツがあるだろ、これは自然言語＋特徴量と考えていい これを社内ライブラリで圧縮＆ベクトル化するわけよ あとはこの圧縮されたベクトルを近似最近傍法ライブラリでイン...
もうちょっとわかりやすく説明して😊
精一杯わかりやすくしたんだがなぁ 要は「コンテンツを検索する」のが目的で、「関連性」の順番にソートしたいわけよ で最初の段階で転置インデックスとか近似最近傍法とかを使って...
こういうことか？ a うんこを食べる b うどんを食べる c 増田を書く d 増田をよむ 👇 A うんこ を 食べる B うどん を 食べる C 増田 を 書く D 増田 を よむ 👇 x うんこ う...
BoWを使うならそうだけど、tfidfでもできるし、BoWかtfidfをSVDで圧縮することもできる あるいはLLMを使ってベクトル化してもいい
あるいはLLMを使ってベクトル化してもいい わざわざLLM（大規模言語モデル）つかってベクトル化するってどういうこと？ Bag-of-words TF-IDF ＝ TF（単語の出現頻度）＊ IDF（各単語のレア...
BERTを使って検索するというのが一時期流行った その後はhuggingfaceで出てるようなモデルでベクトル化すると、概念マッチが実装できるようになった 例えば「なんかやわらかいもの」とい...
その後はhuggingfaceで出てるようなモデルでベクトル化すると、概念マッチが実装できるようになった 例えば「なんかやわらかいもの」というクエリを「スライム」「餅」と解釈させる...
想像してみてください。あなたは巨大な図書館の司書です。この図書館には数え切れないほどの本があり、あなたの仕事は誰かが特定の本を探しやすくすることです。しかし、本が多す...
「プロセッシングをする」なんて言葉を使うルー大柴はお前だけ
19
