  |
この2年てLLMでだいぶ変わったと思うが
5年前からやっているがLLMはその当時から巨大だった ここ2年で変わったのはTransformerでそういう話を聞いている
そうかもう2023年末か。逆にTransformer無しのLLMなんてあったっけ？LLMの明確な定義もないけどさ。
大規模言語モデルなんてのは全然前からあるよ RNNとかLSTMとかは研究者なら初めの一歩でやってるはず
その時代と比べて大規模だから、BERT以降を"大規模"言語モデルと呼んでるのだと思ったが
LSTMなんか僕だってGPU５枚つかって1週間とかやってたしGoogle辺りは桁が幾つも違う事やってたよ BERT出た時Transformerないからね
あんたの定義するLLMとは何なんだ？
俺に聞かれても知らんけど、BERTが出た時にTransformerなかったのは事実だし、たかがエンジニアの俺がGPU回してたのも事実だし 元増田の研究者に聞いてくれと言おうと思ったけど働いてい...
5
