  |
3B～7Bの言語モデルを試しているけど、使っていて出力が心もとなく、13B、30B、65Bならもう少し良くなるか？と思って13Bを試すとVRAMが足りんよと言われる。使っているのはGeforce RTX 3070だけど、見間違いでなければ7Bまでが限度なのだろう。
一応、モデルはLLaMA2、動作環境はWindows11でtext-generation-webui、グラボは前述の通りGeforce RTX 3070、メモリは32GB、CPUは…Ryzenの中ぐらいの…
4080や4090の価格を見る。買うには懐が痛い。本当に言語モデル他あれこれを動かしたいのか？それに、13Bのものは動かせるとして、30Bや65Bのものは本当に動かせるものか？
11
