27BのQ4KM試したけど、レイヤー20が限界で2〜3/sくらい。32Bはまだ試してないけど似たようなもんだと思う。
調べた感じ、32Bはgpt4o miniと同等の性能あるっぽいね。27Bはちょっと下位互換。速度考えるなら、この27Bよりもちょっと下くらいの性能のものでいいかもしれん。
Permalink | 記事への反応(0) | 23:26
ツイートシェア
新しいLLM出るたびにローカルで遊んでたんだけど、VRAM12GBしかないし、使えるLLMは12Bモデルまでかな〜と思ってたら普通に70Bも使えるのな。1分に2,3文字とくっそ遅いけど。 20Bサイズなら...
27BのQ4KM試したけど、レイヤー20が限界で2〜3/sくらい。32Bはまだ試してないけど似たようなもんだと思う。 調べた感じ、32Bはgpt4o miniと同等の性能あるっぽいね。27Bはちょっと下位互換。...
6
