新しいLLM出るたびにローカルで遊んでたんだけど、VRAM12GBしかないし、使える..

新しいLLM出るたびにローカルで遊んでたんだけど、VRAM12GBしかないし、使えるLLMは12Bモデルまでかな〜と思ってたら普通に70Bも使えるのな。1分に2,3文字とくっそ遅いけど。

20Bサイズならそこそこ動くっぽいし、起きてから試してみよ。gpt4o miniより上か同等の性能あるなら、センシティブ回避もできるし、できること増えそう。

ただ、速度がなぁ…よく遊んだ7Bは割と高速で動いてくれてたけど、20Bくらいになったらどれくらい遅くなるのやら。