AIで俺好みのダークファンタジー小説(短編)書かそうとしてるんだけど、どれがいいのか分からんよ…
1つ目は生成速度の問題。12Bなら快適、20B付近はやや遅め、32Bは遅め、70Bは使えたもんじゃない。
2つ目はパラメータ数と性能が比例しないこと。賢過ぎて創造性が失われてる説が濃厚。そのため、(流石に0.5Bや2Bは低過ぎると思うが)7B〜9Bの方が面白い小説書く可能性がある。ただし、性能落とすと記憶力が悪くなり、こちらが指定した設定をすっぽかしてしまうことも多々ある。
3つ目は日本語モデルの少なさ。日本語用に調整された(japanese)instructなるタイプのモデルが、やはり、流暢な日本語を出力する(と感じる)。でも、これが少ない。
そして、AIで小説書こうなんて試みをする人は少なく、イラスト界隈でいう元素法典みたいな、革新的なプロンプト集もないし、いいベンチマークもリーダーボードも見当たんねえ…