■NovelAIは次の画像生成AIの開発に乗り気じゃないんだな

https://blog.novelai.net/ai-image-contest-exhibit-q-a-b807fecee45f

今日、質疑応答のブログが出たが、あまり次のを開発しようという感じには読めなかった。

1ヶ月くらいはユーザー数は多かったが、退会するという人も多く見たし、

リークモデルに対して次々と派生モデルが出てくるので厳しいのだろう。

ただ、絵柄は飽きられるのが早かったかもしれないが、NovelAIの学習のさせ方は優秀だった。

StableDiffusion 2.1が出て、それから学習させているWaifu Diffusionも出ているが、プロンプトに従わない。

未だに全身を出す出さないという制御ですら、ちょっと長いプロンプトを突っ込むと制御ができなくなる。

個人で追加学習していくと、学習させた画像の構図しか出なくなっていくが、そんなこともない。

キャラクターが付けている付属品なども簡単に取りはずしができている。個人で学習させると外せなくなる。

絵文字なども対応しているの！と驚かれるが、NovelAI系列だから出る。

Waifu Diffusionのデータとしてインスタの画像を学習させているようだが、

自撮りの顔が斜めになっている画像を多く学習させていくと、顔を傾ける画像しか出なくなっている。

NovelAIはどういう学習のさせ方をしていたのだろうか。

以下は、個人の買ったな推測だ。

3Dモデルを学習させていたのではと思っているがどうだろうか。

Danbooruのタグは使うとして、ネットで拾ってきた画像をそのまま学習させると、直立で立たない。

インスタモデルが傾いているような事になる。

1. 簡単な3Dモデルを複数作る。danbooruタグに対応する胸の大きさを変えた3Dモデルを作るなど。
2. danbooruタグの中から、動作に関係するタグを除外。動作は別で3Dモデルのポーズを付ける。
3. ツノの位置など、キャラクターによって違う場合があるので、3Dモデルで調整する。
4. 3Dモデルから2Dへ変換するのを用意する。
5. 3Dモデルを色んな角度から取った画像を用意する。
6. ツノなどのタグのあり、なしも両方学習させる。

Permalink | 記事への反応(1) | 17:35

ツイートシェア