  |
絵描きAIで数日前に話題になったのはControlNetというもので、
複数の機能があるが、話題になっているのは入力画像のボーンを認識してポージングを自由に付けられるようになった。
早速Twitterでは3Dモデルでポージングをさせ、これまで難しかったポージングを作成している人が見受けられる。
ボーンは認識するが、3Dモデルと2次元絵では体の作り・割合が異なるが、ボーンはどうも人体モデルを想定しているっぽく、
ボーンに引きずられて2次元っぽくなくなる。リアル系で攻めている人は良いかもしれない。
次の問題は絵を描くモデル側が学習していないポージングを強制的に制御しようとしているので、かなりの割合で絵が破綻する。
ポージングまで過学習気味になっているモデルでは、手が数本生えたり、服やら毛やらで空白を埋めようとする。
ポージングの認識率もまだまだだ。手や脚を広げているのは認識率されるが、体育座りなどは認識率が落ちる。
要は今までのi2iとそれほど変わってなくね？という状態だ。
あったら嬉しい機能としては、生成した画像のポージングを微調整するということだと思うのだが、現状それはできない。
またボーンを認識していると言っても、2D座標に変換されているっぽく、奥行きなどがあるボーンは正しく絵が出ない。
そもそも学習する際に、2D絵のボーンも一緒に学習していれば良いのではないだろうか。
キャラクターの特徴を学習させたモデルと、ポージングを主に学習したモデルと、それを合わせて最後は学習調整させる、
ということをした方がスッキリする。
2
