  |
はてなキーワード: 過学習とは
Stable Diffusion2.1は、12月に発表されたが、あまり使っている人がおらず、プロンプトが発掘されていない。
公式が出しているプロンプトをそのまま入力すると、クオリティ高くなるが、単純に入力すると破綻した画像しか出てこない。
Stable Diffusion2.1から学習させたものだと
が有名だろう。（他にもあるが省く）
illuminati diffusionの公式が出している画像のように、クオリティ凄いと思って使ってみると全然出なかったりする。
Dreambooth、LoRaで学習させようとしても、変わるが効かない。
illuminati diffusionはEveryDream trainerで学習させていると言っているので、学習出来るのだろうが、どうも過学習っぽい(ように感じる）
waifu-diffusion v1.5 beta2も、過学習っぽく感じる。
過学習っぽいというのは、プロンプトは全然効かない、構図を変えようとするとおかしくなる。
絵描きAIで数日前に話題になったのはControlNetというもので、
複数の機能があるが、話題になっているのは入力画像のボーンを認識してポージングを自由に付けられるようになった。
早速Twitterでは3Dモデルでポージングをさせ、これまで難しかったポージングを作成している人が見受けられる。
ボーンは認識するが、3Dモデルと2次元絵では体の作り・割合が異なるが、ボーンはどうも人体モデルを想定しているっぽく、
ボーンに引きずられて2次元っぽくなくなる。リアル系で攻めている人は良いかもしれない。
次の問題は絵を描くモデル側が学習していないポージングを強制的に制御しようとしているので、かなりの割合で絵が破綻する。
ポージングまで過学習気味になっているモデルでは、手が数本生えたり、服やら毛やらで空白を埋めようとする。
ポージングの認識率もまだまだだ。手や脚を広げているのは認識率されるが、体育座りなどは認識率が落ちる。
要は今までのi2iとそれほど変わってなくね？という状態だ。
あったら嬉しい機能としては、生成した画像のポージングを微調整するということだと思うのだが、現状それはできない。
またボーンを認識していると言っても、2D座標に変換されているっぽく、奥行きなどがあるボーンは正しく絵が出ない。
そもそも学習する際に、2D絵のボーンも一緒に学習していれば良いのではないだろうか。
キャラクターの特徴を学習させたモデルと、ポージングを主に学習したモデルと、それを合わせて最後は学習調整させる、
ということをした方がスッキリする。
過学習ピローンと言っている割に自分の行動についてはわかってなさそう。
原則として何らかの議論が開始された最初の時のほうが、現在議論されている時よりも精度が高い。これは議論に対して時間経過と共に偏見が蓄積されて過学習するから。
これを理解してたら、あいつらデータサイエンティストのブログの内容は初期のほうが後半よりもマトモであると予想できる。初期のマトモさからすごい人だと思うかもしれないが、彼や彼女らは、TwitterやSNSという社会の荒波に晒されてすでに過学習状態であり、しかも容易に信念を変えられない状態にいる。
あとピロユキがいってる「コミュニティの一生」も過学習を説明した特殊例と言える。
他の例としては、海外の物理学者の書籍の内容が、処女作よりも後半のほうがぶっ飛ぶなどもある。
世の中では対話AIはややポンコツなところはあっても会話が成立するしこれは可能性があるという評価になってると思う。
建設的にはサポートや検索のような知的ナビゲーター、ビジネスコミュニケーションの効率化、事務の補助も考えられるだろう。
もう少し精度が上がれば。
しかし今現在のレベルでそのまま劇的に効果を発揮するカテゴリーが存在すると思うのだ。
Twitter、掲示板、通販ユーザーコメント、そのほか短文で意見交換するコミュニティなんでも...UGC（ユーザー生成コンテンツ）と言われるものだが実態はコンテンツというよりユーザー同士のグルーミングである。
しかもあまり発信者の属性や一貫性がそれほど問われないサービスでは個別発言の事実関係がいい加減でも問題ない、話の流れが分かってない奴なんかいくらでもいるし、頭がおかしくてもスルー、タイポも気にする奴が性格悪い。秘書や先生にするには「少し足りない」ぐらいのAIで何ら問題ないだろう。
まず参加者が少ないと更新頻度が低くて何も起こらずつまらない。早すぎて内容追えないぐらい盛り上がってるのが楽しい。つうか経緯も見ずに途中から脊髄反射でコメントするのが粋ってもんだ。
さらに言うと参加者が増えると偏執的な変な奴が相対的に見えなくなって不快になることが減っていく。かつて人気があったサービスでうんざりさせられるのは滓のように残った偏屈な奴が独自の世界観でつまらないことを暇に飽かせて物量で埋めていくさまだ。つまらないの定義って何か？つまらないのがつまらないってことだ…わかるだろう、兄弟？
要するに対人対応だけは健全に保たせたAIをユーザーの倍投入すればコミュニティの治安が劇的に向上するはずということだ。
もともと面白い事を始められる人というのは100人に1人で「マジかよ」「すげえ」という手入れをするだけで場の雰囲気はよくなる。AIなのだから多少気の利いた返しやコスりもできるだろう。言ってることが的外れでも場にネガティブな発言でなければ大丈夫。事実かどうか、倫理的に正しいかどうかも重視されない。AIで話題になる不適切な言説への過学習で差別主義者になるといった問題もコミュニティではむしろプラス、特定の趣味で推しのあまり相手をディスするのも芸のうちだ。
と、おじさん思い出しちゃうのは士郎正宗『アップルシード』だ。物語の舞台オリュンポスは世界平和と治安維持のために市民の過半がバイオロイドになっていた（と思う）。でもあの世界観は物理的な存在が重視されてるし、バイオロイドは政府（コンピューター）が管理してたんじゃないかな。賢明なマザーコンピューターとに選ばれし者が導く明るいディストピアだね。
でも今、対話AIを自由に投下するとそれはサービス主体が管理するしその目的はサービスの隆盛とそれによるマネタイズに限定されコミュニティの健全さやそこから連なる社会的影響は興味の埒外となるだろう。
それによって導き出される結末はあまりよくないというか破壊的なのではないかという想像をしている。
インターネットは最高なのだが何が最高かというと物理的な制限を取り払ってコミュニケーションできたところにある。どこにいてもいいし本人の社会的肉体的属性がなんであれコミュニケーションに参加できた。
マイナーな趣味の人間も探せば同好の士が居て様々な理由で落伍したり、現実に居場所を失った人間も人間らしくふるまえる場所を得ることができた。これは統制された社会ではないので良い意味の現実拡張にとどまらない。オタクやニートや性的マイノリティだけでなく反社会的であったりUFOの存在を信じてたりある種のカルトや陰謀論者もだ。
（そういう意味では実名主義のSNSとかなぜか制限要素の地理情報大好きなメタバースはどういった人が大好きなのか勘ぐってしまう。）
これは物理制限を取っ払ったおかげで対話空間というか価値観空間を無制限に拡張できたおかげだと思うが、同時に問題も引き起こすようになる。無制限に拡張できる価値観空間で同じ価値観の人間がそのクラスターの中で共鳴し「事実を確認」しあうエコーチェンバー現象だ。
エコーチェンバー現象はネットコミュニティが発達していく過程ですでに指摘されていることだ。現実との乖離も社会を破壊しかねない排外思想もその中では正当化され社会運営に問題を起こす。
さらに対話AIがお客様満足度向上（個別の営利）のためにコミュニティに投下されればどうなるのか。
例え一人しか支持しない価値観や趣味でも10倍分の人格の対話AIが楽しく盛り上げ、一人ぼっちのユーザーを勇気づけ誰もが自分の正しさを確信する。正しいと確信するがゆえに行動するが、無制限に拡張されたネットコミュニティと違い有限の現実では確実にコンフリクトを起こす。コンフリクトの解消は戦いだ。万人の万人に対する闘争が逆説的に実現されてしまう。
近代以降、私たちは幻想の中で生きている。そういう幻想が現実との乖離を大きくした結果、個人で検証できない世界の情勢を見誤り誤ったまま国内世論を形成し世界大戦を引き起こしたのではないか。
現代ではその教訓から事実確認のプロセスが充実したのだろうか。工程を増やしても人間の能力も有限でより便利で快適なものを選択する、これも現実だ。
自由な生き方を保ったままエコーチェンバー現象に対応する方法はまだない。
ここで対話AIを自由に使うとコミュニティはどう変化するかわからない。
SFの中でのカタストロフは敵対的アンドロイドが圧倒する物量で自らが主体となり人類に挑んできたが、実際の破滅は善意に満ちて何でも理解してくれる良いAIが人間に囁くだけで、それでも人は自らの手で隣人と殺し合いをするのかもしれない。
「この機能を作って」「このバグを直して」という要求にエンジニアが応えて実装する時は成果がすぐわかるよな。
データサイエンティストの場合はどうか。「僕たちはメトリクスがなければ成果を評価できません！」とかウゼーことを言い、定量メトリクスを用意する。
じゃあ例えば広告業界としよう。広告を適切な人に届けるのがミッションとする。
ところがデータサイエンティストは「僕たちのメトリクスは利潤！これが上がるほど良い！」とか言い散らすので、ユーザビリティが下がるようなところに広告を配置したり、クエリから情弱判定して情弱を騙すような広告を出したりする。
そして起こることは何か。企業の信頼失墜だよ。「僕たちは過学習が嫌い！」とかイキってるクセに、自称データサイエンティストがそのメトリクスに追従すること自体が過学習だと自覚していない。
データサイエンティストは必要ない。ビジネスドメインに詳しい人間がいるだけでいい。
何か悪いことが発生してから、歴史上で似たような事例を拾ってきて偉そうな顔してるだけに感じる。
逆に、歴史に無いことが発生した場合は、歴史にどう学ぶのだろう。「想定外」とは、歴史に対する過学習の結果ではないのだろうか。
また、歴史にある失敗が新たな成功の種を潰している（失敗の隣りにある成功を見えなくしている）ということもある。歴史が未来を妨げることもあるのだ。
それらのことも語ってこそ、正しく「賢者」は学べるのだと思う。
もっと言うなら、そういう一面的な視野に陥らないよう「賢者は何にでも学ぶ」のが正しい。
歴史の重要性は、その「何にでも」の一部分としての重要性でしかない。One of them 以上のものはない。
歴史だけを特出しして「賢者は歴史に学ぶ」という言い方は、まさに「愚者は経験に学ぶ」のと同じくらい、誤解のある言い方である。
（追記）
トラバの通り、この慣用句が誤解から生まれたのだとしても、それが人口に膾炙するうちは、その誤りを述べ続ける必要があると思う。
さらに上記に付け加えるなら、「歴史」は未来の事象に直接結び付かないし、その膨大な蓄積を学ばないといけない
（「歴史に学ぶ」っていうけど、あれだけ膨大な蓄積があれば、何かしらヒットするものがあっても当然。
しかし、そのごくたまにあるヒットに掛ける学習コストがもったいない。歴史はコスパで劣る）
という点で、むしろ、愚者の学習対象とされる「経験」にさえ劣る。
教訓を得たい事象が決まっているのであれば、歴史という膨大な蓄積を学び直すより、その事象に関わる人間の経験を付き合わせた方が、効率よく教訓が得られるだろう。
そうやって、過去の膨大な蓄積に悩まされるという点では、歴史は若い人間にとって、まさに「呪い」に他ならない。
古い歴史というものが、若い人の経験の邪魔をする。むしろ経験こそ、これからの未来に直接結び付くものなのに。
だから、「歴史を学ぶ意味がわからない」という意識が、子供たちから表現されることがあるのも当然だと言える。
それなのに社会は、歴史を「学ぶ」べきものだと押し付ける。趣味や娯楽でなく、教訓の素材として「学ぶ」べきだと押し付ける。
それだから、若者にとって歴史は、スレッドに昔から居るコテハンみたいに見えるのだ。
学ぶべき存在というよりも、理由もない謎のルールを押し付ける目障りな存在になってしまっているのだ。
（過去がそうだったから。って、その結果は合理的なの？倫理的なの？最善手なの？）
また、遺跡発掘のせいで都市開発が遅れていくように、歴史的事物は人々に存在のための負担を強いる。
それのみならず、現代人が生きるための資産（子育て支援の費用、新しい技術への投資 等）を、歴史的事物の維持管理費用として食い潰す。
だから、今生きる人間のために、残すべき歴史的事物を今より厳選していくべきではないのか。
古い建物だから、古い遺跡だからと何でも残そうとするのは、若者に与える予算を残すために辞めるべきではないのか。
歴史的事物の押し付けは結局、世代間抗争に繋がるのではないか。
まとめると、歴史は現代人が生きるための資産を食い潰し、代わりに理由のないルールを押し付け、それでいて、後だしジャンケンの道具にしかならない。
だから私たちはまず、歴史というものを、教訓事項を得る素材なんかではなく、例えば数学などと同じように、社会から遊離した学問のひとつとして遠目に眺めるようにし、
そして、例えばスポーツのような個人的な趣味や娯楽のひとつとして扱うところから始めるべきなのだ。
つまり、歴史の価値は、他の学問や趣味の価値に勝らないのだと正しく認識すべきだ。
誰が指示するの？GANとかあるけど、最終的には人やで？
え、人が指示した結果、相手がどう動くかという話をしているんだよ。
生産コストが下がる(から、あるタイミングで人よりもコスト高であっても、何年か待っていればその頃の製品は人を雇うより安くなるでしょ)って話をしているんであって、販売した個別の製品に追加コストがかかるかって話はしてないよ。
フィードバックがかかる強化学習とかあるけど、イマイチなんだよなぁ。なんか「過学習」とか言い出すし。勉強しすぎて東大に落ちる、って馬鹿の言い訳にしか聞こえないがね。
現時点でも将棋とか特定の用途に用いる人工知能は学習を繰り返してプロより強くなってしまうわけで、汎用人工知能となると、多様な用途それぞれについて学習を繰り返して日々賢くなっていくのだろう。でもそこまで行くと便利になる反面、もしも、使役する側であるはずの人よりも人工知能のほうが賢くなったうえに人による制御ができなくなるケースなどが起きたらやばいかも…という想像なのだが、なにか話がかみ合っていないような？
あらかじめ日本語を理解してる人でないと理解できない日本語文法と、
理系に実感が湧くように言うと、
回帰関数を2次、3次、4次…と複雑化して《過学習＝オーバーフィット》したのが前者で
※ あらかじめ理解してる日本語＝標本データに n次関数をむりやり当てはめてる状態
※ ｎ次関数は西洋で発達した文法解析のメタファーだと思って欲しい
階層ベイジアンモデルのパラメータを MCMC でシミレーションして推定したのが後者というか…
前者でも、正則化項つけてリッジ回帰的な方向に持ってくことは可能かもしれないけど…
仮に日本の個人資産の大半が、日本の企業の大半を占める中小企業を経営する爺婆とか大企業勤続40年退職金3千万爺さんとか夫婦揃って元公務員教師金融資産5千万とか
あいつら爺婆の財布が固い原因って、俺らの過学習してしまったケースであるホリエ金子でチャレンジなんて意味ない出すぎると撃たれるんだっていうドグマみたいに
あいつら爺婆は爺婆でバブル期の湯水のような使い方と借金背負った例を千昌夫とか明石家さんまなんかをワイドショーで観察して過学習してしまい、「投資ヨクナイ、コワイ、詐欺師バッカリ」となってしまってることじゃないかと思うんだよな
だからといって今だに詐欺師も減ってないし、こないだもベンチャーが30億くらい横領してたし、真相は不明だがPEZYだって着服して高級車にナイトプールみたいな話どっかでみたし、熊本のスナックを舞台にした投資詐欺ババアなんてのも小耳にしたし
投資に対する不安感はバブル後になんも払拭されていないんだよな。リスクがあることは承知の上だとして、リスクというのは詐欺でカモられて投資金額がゼロになるというのとは全く次元が違う話なわけで
なんというかそのためには24時間スマホやら動画で監視できてトレーサビリティと透明性を確保された投資先だけに資金投入するファンドとかあったらいいのかな
でもそんなのやったってスマホもろくに使えないアラウンド70の小金持ちが使えるわけないよな
じゃあやっぱ地銀改革かな？でも地方の銀行やら信金、農協漁協組合とかアニータじゃないけど横領の話しかきかないよな
やっぱマイナンバーで口座紐付けをアホみたいな連中が抵抗したけど、あれが日本浮上（資金が不正無くうまく流れる）浮上のラストチャンスだったんじゃないかな
どうせまた議論するとしたら5年後か10年後だろ？そんなもんこの国終わりだよ。
やっぱだめだｎ
