  |
はてなキーワード: 過学習とは
文化庁のあれで大幅な尺とっているRAGならともかく画像生成AIはほとんど問題ないと思うよ。
文化庁のあれの注釈にもあるけれど、権利制限は主に学習時点の条件のであり、「当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的とする」はRAGと違って学習させた絵を直接出力するわけではないから「当該著作物の享受」になるにはコピー機レベルの過学習を意図的に行う必要になるし、「目的とする」となっていて結果ではないから例えばピカチュウの絵を出す目的で学習するとＮＧだけれど、いろんな画像を学習した結果ピカチュウが出力される場合もあるはＯＫ。目的なんて学習した奴以外わかるわけないじゃんとかいくらでも嘘つけるじゃんって話は、著作権法以外での「目的」と同様に状況証拠から推認することになって、たとえば文化庁のあれだとキャラクターLoraは「享受させることを目的とする」ことが推認されうるNGパターンとして例にあげられてる。SDみたいな汎用のやつはある特定の著作物を享受させることを目的と推認できることを証明するのはかなり大変じゃないかな。
「著作権者の利益を不当に害する」も学習段階の問題でやデータセット販売などが念頭にあり、例えば、学習目的なら無断で複製できるといっても有料で売ってるものを故意に割るのはNGよの為にある。むりやり生成時点の話にしても、30条４に限らずまだ存在しない著作物の権利を特定個人に保障するなんてのがないから、例えばJOJOの画風生成AIによって JOJOの既刊が売れなくなったならともかく、まだ描いていない新しいJOJOが売れなくなるはずは通らない
増田はネタでも一言一句まんまこれ言うのがAdoちゃんの客層だからな
まぁだからこそ、彼女を売り出している大人(ブレーン)のフィルターがあるとしても、年齢から考えたら相当お行儀の良い振る舞いしてるんだが
(キッズとメンヘラばっかだから過去には自殺未遂事件とか起きちゃったみたいだし)
以下再放送
ワイくんは『飾りじゃないのよ涙は』や『罪と罰』やジャズっぽい曲がすんげぇ良かったから、フツーに歌手として活躍して欲しいけどな
画像に関して
ニュースだけ追いかけている人には、性能が上がって凄い！という感想だと思うが、
実際に定期的に触った身からすると、確かに凄いけどなんだかな、という感想だ。
プロンプト共有サイトが沢山出たが、ほぼ同じプロンプトで回っているため一通り見ると参考にならない。
多数使い回されているプロンプトより、数は少ないが自分にあったプロンプトを探す旅に出ることになり不毛だ。
動画に関して
俺という生まれも育ちも今の境遇も何一つ努力してこなかったやつの末路の話なんだけどさ
将来像とか目標とかまったく思いつかないんだよ。
はてなを見ているような君たちは、「こういう学習をしてこういうふうになりたいんだ！」とかさ「趣味を続けてたら次の目標が見えてくる」みたいな
まず目標なんて持ったところで自分という頭が悪く、怠惰を極北のようなダメ人間がその目標を達成できるわけがないという過学習が過ぎてしまって、
何もやる気が湧いてこないというのが一つある。
あとその目標を見つけるための何が、学習でも趣味でもキャリアアップとかでもそういう対象が見つからないでいる。
今だって増田を書く前は、仕事から帰ってきて3時間ぐらいXやYouTubeを焦点の合わない目で見てぼんやりと過ごしてしまって
ふとこんな虚しさに気づいたばっかりに、不安になって増田を書いている始末。
https://arxiv.org/pdf/2304.10466.pdf
試行錯誤によって方針を学習する深層強化学習アルゴリズムは、環境と積極的に相互作用することによって収集された限られた量のデータから学習しなければならない。多くの先行研究が、データ効率の良いRLを実現するためには適切な正則化技術が重要であることを示していますが、データ効率の良いRLにおけるボトルネックの一般的な理解は不明なままでした。その結果、すべての領域でうまく機能する普遍的な技術を考案することは困難であった。
本論文では、非定常性、過剰な行動分布シフト、オーバーフィッティングなどのいくつかの潜在的な仮説を検討することにより、サンプル効率的な深層RLの主要なボトルネックを理解することを試みている。
強化学習ってよく知らない
我々は、状態ベースのDeepMind control suite（DMC）タスクについて、制御された体系的な方法で徹底的な実証分析を行い、遷移の検証セットにおける高い時間差（TD）誤差が、深いRLアルゴリズムの性能に深刻な影響を与える主犯であり、良い性能をもたらす先行手法は、実際、検証TD誤差を低く制御することを示した。この観察から、ディープRLを効率化するための強固な原理が得られる。すなわち、教師あり学習の正則化技術を利用することで、検証TD誤差をヒルクライムできる。
誤差を減らすのがDeepLearningだけど、それが時間差なのか。
我々は、検証TD誤差をターゲットとするシンプルなオンラインモデル選択法が、状態ベースのDMCとGymタスクにおいて効果的であることを示す。
1 はじめに
強化学習（RL）法は、大容量の深層ニューラルネット関数近似器と組み合わせた場合、ロボット操作などのドメインで有望視されている（Andrychowicz et al、
2020）、チップ配置（Mirhoseini et al.、2020）、ゲーム（Silver et al.、2016）、データセンターの冷却（Lazic et al.、2018）。アクティブなオンラインデータ収集の単位ごとに費用が発生するため（例．
実際のロボットを動かす、シミュレーションによるチップ評価など）、限られた経験量でも効率的に学習できる、サンプル効率の良い深層RLアルゴリズムを開発することが重要である。このような効率的なRLアルゴリズムの考案が、近年の重要な研究課題となっています（Janner et al、
2019; Chen et al., 2021; Hiraoka et al., 2021)。
原理的には、オフポリシーRL法（例えば、SAC (Haarnoja et al., 2018), TD3 (Fujimoto et al., 2018), Rainbow (Hessel et al., 2018)）は、データ収集のステップごとに多くの勾配ステップのポリシーと値関数を改善することを可能にするため、良いサンプル効率が得られるはずです。しかし、このメリットは実際には実現できないようで、1回の学習ステップを多く取りすぎることでを収集した各遷移は、多くの環境において実際にパフォーマンスを害する。過大評価（Thrun & Schwartz, 1993; Fujimoto et al., 2018）といったいくつかの仮説、非定常性（Lyle ら、2022）、またはオーバーフィッティング（Nikishinら、2022）が根本的な原因として提案されている。
これらの仮説に基づき、より多くの勾配ステップを持つオフポリシーRLを可能にする方法として、モデルベースのデータ増強（Jannerら、2019）、アンサンブルの使用（Chenら、2021）、ネットワークの正則化（Hiraokaら、2021）、再生バッファを維持しながらRLエージェントをゼロから定期的にリセット（Nikishinら、2022）などのいくつかの緩和戦略が提案されている。これらのアプローチはそれぞれサンプル効率を大幅に向上させるが、これらの修正の有効性は（これから示すように）タスクに大きく依存する可能性があり、根本的な問題やこれらの手法の挙動を理解することはまだ未解決である。
ICLR 2023で会議論文として発表 本論文では、より多くの勾配ステップを取ることが深層RLアルゴリズムの性能悪化につながる理由、ヒューリスティック戦略が役立つ場合がある理由、そしてこの課題をより原理的かつ直接的な方法で軽減する方法を理解しようとするものである。
最近提案されたタンデム学習パラダイム(Ostrovski et al., 2021)を用いた実証分析を通じて、TD学習アルゴリズムは、学習の初期段階において、すぐに高い検証時間差(TD)誤差(すなわち、保留した検証セットにおけるQ-ネットワークとブートストラップターゲットの間の誤差)を得る傾向にあり、悪い最終解をもたらすことを明らかにする。
このホワイト ペーパーでは、深い RL アルゴリズムで勾配ステップを増やすとパフォーマンスが低下する理由、場合によってはヒューリスティック戦略が役立つ理由、およびこの課題をより原則的かつ直接的な方法で軽減する方法を理解しようとします。 最近提案されたタンデム学習パラダイム (Ostrovski et al., 2021) を使用した実証分析を通じて、トレーニングの初期段階で、TD 学習アルゴリズムが高い検証時間差を迅速に取得する傾向があることを示します。
(TD) エラー (つまり、保留された検証セットでの Q ネットワークとブートストラップ ターゲットとの間のエラー) が発生し、最終的なソリューションが悪化します。 さらに、データ効率の高い RL 設定のために考案された多くの既存の方法が、検証 TD エラーを低く制御する限り有効であることを示します。
この洞察は、深い RL を効率的にするための堅牢な原則を提供します。データ効率を向上させるために、検証 TD エラーを山登りすることによって、特定の問題に最も適した正則化を選択するだけです。
この原則は、オンラインRLトレーニングの過程で特定のタスクに最適な正則化戦略を自動的に発見しようとする単純なオンラインモデル選択方法の形で実現され、これを検証TDエラーを使用した自動モデル選択(AVTD)と呼びます。
AVTD は、各エージェントが異なる正則化を適用する共有リプレイ バッファーで、いくつかのオフポリシー RL エージェントをトレーニングします。 次に、AVTD は、環境内で動作するための検証 TD エラーが最小のエージェントを動的に選択します。
この単純な戦略だけでも、多くの場合、さまざまな Gym および DeepMind コントロール スイート (DMC) タスクで個々の正則化スキームと同様のパフォーマンスを発揮するか、それを上回ることがわかります。 重要なのは、パフォーマンスがドメイン間で大幅に異なる可能性がある以前の正則化方法とは異なり、私たちのアプローチはすべてのドメインで堅牢に動作することに注意してください。
要約すると、私たちの最初の貢献は、サンプル効率の高いディープ RL のボトルネックの実証分析です。 これらの課題の背後にあるいくつかの潜在的な説明を厳密に評価し、トレーニングの初期段階で高い検証 TD エラーを取得することが、データ効率の高いディープ RL のパフォーマンスを阻害する最大の原因の 1 つであることを観察します。 私たちの 2 番目の貢献は、単純なアクティブ モデル選択法 (AVTD) です。これは、検証 TD エラーの山登りによって正則化スキームを自動的に選択しようとします。 多くの場合、私たちの方法は、さまざまな Gym および DMC タスクで、最適な個々の正則化スキームに匹敵するか、それを上回ります。
どこかの誰かがWebに色々ノウハウ描くかなと思っていたのだけども、思ったより見つからない。
自分が使うと、クオリティが低い画像が出てくるのだけど、他の人が使っているのを見るとクオリティが高い。
もう少し正確に書くと、ディテールが崩れたような画像ばかり出る。
Sampling Stepが低いわけでなく、大きくしても途中から変わらない。（20くらいでサチる）
Hiresfixを最近は使うらしいというのまでは知ったが、
Hires stepを大きくしても変わらず、denoisingの値を色々振って変わるがクオリティ良くならない。
Upscaler色々試したがわからず。
Controlnetなど使ってポーズいじりだすと更にクオリティ落ちる。
Latent Couple、Composable Loraを使うと更に落ちる。
RTX3090でxformer使ってるのに1.5 it/sくらいしか出ず、なんで他の人は40 it/sとか出てるのか…。
LoRAも学習させてみたけど、絵は変わるけど、上手く作れなかった。
ラーニングレートやepoch数などノウハウ色々あるみたいだが、すぐに過学習になるか、変わらないかだった。
人体が崩れやすい。
Stable Diffusion2.1は、12月に発表されたが、あまり使っている人がおらず、プロンプトが発掘されていない。
公式が出しているプロンプトをそのまま入力すると、クオリティ高くなるが、単純に入力すると破綻した画像しか出てこない。
Stable Diffusion2.1から学習させたものだと
が有名だろう。（他にもあるが省く）
illuminati diffusionの公式が出している画像のように、クオリティ凄いと思って使ってみると全然出なかったりする。
Dreambooth、LoRaで学習させようとしても、変わるが効かない。
illuminati diffusionはEveryDream trainerで学習させていると言っているので、学習出来るのだろうが、どうも過学習っぽい(ように感じる）
waifu-diffusion v1.5 beta2も、過学習っぽく感じる。
過学習っぽいというのは、プロンプトは全然効かない、構図を変えようとするとおかしくなる。
