「過大評価」を含む日記 RSS

はてなキーワード: 過大評価とは

2023-06-06

ブルアカ語るのなんて一言で十分だろ

シコれるキャラを用意すればアバタもエクボで勝手オタク評価するからオタク人気出そうなキャラ業界において枠が空いてそうなのを片っ端から実装していけばそのうち勝手過大評価されるようになる

2023-06-02

anond:20230602204839

若い頃の孔明は自らを管仲楽毅比肩する才能があると自負していたようだけど、実績からいうと政治・軍略いずれにおいても孔明の才は両者に遠く及ばなかった。

三国志演義に描かれる時代はとくに傑出した人物がでなかったおかげで小競り合いが長引いて、物語の脚色上ろくに実績のない武将文官まで英雄扱いされてしまっているだけで、

他の戦乱期と比較してみればスケールの大きな人物ほとんど輩出されない小者だらけの時代だった。

創作世界では三国志最強武将として扱われる呂布も一時期曹操を苦しめていたのが過大評価されてるだけで他の時代の名将たちと比較して華々しい戦歴があるわけではないし、

あくま三国志前半の物語を盛り上げることのできる特異な経歴をもったトリックスターであったということだけが呂布の強みであり値打ちだった。

2023-05-29

anond:20230529113431

うそうどっちも「既存権威に対する反抗(中身が空っぽから反抗しかできない)」「集団で集まって陶酔感にひたる(現実生活がうまくいってない)」「自身の知能への過大評価馬鹿だけど賢くなった気分になれる)」の3点が同じなんだよ

2023-05-28

colabo擁護派の悪いクセ

例えば公金1億円注入してもらって成果が歌舞伎町コンドームひとつ配っただけとする

この場合普通なら「1億円ももらって成果がコンドームひとつ配っただけかよ…」となるけど

擁護派は「コンドームひとつ渡せたことが素晴らしいじゃないか!」と過大評価する

さらに言えば「公金注入しなくなったらコンドームひとつすら配れなくなるんだぞ!」と意味の分からない主張までする

デカジャンルにいると

ちょっとした絵描くだけですごく伸びるから承認欲求は満たされるけど、ちょっとした絵なのにすごく伸びちゃうから中身の伴わない過大評価がかえって嫌になる 

自分の絵にそこまでの価値がないことは自分が一番分かってる

2023-05-19

ティアキンが発売日に売れまくった」のは「ティアキンが面白いから」ではないんだよね

あくまで「ブレワイが面白かった」からしかない。

この辺を未だにゴチャゴチャにしてるメディアがいて怖い。

発売前の圧倒的人気は初期の売上に直結するけど、作品クオリティとの相関関係は決して高くない。

これは「E.Tの悲劇」が証明している。

現在は発売直後からレビューが沢山出るようになったし、フラゲしてレビューするのを生きがいにしてる連中もいるか前評判が完全に過大評価場合はすぐに知れ渡っている。

でも過大評価の程度が緩やかな場合は多くの人が「なんとなく期待外れだったかも」と口にするまで真実ヴェールを被ったままに時が過ぎる。

おおむね平均クリアタイムを4時間で割ったぐらいか一般的プレイヤー評価が並びだす。

クリアタイム50時間程度なら2週間ほどしないとデータは揃わないと言える。

2023-05-08

anond:20230508165158

他人依存している人は基本的メンヘラって呼ばれるし、

恋愛に異常な価値をおいてる人は自己愛性が疑われる

特別であるという空想

患者は大きな業績という空想(圧倒的な知能または美しさについて賞賛されること、名声や影響力をもつこと、または晴らしい恋愛を経験すること)にとらわれています。自分が、普通の人とではなく、自分と同様に特別で才能のある人とのみ関わるべきであると考えています患者はこのような並はずれた人々との付き合いを、自尊心を支え、高めるために利用します。

 

賞賛を受ける必要性

自己愛パーソナリティ障害患者は過度の賞賛を受ける必要があるため、者の自心は他者からよく思われることに依存しています。このため、患者自尊心は通常は非常に壊れやすものです。患者はしばしば者が自分のことをどのうに考えていかを注視しており、自分がどれだけうまくやっているか吟味しています

自己愛パーソナリティ障害患者は、他者による批判、また恥辱感や敗北感を味わう失敗に敏感であり、これらを気にしています。怒りや軽蔑をもって反応したり、荒々しく反撃したりすることがあります。または、自尊心を守るために、引きこもったり、表向きはその状況を受け入れたりすることもあります患者は失敗する可能性のある状況を避けることがあります

 

 

診断

自己愛パーソナリティ障害の診断を下すには、以下の5つ以上に示されるように、自分価値についての過大評価賞賛への欲求共感性のなさが持続的に認められる必要があります

 

  • 自分重要性や才能について、誇大な、根拠のない感覚を抱いている(誇大性)。
  • 方もない業績、影響力、権力、知能、美しさ、または素晴らしい恋という空想にとらわれている。
  • 自分特別かつ独特であり、最も優れた人々とのみ付き合うべきであると信じている。
  • 無条件に賞賛されたいという欲求をもっている。
  • 特権意識をもっている。
  • 標を達成するために他者を利用する。
  • 性に欠けている。
  • 者を嫉妬しており、また他者が自分を嫉妬していると信じている。
  • 慢かつ横柄である。

 

https://www.msdmanuals.com/ja-jp/%E3%83%9B%E3%83%BC%E3%83%A0/10-%E5%BF%83%E3%81%AE%E5%81%A5%E5%BA%B7%E5%95%8F%E9%A1%8C/%E3%83%91%E3%83%BC%E3%82%BD%E3%83%8A%E3%83%AA%E3%83%86%E3%82%A3%E9%9A%9C%E5%AE%B3/%E8%87%AA%E5%B7%B1%E6%84%9B%E6%80%A7%E3%83%91%E3%83%BC%E3%82%BD%E3%83%8A%E3%83%AA%E3%83%86%E3%82%A3%E9%9A%9C%E5%AE%B3-npd

2023-05-06

友人との別れ

15年くらい前に知り合った友人と最近どうにも話が合わない。

結局のところ、私は彼を過大評価していたのだと思う。

私がこうあってほしいと思う人物ではなかったのだ。

それがわかってしまったので、もはや彼が何を言っても批判的になってしまう。

正直、相手に何かを期待するというのは、相手に失礼だと思う。

悪いのは私の方だ。それはわかっているつもりだ。

友人であることをやめなくても良いかもしれないが、距離は取った方がいい。

しばらく話すのをやめようと思う。

anond:20230506031312

商業的に売れてるけどそんなの関係ない、

ガンダムより洗練されてるけどそんなの関係ない、

クリエイターに影響を与えてるけどそんなの関係ない…

それだけでは「格」は決まらない!

というのなら、売り上げや洗練さや影響度を持ってしても過大評価と言える理由ちゃんと述べればいいと思うよ

さっきからなんか色々言ってるわりに結局何も言ってないので

じゃあ自分は何を評価するのか?が根本的に抜けてる

anond:20230506031312

うーんとね、、、エヴァが第何時かのアニメブームを牽引してクリエイターに影響を与えて商業的にも大成功した、ってのはわりと一般的な言説として存在してるよね?

はっきりいうが俺はファンでもないなんでもない、何度も言うけど一般的存在してる言説を例に出しただけなの。なんでさっきもこれ言ってるのに俺をファン扱いするのかよくわからないんだけども。

てかまあ流れを見りゃわかると思うけど、そもそもエヴァの話が主題ではなかったからね。

君がエヴァ過大評価されてると思ってるのは、わかった、わかったよ。

とはいえもう20年以上前のことだからから検証するのは大変だし、

存在するああいった一般的な言説が人々の共通認識として撤回されるまで今更考えが変わることもないので、

君が時代背景や具体的なデータを整理した上で記事でも書いてくれよ。

その考えが一般化されたら俺も心機一転思い直すから

日本人はなぜ生産性が低いのか、小学生の授業での話

俺が小学生の頃。

体育の授業が終わりに近づき、平均台バランス台)をクラスの皆で片付けることになった。

あれは小学生1人では動かせないため2人から4人がかりで移動させていた。

平均台は6本から8本くらいあっただろうか。

女子2人で運んでいるチームがいて、俺はそこを手伝おうと彼女らに加わった。

そうすると他のクラスメイトも次々と加わり、平均台を6人くらいで運んでいる状況だ。

6人という人数はこの小ぶりな平均台からすると明らかに人員過剰でかえって運びにくいし危険

また他にも女子2人だけ運んでいるチームがいた。

こっちは人数が十分すぎるから、俺は手を離しそっちのチームの手伝いに入った。

そのほうが全体として片付けというミッションは早く終わるから。つまり生産性が高い。

しかしそれを見ていた先生評価は違った。

片付けが終わり、先生の授業の締めの話の時間

先生は皆の前で俺の行いを「無責任」として晒し上げた。

とにかく皆で運んでいるのだから最後まで皆で運べというみたいなことを言っていた。

年のいったおばちゃん先生だったし合理性よりも「教科書通り」を重視した結果だろう。

状況とか結果とか二の次なんだろう。

一連の件が日本の縮図なんじゃないかと思ってる。

状況を判断し、全体の結果を改善しようとする人よりも

教科書通り」無難にこなす人間過大評価しがちじゃないか

まあこんなこというと主語デカイと言われそうだけど。

でもGAFAみたいな革新的会社日本から出なかったのと関係あると思うんだよなぁ。

2023-05-04

イラストAI規制二次創作規制はセットで行えって言ってるだろ

タイトルの通りだ。

AI反対派の絵師ガイドライン違反二次創作をしてるのを見て、改めて思った。

とにかく、ネット絵師様達はイラストAIに対して攻撃的なのに、自分たちの振る舞いは自分勝手すぎる。以下に例を書く

違法二次創作を当然の権利のように行うな

AI学習著作権法違反で叩くのなら、自分たちのやりたい放題の二次創作を考え直せ。

お金を取ったり、ガイドライン違反が当たり前だったり、もはやモラルハザードなんだよ。

二次創作著作権法における翻案権同一性保持権侵害なんだよ。法律に立ち返れ。

AIの方だけ違反だとかよく叩けるよな。

学習されてる!違反だ!ってその学習元こそ違反して作られてるじゃねえか。

学習元の利益を損ねる学習違反だ?いやお前らの利益だって違法に得たものじゃねえか

自分たち要求が常に通ると思ってるのが怖い

絵師たちは二次創作は黙認だとかお目こぼしだというが、もはやそうされるのが当たり前だと思ってるだろ?

なんで自分たちで黙認だとか判断してるんだよ。何の権利があるんだ。

東方みたいに極めて寛大な作品もあるが、それをアニメゲーム全体に拡げるな。

これもツイッター代表する絵師界隈がムラコミュニティ形成してるのが悪い。

村社会理屈で何でも決めてそれがネット全体に適用できると思うな。

二次創作で金取るな。ガイドラインは守れ

まあ二次創作にはファン活動という面もあるから無料で見られる場所に絵を描いてアップするのはまだわかる。

でもなんでfanboxとかskebで金取ってるんだよ。なんとも思わないのか。ダメに決まってるやろが。

しかエロとかのガイドラインし放題じゃねえか。

人の著作物で金儲けするんじゃないよ。違法に盗んだもの売ってんじゃねよ。盗品市場か。

なのにトレパクに対して厳しすぎる

二次創作はやりたい放題なのに、トレパクには異様に厳しい。まるで殺人以上の重罪扱い。

トレパクを殺人以下の重罪にするな、実際には著作権法違反判例が出たこともないんだ。トレパクが違法とは限らない。

自分たちルールを決めて、自分たちでトレパクを私刑して裁くな。なんで平然と立法司法を兼ねてるんだよ。分立しろ

絵師という呼び名への謎のこだわり

そもそも絵師って、イラストレーターという単語が先にあって、イラストレーターのような大層な身分じゃないなあ、じゃあせめて絵師と名乗るか、という経緯で生まれ

へりくだった肩書のはずだったのに、絵師様でございみたいな態度の奴が多すぎる。

所詮ちょっと絵を描けるだけなんですみたいな謙虚なやつはいないのか。

そもそも絵師ってさ(笑)。お前ら浮世絵とか描けるのかよ。幕府お抱え絵師になれるのかよ。なれないだろ。

でも若い絵師様達はある意味被害者だよ

若いころからコミケが当たり前にあってネットが当たり前にある20代前半以下は、ある意味かわいそうだよ。

これって著作権法違反じゃないですか?とかお金取っていいんですか?とか顧みる機会がない。

だって先輩方が当たり前のように法律違反してるから

ちょっとでも村の掟に背いて疑問を呈したらフルボッコになる環境だもんね。

先輩たちはちゃんと正しい教育をしないといけないんだよ、本来

無産とかいうひどすぎる蔑称をやめろ

先日のスープストックの件でもちょっと言われてたが、無産という言葉一部の人精神ダメージが大きすぎる。

自分の友人でも、10年くらいやっと不妊治療をして流産経験してやっと子供産んだ人とか、

どうしても子供が欲しくても40代になって諦めた人も知ってる。

その人たちがこの言葉を聞いたらどう思う?

たかが絵が描けないだけでここまで罵倒されるんだぜ。

身長***センチ以下は人権しよりはるかにひどい言葉だよ。

絵が描けないだけで生殖活動できないようなことな言葉、よく使えるな。

この言葉はひどい言葉から言い換えましょうとか、振り返ったことありますか?自分は聞いたことがないね

嫌われてなかったと思ってるのが驚き

イラストAIが出てから絵師たちの中には自分たち攻撃されていることに驚いている人がいる。

いやこっちがびっくりだよ。今まで嫌われてなかったと思ってるの?

これだけモラルハザード起こしてて、かつ絵が描けない人を無能力者のごとくゴミ扱いしててさ。

自分たち客観的に見る能力ないんですか?

絵師にくっつく囲いとかいう奴らも悪い

所詮モラルハザード集団の大したことない絵師にもさ、なぜか推し文化が波及して囲いが付く。

推し絵師だとか寒い言葉を言い出す。こいつらが絵師様を調子に乗らせてる。

腰巾着のごとき囲いのやつらさ、君ら推すことが目的になってるだろ?推す価値がある対象か、考えたことあります

一次創作者が神で二次創作者はコバンザメ以下であるのとを自覚しろ

一次創作してて、だれにも真似できない絵を描いてる人はえらいと思うよ。

そういう人の絵は楽しく見させてもらってます

二次創作からスタートして一次創作するようになった人もまあわかる。

それに比べて一次創作もできないコバンザメ以下はもっと謙虚になって自覚を持てよ。

絵を描けるという能力過大評価しすぎ

絵が描けるというのは人間能力であるが、君たちはあまりにもその能力過大評価しすぎ。

絵が描けない人たちを無能力者のようにゴミ扱いしてて罵倒してるだろ。

あくま能力の1つにすぎないんだよ。わかりますか?

例えば将棋プロ棋士が、将棋が下手な人を馬鹿にしたら、

ちょっと将棋ができるからってなんだよとって腹が立つだろ?それと同じなんだよ。世の中の一つの能力にすぎない。

でもこれで人権の有無を決めるがごとく振舞えるのがすごいわ。

絵を描く事にアイデンティティメンタル依存しすぎ

なぜここまで絵師攻撃的なのかというと、絵を描けることだけがアイデンティティからだよ。

そりゃ自分アイデンティティ攻撃されてるなら過剰反応するよな。

あとろくに収入得てなくて二次創作で食いつないでる人も攻撃してるだろうな。

そう考えるとちょっと絵がかけるだけのニート崩れが食えてたのがおかしいんだよ。真っ当な職に就け。

でもAIは君たちの筆を折らない

これも不思議なのだが、AIは君たちから絵を描くことを奪ったりしない。

いや、描きたければ黙って描けばいいじゃん。一次創作者の利益を損ねない範囲で。

なのに絵が描けないと咽び泣く。

ようは絵を描くのが好きなのではく、チヤホヤされたい、承認欲求を満たしたいだけなんだろ?正直になれよ。

昔の人たちにはリスペクトしま

コミケだって100回以上の歴史がある。昔に何もないところから二次創作文化を立ち上げた人はえらいと思うよ。

ネット携帯電話も一切ないころに、権利を勝ち取るべく頑張ったんだ。

それに比べて今のネット絵師の人たちは何の権利も勝ち取ってなく、いつの間にか得られた権利の上で甘えてる

フリーライダーなんだよ。わかる?

二言目には好きとか愛とかリスペクトとか、そんなもんが免罪符になるか

こないだの反AI絵師も、責められたらすぐに好きだから愛だからリスペクトしてるから許してくださいとか言う。

真に好きだったら一次創作者の権利を何も考えず侵したりしないよね。

責められなくても、好きだからいいよねとかすぐ言い出すやつがネットに多すぎる。

ホント言葉が軽いよな。愛とかリスペクトとかの言葉に対して遜色ない行動を取れているとは思えない。

AI絵師は描いてない!出力してるだけ!と言う人たちへ

から何?呼び方だけの問題なの?描いてないから何?

AIイラスト絵師にまつわる問題は、法律ガイドラインについての問題なんだよ。

前も言ったけど絵師という言葉に対する異常なこだわり、滑稽すぎるよ。

君らが満足するのならAIプロンプターでもAIジェネレーターでも好きに言葉を作るよ。

それで満足なの?それが本当の問題なの?

僕たちはお金を取らないと二次創作続けられないんです!と言う人たちへ

あのさ、ファン活動・好きでやってる活動趣味活動お金を使うのは当たり前だろ?

キャンプ趣味の人はキャンプ道具に当然お金をかけるだろ?

それなのに君たちはお金をかけないどころか、利益を出そうとしてる。

昔のようにネットもなく遠征して即売会赤字覚悟で売ってるのはまだわからなくもない。

でもネットデジタルで書いてデジタルでアップするのなんてそれよりめちゃくちゃコスト低いじゃんか。

それなのお金かけたくないとか、何言ってるの?

お絵描きツール代がかかる?だからさっきのキャンプ道具の例で考えてみろよ。

時給分のお金が欲しい?ファン活動なのになんで時給もらえるの?実は仕事なの?

同人グッズはアウトだが絵はセーフだ!と言う人たちへ

からなんで君たちがルールを決められるの?なんで勝手に線引きをするの?いい加減にしろ

AIなら二次創作お金取っていいのかよ!と言う人たちへ

いいわけないじゃん。AIだろうと著作権法違反は同じなんだよ。そこはAIでも手描きでも変わらんよ。

それなのにAI絵師ウマ娘●ロだけ攻撃するんだもんな。ダブルスタンダードやめろ。

結論

イラストAI法律面で規制するなら、二次創作法律規制しろ、それでイーブンだ。

法律平等だ。一方だけに法の裁きが下ることは許されない。

二次創作お金を取るとかガイドライン違反をするとかもってのほかだ。というかそいつらは警察逮捕されろ。

具体的には二次創作は申告制や許可制にするか、無料で誰でも見られる場所の絵のみ許可するかだ。

即売会でも無料で配布しろ販売ではなく頒布なんだろ?ごっそり持ってく人がいるならせめて100円以下にしろ

また一次創作元がガイドラインを定めるなら、それを金科玉条のように崇めて従え。

ガイドラインがない作品に対しては基本的二次創作不可だと思え。違反はどんどん警察が取り締まれ

自分たち濫用しすぎな権利について見直すいい機会を、AIによって得られたと思えよ。

2023-05-01

anond:20230501211432

絵の描き方って体系化されててきちんと正しいセオリーに沿って学べばSNS投稿してる絵師レベルスキルは身につけられるぞ。

間違ったこ解説してる本とか動画で変なこと吹き込まれないで、真っ当な名著と呼ばれる本で正しいことを学べばな。

内容が時流に乗れるかは別としてな。

あと、オタク文化特別興味のない人間からは大した拡散力になってないので、増田過大評価しすぎかもしれん。

2023-04-30

どうやったら幸せになれるんだ

仕事は年々プレッシャーが強くなり(てか転職でか)自殺が常に頭をよぎり始める。まだ行動に至るまでではないが、常に頭をジブジブ焼かれている。

子供はいるがまだ小さい。わけあって一人で生きていくのは難しいかもしれない子だ。当然俺が死ぬ訳にはいかない。あの子にはどんな形でもいいから本人が幸せを感じて生きてほしい。多少他人迷惑かけるかもしれん。俺が代わりに死ぬから許せ他人の方々。

仕事をしている人々はなぜ正気でいれるのか。実はみな自殺と隣り合わせて笑い合ってるのだろうか。かといってなんかほぼ責任とか増えずにやってる人々もそれはそれで別に幸せそうではない。

なんでみんなそんな普通に仕事してるんだ。土日も子供連れて友達の家に行って俺はずっとパソコンにらめっこ。友達の子供と遊んでいたけど、全然かまえない。情けない、ダサい、カッコ悪い……そんなものになりたくなかった。颯爽と定時で仕事を終えていた俺はどこに行った。

10何年も無駄に年次だけ増えて、若い人のほうが仕事素早くできて、俺は足引っ張ってしかいない。でも給料だけはもらって…見合ってない高給がこんなに自分を追い込むとは思わなかった。有能だけが高給になるべきだなほんと。。いやできると錯角はしていたんだが。。

昔は尻拭いもしたことはあったが、拭われる方もなかなか辛いな。なんでこんなに無能なんだ俺は。子供がかわいそうだ。ウチに産まれしまったお前に謝りたい。最低限食って行けるなら、あとは経済力よりもいか子供のことを考えられる親か。金でなく時間をかけて、可能性を一緒に考えてあげて。できてない今俺はそれが。こんな人間ではなかったのに。仕事がつらい。

客は俺に高い金を払ってる。こんな無能に。本当に申し訳ない。下手したらこんな増田身バレしてしまうかもしれない。「これあの無能高給おじさんじゃねwさっさと抜けろよw」とか…むしろそのくらい言っててくれ。会社にも迷惑がかかる。しかし吐き出さずには辛い……

適切な評価ってのは、つまり地獄への入口だよ…(俺のは過大評価かもしれんが)。出世したいよみたいな空気感を出すんじゃなかった、本当はのうのうと過ごしていたかった。

自決は多分保険金出ないよな、追い詰められたら田舎にでも行けばいいとか言うやつもいるが、追い詰められたら思考回路なんて回らん。もはや飲み屋の予約一つできなくなってきた。GWも予定はボロボロ年金も今辞めたらめちゃしょぼい額になって、そこからどう生きていくんだ。。

身の丈、身の丈。それが一番だな。でも身の丈って自分じゃ全然からない。

あーーー仕事が進まない。終わらないじゃなくて進まない。

2023-04-27

ソシャゲサービス開始時には回復持ちキャラがやたら持てはやされる

そして戦力が揃う頃には回復しかできないかいらない子になり、ありゃあ過大評価だったなぁとなるのだ

全部知ってる

2023-04-24

anond:20230424210649

いや「子供産みたく無い〜」みたいな増田見かけて書いたのはそうだけど、「男は射精するだけなのに子供欲しいって希望できるのはおかしい」みたいなセンテンスは見てなかった

適当斜め読みした感じやたら出産におけるリスク宗教じみた過大評価されていたのでこういうエントリになったという運びなんだわ

その上で「男は射精するだけなのに子供欲しいって希望できるのはおかしい」という話とリスク受容の基準の話は別に関係無いよねって言ってんの

理解できた?

2023-04-22

倍速視聴批判するなら「え?お前[何十年も前の古典]も知らないの?」を辞めろ

そうやって「人生でさっさと消費しておかなきゃいけないコンテンツ」を次々積み上げていけば倍速でどうにかするしかなくなるだろうよ。

まあ大抵は思い出補正過大評価されているだけ。

たとえば今の老害のび太宇宙戦争のび太魔界冒険人生で必ず見るべき傑作として語るけどそんなレベル作品なんかじゃないだろ。

まあその程度のカスは黙ってなさいってことだ。

「お前が無視すればいいだろ」っていうのは違うぜ?

電話してる時にくそウッセー選挙カー騒音邪魔されたのを「無視すればいいだろ?」で終わらせられるかって言うと違うだろ?

邪魔なんだよ。

くせー息をする口を閉じろって言わないと伝わらねえか?

内臓だけじゃなくて脳みそも腐り始めてるんだよお前らは。

これぐらいハッキリ言えば少しは伝わるか?

自分気持ちいい忠告以外は聞きたくないか

ただのメモ

https://arxiv.org/pdf/2304.10466.pdf

効率的な深層強化学習には過学習規制必要

 

試行錯誤によって方針学習する深層強化学習アルゴリズムは、環境積極的相互作用することによって収集された限られた量のデータから学習しなければならない。多くの先行研究が、データ効率の良いRLを実現するためには適切な正則化技術重要であることを示していますが、データ効率の良いRLにおけるボトルネック一般的理解不明なままでした。その結果、すべての領域でうまく機能する普遍的技術を考案することは困難であった。

論文では、非定常性、過剰な行動分布シフトオーバーフィッティングなどのいくつかの潜在的な仮説を検討することにより、サンプル効率的な深層RLの主要なボトルネック理解することを試みている。

  

効率のいい強化学習って難しいんですね

強化学習ってよく知らない

 

我々は、状態ベースDeepMind control suite(DMCタスクについて、制御された体系的な方法で徹底的な実証分析を行い、遷移の検証セットにおける高い時間差(TD)誤差が、深いRLアルゴリズムの性能に深刻な影響を与える主犯であり、良い性能をもたらす先行手法は、実際、検証TD誤差を低く制御することを示した。この観察からディープRLを効率化するための強固な原理が得られる。すなわち、教師あり学習正則化技術を利用することで、検証TD誤差をヒルクライムできる。

 

時間差(TD)誤差ってやつがだめらしい

誤差を減らすのがDeepLearningだけど、それが時間差なのか。

  

我々は、検証TD誤差をターゲットとするシンプルオンラインモデル選択法が、状態ベースDMCGymタスクにおいて効果であることを示す。

1 はじめに

強化学習(RL)法は、大容量の深層ニューラルネット関数近似器と組み合わせた場合ロボット操作などのドメインで有望視されている(Andrychowicz et al

2020)、チップ配置(Mirhoseini et al.、2020)、ゲーム(Silver et al.、2016)、データセンターの冷却(Lazic et al.、2018)。アクティブオンラインデータ収集単位ごとに費用が発生するため(例.

実際のロボットを動かす、シミュレーションによるチップ評価など)、限られた経験量でも効率的学習できる、サンプル効率の良い深層RLアルゴリズムを開発することが重要である。このような効率的なRLアルゴリズムの考案が、近年の重要研究課題となっていますJanner et al

2019; Chen et al., 2021; Hiraoka et al., 2021)。

原理的には、オフポリシーRL法(例えば、SAC (Haarnoja et al., 2018), TD3 (Fujimoto et al., 2018), Rainbow (Hessel et al., 2018))は、データ収集ステップごとに多くの勾配ステップポリシーと値関数改善することを可能にするため、良いサンプル効率が得られるはずです。しかし、このメリットは実際には実現できないようで、1回の学習ステップを多く取りすぎることでを収集した各遷移は、多くの環境において実際にパフォーマンスを害する。過大評価(Thrun & Schwartz, 1993; Fujimoto et al., 2018)といったいくつかの仮説、非定常性(Lyle ら、2022)、またはオーバーフィッティング(Nikishinら、2022)が根本的な原因として提案されている。

これらの仮説に基づき、より多くの勾配ステップを持つオフポリシーRLを可能にする方法として、モデルベースデータ増強(Jannerら、2019)、アンサンブル使用(Chenら、2021)、ネットワーク正則化(Hiraokaら、2021)、再生バッファを維持しながらRLエージェントゼロから定期的にリセット(Nikishinら、2022)などのいくつかの緩和戦略提案されている。これらのアプローチはそれぞれサンプル効率を大幅に向上させるが、これらの修正有効性は(これから示すように)タスクに大きく依存する可能性があり、根本的な問題やこれらの手法挙動理解することはまだ未解決である

 

ICLR 2023で会議論文として発表 本論文では、より多くの勾配ステップを取ることが深層RLアルゴリズムの性能悪化につながる理由ヒューリスティック戦略が役立つ場合がある理由、そしてこの課題をより原理的かつ直接的な方法で軽減する方法理解しようとするものである

最近提案されたタンデム学習パラダイム(Ostrovski et al., 2021)を用いた実証分析を通じて、TD学習アルゴリズムは、学習の初期段階において、すぐに高い検証時間差(TD)誤差(すなわち、保留した検証セットにおけるQ-ネットワークブートストラップターゲットの間の誤差)を得る傾向にあり、悪い最終解をもたらすことを明らかにする。

このホワイト ペーパーでは、深い RL アルゴリズムで勾配ステップを増やすパフォーマンスが低下する理由場合によってはヒューリスティック戦略が役立つ理由、およびこの課題をより原則的かつ直接的な方法で軽減する方法理解しようとします。 最近提案されたタンデム学習パラダイム (Ostrovski et al., 2021) を使用した実証分析を通じて、トレーニングの初期段階で、TD 学習アルゴリズムが高い検証時間差を迅速に取得する傾向があることを示します。

(TD) エラー (つまり、保留された検証セットでの Q ネットワークブートストラップ ターゲットとの間のエラー) が発生し、最終的なソリューション悪化します。 さらに、データ効率の高い RL 設定のために考案された多くの既存方法が、検証 TD エラーを低く制御する限り有効であることを示します。

この洞察は、深い RL を効率的にするための堅牢原則提供します。データ効率を向上させるために、検証 TD エラー山登りすることによって、特定問題に最も適した正則化選択するだけです。

この原則は、オンラインRLトレーニング過程特定タスクに最適な正則化戦略自動的発見しようとする単純なオンラインモデル選択方法の形で実現され、これを検証TDエラー使用した自動モデル選択(AVTD)と呼びます

AVTD は、各エージェントが異なる正則化適用する共有リプレイ バッファーで、いくつかのオフポリシー RL エージェントトレーニングします。 次に、AVTD は、環境内で動作するための検証 TD エラーが最小のエージェントを動的に選択します。

この単純な戦略だけでも、多くの場合、さまざまな Gym および DeepMind コントロール スイート (DMC) タスクで個々の正則化スキームと同様のパフォーマンスを発揮するか、それを上回ることがわかります重要なのはパフォーマンスドメイン間で大幅に異なる可能性がある以前の正則化方法とは異なり、私たちアプローチはすべてのドメイン堅牢動作することに注意してください。

要約すると、私たち最初の貢献は、サンプル効率の高いディープ RL のボトルネック実証分析です。 これらの課題の背後にあるいくつかの潜在的説明を厳密に評価し、トレーニングの初期段階で高い検証 TD エラーを取得することが、データ効率の高いディープ RL のパフォーマンスを阻害する最大の原因の 1 つであることを観察します。 私たちの 2 番目の貢献は、単純なアクティブ モデル選択法 (AVTD) です。これは、検証 TD エラー山登りによって正則化スキーム自動的選択しようとします。 多くの場合私たち方法は、さまざまな Gym および DMC タスクで、最適な個々の正則化スキーム匹敵するか、それを上回ります

ログイン ユーザー登録
ようこそ ゲスト さん