  |
はてなキーワード: ヒューリスティックとは
1980 年代、心理学者のリチャード E. ペティとジョン T. カシオッポは、説得がどのように機能するかを説明する「精緻化尤度モデル」を開発した。ここでの「精緻化」とは、その情報をどれだけ注意深く考えるかという意味である。人々に注意深く考える意欲と能力がある場合、「推敲の可能性」は高くなる。これは、人々が関連情報に注意を払い、メッセージの議論の利点に基づいて結論を導き出す可能性が高いことを意味する。
他人を説得するには少なくとも2つの方法がある。最初の方法は「中央」ルートと呼ばれ、聞くメッセージを注意深く熟考することから生まれる。中央ルートが関与している場合、提示された情報を積極的に評価し、それが真実かどうかを見極めようとする。一方で「周辺」ルートが関与している場合、実際の情報やメッセージの内容以外の手がかりにさらに注意を払う。たとえば、誰かのメッセージの実際のメリットを考慮せずに、その人の魅力や教育を受けた場所に基づいてその人の主張を評価する可能性がある。
周辺ルートを通じてメッセージを受け入れる場合、中央ルートを通じてメッセージを受け入れる場合よりも受動的になる傾向がある。
有名な心理学者のスーザン・フィスクとシェリー・テイラーは、人間を「認知的守銭奴」と特徴付けている。彼らは「人間の情報処理能力には限界があるため、できる限り近道をするのです。」と書いている。
動機や議論を処理する能力が低下するにつれて、説得には周辺的な手がかりがより重要になってくる。
議論（中心ルート）の実際の利点を比較検討して信念を更新すると、周辺処理を通じて信念を更新する場合と比較して、更新された信念は持続する傾向があり、反論に対してより堅牢になる。慎重かつ思慮深い検討を通じて何かを信じるようになると、その信念は変化しやすくなる。
つまり、周辺ルートを通じてより簡単に操作される可能性がある。周辺ルートを通じて何かを確信している場合、操作者は周辺ルートをもう一度使用して最初の信念を変えることに成功する。
心理学者のレオン・フェスティンガーは、社会的比較プロセスに関する影響力のある理論の中で、人は自分の意見を他人の意見と比較することによってその意見の「正しさ」を評価すると示唆した。他の人が自分と同じ信念を持っているのを見ると、その信念に対する自信が高まる。
これらの考えを総合すると、人間の心の中には何らかのメカニズムがあることが示唆される。たとえそれが真実であっても、自分の地位を下げるようなことを言わないようにする。そして、たとえそれが嘘であっても、自分の地位を高めるようなことを言うように彼らを駆り立てる。
さらに、自身の評判がどうなるかという考慮が私たちの信念を導き、私たちの社会的地位を維持または強化するための一般的な見解を採用するように導くこともよくある。暗黙のうちに「この信念を保持すること（または保持しないこと）が社会にどのような影響をもたらすだろうか？」と自問する。
説得の周辺ルートに戻ると、多くの人がそれを信じている場合だけでなく、その信念の提唱者が権威ある人物である場合にも、何かを信じるかどうかを決定する。
オックスフォードの心理学者セシリア・ヘイズは、著書『認知ガジェット』の中で次のように書いている。彼らは、同じ年齢と性別の同じくらい身近な人よりも、大人が社会的地位が高いと考えるモデル、たとえば学校の校長を模倣する可能性が高い。
それでも、私たちが高い地位を持つ他人を真似するのは、彼らを模倣することで自分の地位が向上することを期待しているからだけではない。権威ある人ほど有能であると信じがちであるが、プロミネンスはスキルのヒューリスティックである。
研究者のアンヘル・V・ヒメネス氏とアレックス・メソウディ氏は、威信に基づく社会学習に関する最近の論文で、能力を直接評価することは「騒がしくコストがかかる可能性がある」と書いている。代わりに、社会的学習者は、モデルの外観、性格、物質的な所有物などから推測することによって、ショートカットを使用できる。
ここで、次のような疑問が生じる。周辺的説得による操作の影響を最も受けやすいのは誰か? 教育を受けていない人々のほうが操作されやすいと信じるのは直感的に思えるかもしれないが、研究によると、これは真実ではない可能性がある。
心理学教授のキース・スタノビッチは、「マイサイド・バイアス」に関する自身の研究について論じ、次のように書いている。「あなたはそれに属しているのは、それらはあなたの気質と生来の心理的傾向に適合しているからです。」
一流大学の学生や卒業生は、自分側の偏見に陥りやすい。彼らは「自分自身の以前の信念、意見、態度に偏った方法で証拠を評価し、証拠を生成し、仮説を検証する」可能性が高くなる。
アメリカのジャーナリストであり、『第三帝国の興亡』の著者であるウィリアム・シャイラーは、ナチスドイツの従軍記者としての自身の経験をこう語った。シャイラーは次のように書いている。「ドイツの自宅やオフィスで、あるいは時にはレストラン、ビアホール、カフェで見知らぬ人と何気ない会話をしているときに、一見教養があり知性のある人たちの突飛な主張に出会うことがあった。彼らがラジオで聞いたり新聞で読んだりしたナンセンスをオウム返ししているのは明らかでした。時には同じことを言いたくなることもあったが、まるで全能者を冒涜しているかのような不信感を抱かれた。」
同様に、ソ連崩壊に関する研究では、大学教育を受けた人々は高卒者よりも共産党を支持する可能性が2〜3倍高いことが研究者らによって判明した。ホワイトカラーの専門労働者も同様に、肉体労働者に比べて共産主義イデオロギーを支持していた。
今日の米国内のパターンはそのような調査結果と一致している。政治アナリストのデビッド・ショールは、「高学歴の人々は、労働者階級の人々よりもイデオロギー的に一貫した極端な見解を持つ傾向がある」と述べている。これは、問題に関する世論調査やイデオロギー的な自己認識にも見られる。大卒の有権者は穏健派であると自認する可能性がはるかに低い。
この理由の 1 つは、時間や場所に関係なく、社会の富裕層の方が地位を維持したり、地位をさらに獲得したりするために正しいことを言う可能性が高いためであると考えられる。
カリフォルニア大学バークレー校のキャメロン・アンダーソンが主導した最近の一連の研究では、社会階級が社会的地位への欲求と積極的に関連していることが判明した。より多くの教育を受け、お金を持っている人は、「他人の意思決定に影響を与えることを楽しんでいます」や「名声や社会的地位を得られたら嬉しいです」などの発言に同意する可能性が高かった。
ケイトー研究所がYouGovと協力して行った調査では、全米を代表する2,000人のアメリカ人サンプルを対象に自己検閲についての質問を行った。
その結果、高校教育以下の学歴を持つ人の25％が、政治的見解のせいで解雇されたり、雇用の見通しが損なわれることを恐れているのに対し、大学院卒の学歴を持つ人の割合は44％であることが判明した。
政治学者のジェームズ・L・ギブソンとジョセフ・L・サザーランドによる「口を閉ざす：米国における自己検閲のスパイラル化」と題された最近の論文の結果は、Cato/YouGovの調査結果と一致している。彼らは、自己検閲が急増していることに気づいた。マッカーシズムの絶頂期だった1950年代には、アメリカ人の13.4パーセントが「以前よりも自分の意見を自由に言えなくなったと感じている」と報告した。2019年までに、アメリカ人の40％が自分の意見を気軽に言えないと回答。ギブソンとサザーランドは、「自分の意見を言うことを心配している民主党員の割合は、自己検閲を行う共和党員の割合とほぼ同じで、それぞれ39％と40％である」と報告している。
この増加は特に教育を受けた層の間で顕著である。研究者らは次のように報告している。「自己検閲に従事する人々が限られた政治的資源を持った人々ではないことも注目に値し、おそらく予想外である…自己検閲は最高レベルの教育を受けた人々の間で最も一般的である…この発見は、以下のことを示唆している。社会学習のプロセスであり、教育を受けた人ほど、自分の意見の表現を妨げる社会規範をよりよく認識している。」
興味深いことに、教育が自分の権力意識とマイナスに関連していることを示す示唆的な証拠がある。つまり、教育を受けていればいるほど、「自分が意見を表明しても、自分の意見はほとんど揺るがない」「自分の考えや意見は無視されることが多い」といった意見に同意する可能性が高くなる。
ミュンスター大学のリチャード・ラウ氏が率いる「他者の最良または最悪の見方：一般化された他者認識の尺度」というタイトルの論文を考えてみる。
研究者らは参加者に、ソーシャルメディアのプロフィールや動画に登場する人物を評価するよう依頼した。参加者は、「この人が好き」「この人は冷淡だ」などの発言にどの程度同意するかを尋ねた。その後、参加者は自分自身についてのさまざまな質問に答えた。
高等教育は一貫して、人々に対するあまり肯定的な見方に関係していなかった。この論文は、「人々の感情、行動、社会的関係を理解するには、彼らが他者に対してどのような一般的な見方を持っているかを知ることが非常に重要です…人々がより良い教育を受ければ受けるほど、他者に対する認識は肯定的ではなくなります。」と結論付けている。
したがって、裕福な人々はステータスを最も気にし、自分にはほとんど力がないと信じており、仕事や評判を失うことを恐れており、他人に対してあまり好意的な見方をしていない。
つまり、意見は、その真理値に関係なく、ステータスを与えることができる。そして、自分の地位を維持したり高めたりするために特定の意見を表明する可能性が最も高い人は、すでに社会のはしごの上位にいる人でもある。
統計がないようなことは自分の経験談で語るしかないのに、そういう態度を頑なに否定する人っているよね。その方が意思決定者として安全ではあるだろうけけど、なんというかヒューリスティックを全否定してる感じなのがやや非建設的な態度に感じる。こういう人が一人議論の参加者の中にいると議論は萎縮し実りある結論を得づらいだろうし、何より話し相手としては絶対避けたい相手。経験則が正しいことなど絶対有り得ないみたいな相手とまともに会話のキャッチボールが成立するとじゃ思えない。自分が賢いと思ってそう。融通が利かないだけなのに。
まぁ、あまり議論をするつもりはありませんが、「サンプル一人からの極端な一般化」が嫌なんですね。
しかし、一人と言っていますが、一般的にそういう傾向があるように感じたんです。
私が高校生のとき、理系でしたが、そこの数学教師はめちゃ数学が出来ましたが、古文漢文とか英語をバカにしていました。
これでサンプル二人目ですか？
なぜ、そこまでムキになる？
リダイレクター広告とか定期的に流してくる奴がいるからブロッカー手放せないのよなー
配信業者に対応させるのは当然だが、ブラウザでもそういう広告だとヒューリスティックにでも判断してリダイレクトをブロックできんのか？
その人はワクチンの危険性を示す論文を印刷して職場の人に配ったり、マスクをしている人にマスクの効果のなさを説得し、外させようとする
50代のそこそこ偉い人なのでタチが悪い
で、みんなで反ワクの人は困るなぁという印象が生まれている
先日、妻からおっとりとしたいい雰囲氣のママ友と食事をした話を聞いた
自然素材のすごく高価そうなお菓子をくれたり、ちょっと地域では変わっている育て方で有名な幼稚園にお子さんを通わせている
という話を聞いて、ピンときたので「幼稚園に上がるとやっと予防接種ラッシュが終わって少し落ち着きますよね」と話を振ったら、
私、色々と勉強して自分の頭で考えた結果、子供には予防接種を打たないことにしたんです、と話してくれたそうだ
妻自身はうわ〜全然わからなかった〜と思いつつもその話はスルーし、普段の子育ての話に戻ったそうだ
その話を聞いて、職場の上司とそのママ友の違いってなんだろう？って思うと布教活動なんだなと気づいた
世の中いろんな考えの人がいる
ワクチンを不要・危険と思う人もいれば、ワクチンを自分は打ちたい、予防になると考える人もいる
子供を中受させたいと思う人もいれば、公立でいいじゃんと思う人もいる
愚行権を認めて別に人それぞれ好きなことやればいいじゃんと思う
そもそも私も職場の同僚もワクチンがどうとか、コロナがどうとかそんなことは正直興味がない
そんなことより給料上がるかとか電気代高いとか株上がれとかそういうことに関心がある
興味がないのでみんなが打つならワクチン打っとくかくらいのつもりで打ってる
それをアホだというのは自由だけど、憲法がどうなっているのか？ChatGPTの中身はどのようなモデルなのか？
世の中の森羅万象について全て詳しく知るというのは不可能だし、みんながやってることをやる、というヒューリスティックは重要である
にもかかわらず興味のないワクチンの話題を延々と聞かされるのが不快なのであって、
ある種のヒューリスティックとして機能しているうちは(機能させる必要があるうちは)、その観念から脱却するのは無理だと思うな。
思考とその主体を切り分けて考えると、本来は拾い上げられた含意を無視しかねない。これは、自閉症スペクトラムに見られる字義通りの解釈に近い。言外の情報や文脈を考慮できない場合は障碍があると見做されうる。
テクストは全てを語れないからな。もし語ることができたのなら、完全に切り離しても全てを正確に取り上げられるのだが、それができない以上は極端にはなれないだろう。
このアノニマスダイアリーは、そういう思考とその主体を別個にしやすい場所でもあると思うが、話していて(あるいは会話を見ていて)、細かい意義づけの違いなど、通じてるんだけど微妙に通じてない感覚があることがないか？
そういうのを避ける仕組みなんだと思うぞ。自覚して修正できるなら差別をするリスクは低いし、あなたにその意図がないなら誤解だったと謝ればいい。
■User
前提となる背景：
AIイラストについて、既存のイラストレーターが反発をしていると言う現状があります。
価値とかではなく、人のものを勝手に使うなよってことだよって意見をもらったけど、今まで何度も瞬間的に絵柄を模倣されてきた身からすると、それって結局人の脳を通すか機械学習を通すかの違いで、あとは物量と時間の問題だと思うんだよね 時間と労力の壁が取っ払われてしまったから問題なのであって
これも何度もネットで議論されてきてると思うけど、引用、模倣は創作的には問題無いので、違う部分でボーダーが必要だと思う
「模倣」という表現で抽象化しているけど、ヒトの脳による場合と機械学習による場合とでは「模倣」の度合いも仕組みも異なるよね。ヒューリスティックスとアルゴリズムを同列に語るのは単純化しすぎでしょう、と。
Mさんのツイートにおいて、「ヒューリスティック」と「アルゴリズム」という言葉は出ていません。何を指してるかわかりますか？
「模倣」の度合いも仕組みも異なるよね。
というコメントですが、たしかにそのとおりですがその後に続くこのコメントの主張が不明です。このコメントは何を主張していますか？異なるとなんなのですか？
☆ ChatGPT
このコメントの主張は、人間による模倣と機械学習による模倣は、程度とメカニズムが異なるという点にあります。そして、その二つを同一視することは単純化しすぎると述べています。
「ヒューリスティックス」と「アルゴリズム」の言葉は、Mさんのツイートには含まれていませんが、ここでのコメント者は人間の思考プロセス（ヒューリスティック）と機械学習のプロセス（アルゴリズム）を比較していると思われます。
ヒューリスティックは、問題解決や判断を行う際の経験に基づくアプローチや「規則」を指します。これは人間が直感や前例、試行錯誤を通じて行う思考プロセスを表しています。一方、アルゴリズムは、あらかじめ定義されたルールや手順に従って問題を解決するコンピュータのプロセスを指します。機械学習はこのアルゴリズムの一部で、大量のデータからパターンを学び、予測や判断を行うことができます。
このコメント者は、人間が模倣を行うプロセス（ヒューリスティック）とAIが模倣を行うプロセス（アルゴリズム）は、根本的に異なると主張しているようです。そのため、二つを同じように扱うことは誤りであると言っているのです。
「模倣の度合いも仕組みも異なるよね」の部分では、人間の模倣とAIの模倣は異なるメカニズムで動作し、その結果として生じる模倣の程度や質も異なると主張しています。つまり、人間が模倣するときとAIが模倣するときでは、過程も結果も異なるということです。そしてその差異を認識し、それに対する適切な対応を考えるべきだというのが、このコメント者の主張だと解釈できます。
■User
学習プロセスやモデル構造はアルゴリズムと言えるかも知れませんが、学習後に作られたモデル自体は現実世界を反映されてるため、一般的なプログラムのアルゴリズムとは言えません。
ですので、「コメント者」の指摘は根本的にAIによる画像生成に対する認識が間違っています。
と私は思うのですがどうですか？
それに対する適切な対応を考えるべき
適切な対応とはなんですか？それについてこのコメントは言及してるようには見えません。
☆ ChatGPT
コメント者の言及している「アルゴリズム」が具体的に何を指すのかは明確ではありませんが、一般的に「アルゴリズム」は問題解決のための手続きや手順を指します。AIが画像を生成する際にも、大まかにはデータの学習という手続きが存在します。ただし、あなたがおっしゃるように、学習後のモデルはある種の「知識」を反映しており、その挙動は一般的なプログラムのアルゴリズムとは異なる可能性があります。
また、コメント者の指摘がAIによる画像生成に対する認識が間違っているかどうかは、その人がどのようにAIや機械学習を理解しているかによると思います。もし、その人がAIの学習と生成の過程を単純なアルゴリズムと等価視しているのであれば、あなたの主張は正しいかもしれません。
「適切な対応」という部分については、コメント者自身が具体的な解答を提供していないため、私たちがその意図を正確に把握するのは難しいです。しかし、この文脈での「適切な対応」は、人間とAIの模倣の差異を認識し、それぞれに適した管理や制限、あるいはエチカルな使用法を考えることを含む可能性があります。
■User
Mさんのツイートに対して、どうしてヒューリスティックとかアルゴリズムと言う言葉を持ち出してるのですか？関係がないと思います。
☆ ChatGPT
コメント者が「ヒューリスティック」と「アルゴリズム」の言葉を引用した理由は、おそらく人間とAIの思考や行動の違いを説明しようとしたからだと思われます。これらの言葉は、一般的に人間の思考プロセス（ヒューリスティック）と機械の計算プロセス（アルゴリズム）を示すために使われます。
それにもかかわらず、あなたが指摘した通り、これらの言葉は必ずしもMさんのツイートと直接関連しているわけではありません。むしろ、コメント者はこれらの言葉を使って、自身の見解や解釈を表現しようとした可能性が高いです。
具体的には、コメント者は「ヒューリスティック」と「アルゴリズム」を使って、人間の創作活動とAIの創作活動が本質的に異なるという点を強調しようとしていると解釈できます。これは、Mさんが「人の脳を通すか機械学習を通すかの違い」と述べた部分への反論として理解できます。
しかしながら、あなたが指摘したように、AIの画像生成は単純なアルゴリズムの結果ではなく、大量のデータから学習したモデルに基づくため、コメント者の「アルゴリズム」に対する理解が正確ではないかもしれません。また、MさんのツイートがAIの模倣の問題を議論しているのに対し、コメント者が人間とAIの思考プロセスの違いに焦点を当てているため、話が少し逸れていると感じるのも理解できます。
■User
Mさんの主張は、AIと人間の模倣の違いは同じものとみなせる。人間が労力をかけて絵を書くことに対して今我々は直面している。
この理解でいいですか？
コメント者はMさんの主張に対して何も言っていないと言うか、「AIと人間の模倣の違い」について言及しているだけのようです。この理解であってますか？
☆ ChatGPT
はい、あなたの理解は正しいと思います。MさんはAIと人間の模倣が基本的に同じであるという見解を示しています。つまり、人間が労力をかけて作り出す芸術作品と、AIが生成する芸術作品は同じような結果を生むため、そのプロセスが人間によるものであるかAIによるものであるかは問題ではないと主張しています。
一方で、コメント者はAIと人間の模倣は異なると主張しています。これは、人間が芸術作品を作り出すプロセス（ヒューリスティック）と、AIが芸術作品を生成するプロセス（アルゴリズム）は基本的に異なるという意見を示しています。
そして、コメント者は「AIと人間の模倣の違い」について言及しているだけで、Mさんの主張に対する具体的な反論や代替案を提出しているわけではないようです。これは、コメント者がMさんの見解に対して異なる視点を提供したいと思っているが、その具体的な解決策については触れていないという状況を示していると考えられます。
■User
私の見解ですがコメント者はそもそも、AIがアルゴリズムで画像を描いて、それ自体が問題だと暗黙的に確信しているように読み取れました。この見解はあってますか？
そして、そのようなコメント者の主張や暗黙的な前提は事実と異なると感じます。どうでしょうか？
☆ ChatGPT
あなたの見解は合理的です。コメント者が「アルゴリズム」という言葉を使うことで、AIが単純な計算手順によってイラストを生成するという視点を示している可能性があります。そして、それが模倣の問題を引き起こしていると暗示しているかもしれません。
しかし、AIがイラストを生成するプロセスは、単純なアルゴリズムが直接的に結果を出すようなものではありません。AIは大量のデータからパターンを学習し、その学習したパターンに基づいて新しいイラストを生成します。この過程は、人間が何かを学び、その学んだ知識を使って新しいアイデアを生み出すプロセスと類似しています。
したがって、あなたの指摘は正当で、コメント者のAIに対する理解や前提は完全ではないかもしれません。AIと人間の模倣の違いを議論するためには、AIがどのようにして結果を生成するのか、そのプロセスがどのように人間の思考や創作活動と類似または異なるのかを理解することが重要です。
参考：https://b.hatena.ne.jp/entry/s/twitter.com/mellco/status/1656643939330588675
https://arxiv.org/pdf/2304.10466.pdf
試行錯誤によって方針を学習する深層強化学習アルゴリズムは、環境と積極的に相互作用することによって収集された限られた量のデータから学習しなければならない。多くの先行研究が、データ効率の良いRLを実現するためには適切な正則化技術が重要であることを示していますが、データ効率の良いRLにおけるボトルネックの一般的な理解は不明なままでした。その結果、すべての領域でうまく機能する普遍的な技術を考案することは困難であった。
本論文では、非定常性、過剰な行動分布シフト、オーバーフィッティングなどのいくつかの潜在的な仮説を検討することにより、サンプル効率的な深層RLの主要なボトルネックを理解することを試みている。
強化学習ってよく知らない
我々は、状態ベースのDeepMind control suite（DMC）タスクについて、制御された体系的な方法で徹底的な実証分析を行い、遷移の検証セットにおける高い時間差（TD）誤差が、深いRLアルゴリズムの性能に深刻な影響を与える主犯であり、良い性能をもたらす先行手法は、実際、検証TD誤差を低く制御することを示した。この観察から、ディープRLを効率化するための強固な原理が得られる。すなわち、教師あり学習の正則化技術を利用することで、検証TD誤差をヒルクライムできる。
誤差を減らすのがDeepLearningだけど、それが時間差なのか。
我々は、検証TD誤差をターゲットとするシンプルなオンラインモデル選択法が、状態ベースのDMCとGymタスクにおいて効果的であることを示す。
1 はじめに
強化学習（RL）法は、大容量の深層ニューラルネット関数近似器と組み合わせた場合、ロボット操作などのドメインで有望視されている（Andrychowicz et al、
2020）、チップ配置（Mirhoseini et al.、2020）、ゲーム（Silver et al.、2016）、データセンターの冷却（Lazic et al.、2018）。アクティブなオンラインデータ収集の単位ごとに費用が発生するため（例．
実際のロボットを動かす、シミュレーションによるチップ評価など）、限られた経験量でも効率的に学習できる、サンプル効率の良い深層RLアルゴリズムを開発することが重要である。このような効率的なRLアルゴリズムの考案が、近年の重要な研究課題となっています（Janner et al、
2019; Chen et al., 2021; Hiraoka et al., 2021)。
原理的には、オフポリシーRL法（例えば、SAC (Haarnoja et al., 2018), TD3 (Fujimoto et al., 2018), Rainbow (Hessel et al., 2018)）は、データ収集のステップごとに多くの勾配ステップのポリシーと値関数を改善することを可能にするため、良いサンプル効率が得られるはずです。しかし、このメリットは実際には実現できないようで、1回の学習ステップを多く取りすぎることでを収集した各遷移は、多くの環境において実際にパフォーマンスを害する。過大評価（Thrun & Schwartz, 1993; Fujimoto et al., 2018）といったいくつかの仮説、非定常性（Lyle ら、2022）、またはオーバーフィッティング（Nikishinら、2022）が根本的な原因として提案されている。
これらの仮説に基づき、より多くの勾配ステップを持つオフポリシーRLを可能にする方法として、モデルベースのデータ増強（Jannerら、2019）、アンサンブルの使用（Chenら、2021）、ネットワークの正則化（Hiraokaら、2021）、再生バッファを維持しながらRLエージェントをゼロから定期的にリセット（Nikishinら、2022）などのいくつかの緩和戦略が提案されている。これらのアプローチはそれぞれサンプル効率を大幅に向上させるが、これらの修正の有効性は（これから示すように）タスクに大きく依存する可能性があり、根本的な問題やこれらの手法の挙動を理解することはまだ未解決である。
ICLR 2023で会議論文として発表 本論文では、より多くの勾配ステップを取ることが深層RLアルゴリズムの性能悪化につながる理由、ヒューリスティック戦略が役立つ場合がある理由、そしてこの課題をより原理的かつ直接的な方法で軽減する方法を理解しようとするものである。
最近提案されたタンデム学習パラダイム(Ostrovski et al., 2021)を用いた実証分析を通じて、TD学習アルゴリズムは、学習の初期段階において、すぐに高い検証時間差(TD)誤差(すなわち、保留した検証セットにおけるQ-ネットワークとブートストラップターゲットの間の誤差)を得る傾向にあり、悪い最終解をもたらすことを明らかにする。
このホワイト ペーパーでは、深い RL アルゴリズムで勾配ステップを増やすとパフォーマンスが低下する理由、場合によってはヒューリスティック戦略が役立つ理由、およびこの課題をより原則的かつ直接的な方法で軽減する方法を理解しようとします。 最近提案されたタンデム学習パラダイム (Ostrovski et al., 2021) を使用した実証分析を通じて、トレーニングの初期段階で、TD 学習アルゴリズムが高い検証時間差を迅速に取得する傾向があることを示します。
(TD) エラー (つまり、保留された検証セットでの Q ネットワークとブートストラップ ターゲットとの間のエラー) が発生し、最終的なソリューションが悪化します。 さらに、データ効率の高い RL 設定のために考案された多くの既存の方法が、検証 TD エラーを低く制御する限り有効であることを示します。
この洞察は、深い RL を効率的にするための堅牢な原則を提供します。データ効率を向上させるために、検証 TD エラーを山登りすることによって、特定の問題に最も適した正則化を選択するだけです。
この原則は、オンラインRLトレーニングの過程で特定のタスクに最適な正則化戦略を自動的に発見しようとする単純なオンラインモデル選択方法の形で実現され、これを検証TDエラーを使用した自動モデル選択(AVTD)と呼びます。
AVTD は、各エージェントが異なる正則化を適用する共有リプレイ バッファーで、いくつかのオフポリシー RL エージェントをトレーニングします。 次に、AVTD は、環境内で動作するための検証 TD エラーが最小のエージェントを動的に選択します。
この単純な戦略だけでも、多くの場合、さまざまな Gym および DeepMind コントロール スイート (DMC) タスクで個々の正則化スキームと同様のパフォーマンスを発揮するか、それを上回ることがわかります。 重要なのは、パフォーマンスがドメイン間で大幅に異なる可能性がある以前の正則化方法とは異なり、私たちのアプローチはすべてのドメインで堅牢に動作することに注意してください。
要約すると、私たちの最初の貢献は、サンプル効率の高いディープ RL のボトルネックの実証分析です。 これらの課題の背後にあるいくつかの潜在的な説明を厳密に評価し、トレーニングの初期段階で高い検証 TD エラーを取得することが、データ効率の高いディープ RL のパフォーマンスを阻害する最大の原因の 1 つであることを観察します。 私たちの 2 番目の貢献は、単純なアクティブ モデル選択法 (AVTD) です。これは、検証 TD エラーの山登りによって正則化スキームを自動的に選択しようとします。 多くの場合、私たちの方法は、さまざまな Gym および DMC タスクで、最適な個々の正則化スキームに匹敵するか、それを上回ります。
13桁で英数字混じりなら総当たりで10万年レベルの時間がかかる
「クラウドで並列化すれば〜」
まぁ最大なので実際にはそれより短い時間で解けるけれど総当たりするにしては割に合わない
とか言う人もいるが当然一文字でも違ったら解けない
この手の辞書攻撃はヒューリスティックになるからせいぜい10種類×並び替え×数字4桁総当たりぐらいしか試せない
うちの社内で回ってくるファイルのパスワードが数字4桁だったり8文字アルファベットなことを考えたら13桁の英数字ってのはもの凄くマシだと思う
もちろん巷でささやかれているような簡単な13桁でヒットする可能性もあるわけだが
一般的に考えたらパスワードが13桁の英数字であることをバラすのはそんなに問題ではないと思う
「13桁だからこれじゃない？」という推測を垂れ流している行為がクラッキングに加担しているのだが、自覚を持ってない人間が多くてビビる
俺の隣の席に、突如女の子が来ることになった。
仕事もクビにならない最低限度程度を低空飛行し続けてる、自他ともに認めるポンコツ。
だから長いこと俺の隣は空席だった。
そこに突如、女の子が座ることになった。
いざ本人が来たとき、咄嗟に「えっ？！」と思わず声を上げそうになった。
とにかくすんげぇ美人。
新垣結衣と石原さとみを6：4でブレンドした後に橋本環奈を隠し味に仕込んだような、今までに芸能人でも見たことのないような美人だった。
にわかに緊張が走った。
俺は聞いたことがある。
キモヲタが美人を目の前にして色々おかしくなっちゃった多々の実例を。
だからとにかく、"あたらず・からまず・かかわらず"を決め込む決意をした。
まず衣服。
正直、スーツを最後にクリーニングに出したのはいつなのか思い出せないほど着倒していた。
「（このキモヲタオジサン、マヂ臭ぇ…）」と思わせては一大事。
速攻で青山に走って新調した。
次に息。
過去に人から指摘されたことがあるんだけど、俺の息はなんか「んはぁ～ んはぁ～」って音出してるらしい。
「（このキモヲタオジサン、マヂ息きめぇ…）」と思わせては一大事。
一時は意識しすぎて息が何度か止まったが、何とか無音を保つように改善した。
次に物音。
過去に人から指摘されたことがあるんだけど、俺は動くだびに「ガターン」とか「ﾀｧｧｧｰｰｰﾝｯｯｯ」とか、そういう類の騒音を撒き散らしてるらしい。
一時は意識しすぎてトイレにも立てなくなりかけたが、何とか人並み程度のdBに抑え込んだ。
あとはあいさつ。
「あいさつくらいは元気よくしないとね！」と言われがちだが、キモヲタにはこれは適用されないことは俺はわかっている。
それさえもウザがられることはヒューリスティックから裏付けられている。
「…ぉ～～ぅっ～…（訳：おはようございます）」と、"何も言っていないわけではないが何かを言っているとは明確にできない"絶妙な声掛けを心掛けた。
それに対して美人さんは「おは…す…」と、これまた絶妙な返しをしてくれた。
そんな感じで「無視してるわけではない、でも意識してる素振りはない」言動を半年ほど続けたある日、フロア全体の大規模な席替えが一ヶ月後に行われることになって、件の美人さんは遥か遠くの席に移動することになった。
正直、「（ふぅ～ やれやれだぜ）」という心境だった。
なかなか気苦労が絶えない感じだったので、これでまた心穏やかな孤立生活が再開できるかと思ったら気が晴れる思いだった（新しい俺の席の隣はまた空席）。
すっ、と、俺の目の前に飴玉が3個、差し出された。
飴玉3個、俺にくれるらしい。
そしてその美人さんは実にか細い声で、こんなことを言ってきた。
「この席、気楽でよかったです。ありがとうございました。」
俺は「そう？それは良かっﾃﾞｭﾌﾌﾌﾌ」と言ったか言わずかのうちに飴玉を丁寧に、美人さんの手のひらに一切触れることなく細心の注意を払いながら受け取って
その場をおさめた。
席替えが終わった次の日に、年中小うるさく図々しいオバチャン社員がドタバタとやってきた。
そんで聞いてもないのにあれこれ話してきた。
何でも、あの美人さんの異動は急なことだったらしい。
前の部署でストーカーまがいの付きまといにあって、急きょ部署異動となったそうだ。
相手は"自己都合退職"したらしいけど、美人さんの心中はやはり穏やかになりきれず、異動の処置がされたらしい。
急な話だったものだから空いてる席が俺の隣にしかなく、"仕方なく"俺の隣に座らせたらしい。
でも、もし俺が美人に浮かれてあれこれと絡もうものなら、即、席替えをするつもりだったそうだ。
ところが意外（？こちとら心外Yeah！！）にも俺が当たらず触らずの対応だったから、そのままにしていたらしい。
「アンタだったら真っ先にいろいろ余計なコト言ったりやったりしそうって思ってたのにさ！紳士だったねー！エラい！」と、お褒めの言葉をオバチャン社員から頂いた。
俺は改めて思った。
それは元気な挨拶でも他人を気に掛けることでも爽やかに振舞うことでもなく、"何もしないこと"であることを。
無味無臭の空気になって、存在をアピールしないことこそ、唯一のできることであるのだ。
そんなこんなの出来事だったけど、ただ一つ、良いことはあった。
上記したとおり、他人（特に男）に対して人一倍警戒せざるを得ない状況の美人さんが、たまにたまたますれ違った俺にだけ、ごくごく軽く会釈してくれるのだ。
はは、
とにかく俺は、これで十分満足だ。
※以下、一覧とは言いましたが面倒なので箇条書きに使う「・」みたいな記号は省略してます。連合弛緩注意。
電子書籍サイト見てると女性向けなのに男性向けとか男性向けなのに女性向けとタグがついてる漫画がある。
まあ俺がそう思う一部には俺の見当違いもあるのかもしれん。
でも二巻以上ある続きものである巻で男性向けである巻で女性向けなのは言い逃れできないだろと。
逆転裁判風にいえばムジュンしている。ようするにその時点でどっちかのタグが嘘あるいは誤認による不手際なのが確定してるんだよね。
あとはまあマイナーな雑誌やその単行本ほどタグに違和感感じる場合が多い。
これも逆に考えれば、出版社側に男性向け女性向けを正しく識別できるような人が人がいないから、それだけ感度が未熟だからこそ、その雑誌はマイナー雑誌という地位から脱却出来ないのだと考えることできるわけだ。
これも、学歴社会の生んだ歪み、なのかね。
つまり、漫画が男性向けか女性向けかというパターン認識をはじめとするそういう能力は学歴とは相関しないだろうね。
学歴とか無関係に5chの漫画サロン板や同人板の男性向け女性向けの違いについて語るスレで深く語っているような人から採用すればよかった。
学歴基準で募集しても効率悪いというか、単純に読み手としての器があるか、目利きの力がどの程度あるかという条件から採用したほうが即戦力が集まるに決まってる。
俺も量としてはそこまで読んでないが、天性といったらいいかな、もうかなりの精度の目利き力を持っている自負がある。
藤井聡太がAIが最善手とする手をAIより早く導き出すように、俺にもAIより早く正確に画風から漫画を分析する自信がある。
まあヒューリスティックという言葉で語られる人間の強みというやつですな。それが俺等の場合は漫画の方面で卓越しているわけだ。
むしろあっちから俺みたいな埋もれたやつを見つけるべきだ。んで俺「雇われてやっても？いいよお？」って感じでも渋い顔ひとつしてはならん。俺は天才なんだから。
と思うのはダニングクルーガーかもしれんね。そんな特別な能力じゃなくて俺以外にもタグが不適切なのに気づくやつはわんさかいるのかもしれん。言わないだけで。
あるいは大した人件費かけてまで正確を期してタグ付けする経済的効果がないということかもしれん。コストロスモデル的に。
あとは俺みたいなやつ優越感に浸らせてるのは損も得もしないしそれで俺みたいなやつが勝手に悦に入ってるなら単純に「いいこと」してることになるから、まあそういう意味でも改善しようとは思わんのかもしれんね。
一般に人々は断定的に意見を言う。曖昧に見える意見は重要度が伝わらないから。
けれど断定的な意見は問題への理解が浅いことから産まれた可能性が高い。
現実の問題はあちらを立てればこちらが立たぬようなトレードオフの関係であることが多い。
そもそもトレードオフを超越できるような素晴らしい解決策があれば既に問題でなくなっているか…。
断定的な意見を言っているときは問題の全容を把握していないか無意識に無視しているかもしれない。
はてブで見かけるコミュニケーションはそんなのばかりな気がする。
自分が思う重要事項へのアテンションを上げれば誰かがアウフヘーベンしてくれるみたいな意識がありそう。
それどころか複数アカウントでスター連打してトップブコメを一方の意見だけで埋めるというような
アテンションのDDoS攻撃みたいな状況になっていることもある。
何を社会問題とするか選択できるのがマスコミ権力の恐ろしいところという話は昔からあったものな。
現実でもそうだ。
全国フェミニスト議員連盟などという女性差別問題ではローマ教皇庁並みに権威ありそうな団体が
何のロジックもない言いがかりで言論に圧力かけてその後まともな説明なしという状態。
表現者にどうしてそのような表現にしたのか説明を求める側なのに議員さん方は質問に答えない。
全く馬鹿らしい。表現者という個人に万人に満足いくような表現を作って対話きるというなら
議員さん達も話し合って思想を統合して与党も野党も統合して1つの政党になったらいい。
こう見ると国の最高機関でさえ意見統一することはできないことを前提にシステムを作っている。
ヘーゲル弁証法的な方法で瞬時に意見を一つに集約できるなら多数決や多数の政党なんて必要ないのだから。
「人々には様々な意見があり、それを持ち寄って話し合い、意見を集約して結論を出し実行する。」
国の最高レベルでもそのプロセスが正しく行われているのか分からない。多分行われていない。多分人間には出来ない。
針小棒大な記述がなされた文章を読むことほど困難なことはふつうの人生の中ではなかなか見つけられないかもしれない。一般的に、文章は読み易い方が良しとされがちだ。けれども、文章を読み難くすることによって自分の好ましくない人々がアプローチしてくることを阻害することができるというのは、低質な文章の読解困難性を逆手に取った、なかなか興味深い技術でもある。また、相手に渡す必要がある文章なのだが何らかの事情で内容を読まれるのを回避したいという場合に、相手の蒙昧さをうまく活用して本来指摘すべき問題について問題提起させないというようにすることすら可能だ。読み難い文章を提示することで読者層の足切りに使うこともできる。無意味に複雑な文は、内容など碌に見られないために本来炎上すべき過激な発言ですら炎上しないことがある。たとえば侮辱するときの語をバーバリアンという言葉に切り替えるだけで炎上の発生確率が低下する。こうした衒学的な文や文章によって人を容易に遠ざけられることに関する確かなエビデンスを提示することは残念ながらできないが、ここではヒューリスティックによる、どうすれば読み難くなるかの方法をいくつか紹介していきたいと思う。予め断っておくが基本的には敵対するための類のものであり、重用すべきものではない。まず第一に、段落分けや箇条書きまたは句読点などそもそも読みやすくレイアウトするという理解を促進させる技術を使わないことが肝要で、一般的に読みやすくする技術の逆を行うことで一気に読み難い文章ができあがる。第二に、仮に無意味だろうがなんだろうがとにかく内容が薄くてもいいから長く長く書いて、一目見たときに長いと思うほど文を長くすることも必要だ。長さは重要なファクターであり文章の長さというのは真剣さの表れとして見られることが多い。実例をあげるなら、好きだよ。だから今日うちのホスクラに来て、という言葉と、俺さ、最近ずっとお前との将来のことを色々考えてて、本当にこの先このままずっとやっていけるのか不安なんだよね。これあんまり言っちゃいけないんだけど今の俺の実力だと店でも実はそんなに売上立ってないし幹部にもなれないから、このままだとお前を幸せにできないかもしれないって毎日考えてまじでずっとつらい。もちろん俺が考えてることは薄っぺらいって思うかもしれないけど、でも少しでも信じてくれるなら今日うちのホスクラ来てほしい、という言葉では意味は等価でも後者からは真剣味を感じられる人が多いことだろう。長い文章というものは一生懸命考えたのだと思われる傾向がある。また長文は重いので、重さを感じさせることができる。人は鈍重な文章を好んで読みたがりなどしない。実際に長い重そうな文を見てここまで明瞭な理解度を保って読んでいる人はほとんどいないだろう。その証拠に、ここまでの文の中に「ちんぽ」という言葉に準ずる言葉が入っているのだが、誰か気づいただろうか。むしろ目が滑ったりはしなかっただろうか。これが第三の、初出の言葉を既出であるかのように振る舞う技術だ。高難度の用語を文章に散りばめてそれについて何も解説しないといったケースも似たようなもので、相手を逆戻りさせ、わざわざ必要ではないことを調べさせる類の技術である。また、初出の言葉をその出現からしばらく離れたところで解説するなどしても良い。ともかくわからずとも全てを読むという技法を持っていない人を全員排除することができるテクニックだ。ちなみにご存知の通り、先の言葉に準ずる言葉はこの文章のどこにも存在していない。このような手法でテクニカルタームや難しい語彙または外来語や外国語をなんの前置きもなく使用することによって読者人数のEliminationを行うのは造作もないことだ。シンプルに高難易度のボキャブラリーを使うだけでそれがどれだけ相手にとって不都合なものでも承認されることがある。実はよくわかってないけれど、これだけ洗練された高度な文章なのだから大丈夫であろうという推定のもとに内容が承認され、その結末はなかんずく小気味良いものだ。逆に文章の末尾に初出の言葉を記述してもいい。人は理解できないとき逆や裏を考える癖があり、後ろから推測されることがある。この文章にも囮の一環として最後に無関係の文を追加しておいた。それからこのように読み難い文章では意外かもしれないが、誤字脱字を消すことも必要である。誤字脱字は絶対にあってはならない。誤字や脱字というものは文章に求められるクオリティが正当で重要になればなるほど、許されなくなる。逆に誤字脱字が無いか著しく少ない文章はそれだけで内容の如何に関わらず品質が高いとみなされる。文章が公的な性質を帯びれば帯びるほど、読みたがるような奇特な人物の数は減る。たかが誤字脱字で全体の評価が落ちるのは読み易い文章のときでも同様だが、本質的に相手に価値をもたらさないまさにこのような文章の中に誤字脱字を入れ込んでしまうと致命的になり得る。第五に、例示しないことも重要だ。最後に、ページを跨がせ、ある1つのトピックを中途半端な位置で複数のページに分割することで、相手にページの往復を強要させることができる。ページの往復作業は憂鬱な作業であり、ページ間の往復で情報が消えやすい。2つ同時に見せるとわかりやすくなってしまうようなものは、必ず分けるようにする。図などは至高の素材であり、10ページ目に14ページの図を使った説明を書くなどすれば、それだけで大半の人間は理解を放棄する。他にもいろいろとあるがこのぐらいにしておこう。大変読みにくかったことだろう。だから私はワクチンに反対だ。
