  |
はてなキーワード: トレーニングとは
増田は40代も半ばであるが20歳年下の彼女と付き合っている。
同年代の人間より性的能力の衰えが少なく、そういった欲求も人並み以上に持っている自信があったのだが、年々強くなる彼女の性欲にそう遠くない未来応えられなくなってしまうのではないかと不安を抱いた。
彼女はもともと性的な経験がなかった、というより嫌悪に近い感情を抱いていたらしいが、数年の性生活を経て大変積極的に求めてくれるようになった。（これについて冗談で「ワシが育てた」とドヤ顔した所ネタが通じず大変寂しい思いをした）
それは大変喜ばしいことで日々満足している。仕事の忙しさにもよるが平均して週1～2日はしているし、週末などは外出などの予定がなければ朝昼晩など複数回行うこともある。誘う頻度もどちらから、というよりスキンシップからなんとなくそういった雰囲気になることが多い。
ところがである。
今年に入ったあたりからだろうか、1日に3回目ともなると、明らかに反応が鈍くなってきているのである。所謂「中折れ」という事態はまだ起きていないが明らかに感度が鈍っている。
体力的にもかなりキツい。腰やらスタミナやらダメージが大きく、どうしても彼女側に色々してもらう時間が長くなってしまう。
同棲すればお互い落ち着くかと思いきや、1年経ってますます頻度が増えてきている。
おもちゃなども取り入れて体力と彼女の性欲の折り合いをつけようとしているが、いまいち好きではないとのこと。
※これについては今まであまり使ったことがないので使い方が悪いのかもしれない。
「亜鉛サプリを飲む」「トレーニングを増やす」など最低限の体力維持は行っているがおそらく時間の問題であろう。
彼女とは結婚も視野に入っているが、例えば10年後、30半ばの彼女に対して満足に答えられない自分がいるのでは無いだろうかと思うと不安でたまらない。
こんな嘘に騙されていては日本国民は弱体化するのでは？
腕で支えているだけのプランクが
動きを伴う腹筋と同じ程度の強度の
筋力トレーニングになるはずかない
だまされてはいけない
「ML失敗増田」という特定の人物についての情報は私の知識にはありません。その名前が実在する人なのか、あるいはネット上やコミュニティで使われているスラングなのかも不明です。
一般的に「ML」は機械学習（Machine Learning）を指します。機械学習ではデータを使ってモデルを訓練し、そのモデルを使って予測や分類を行います。しかし、機械学習プロジェクトには様々な失敗の可能性が伴います。例えば:
トレーニングデータにフィットしすぎて、未知のデータに対して良いパフォーマンスを発揮できない。
もし「ML失敗増田」という言葉が特定の文脈や事例に関連しているなら、その具体的な背景がわからないと更に詳しい情報や理解が得られないかもしれません。具体的な事例や文脈についてもう少し情報があれば、より詳しい説明やアドバイスができるかもしれません。
オレオレFCは7日、セルビア人MFミリオヴィッチを10日から練習に参加する事が分かった。獲得を視野に入れたもので、トレーニングで状態を見極め、契約するか否かの判断を下す。
ミリオヴィッチはセルビア出身の28歳。セルビアリーグやデンマーク、フランス2部でプレーした。192cm88kgの大型ながら足元の技術があり本職はボランチだが、スカウトによると、センターバックもこなすポリバレント性を併せ持ち、ヘディングの強さに加え、激しい守備とリーダーシップにも優れていると言う。
オレオレFCは現在13位。今季は7チームがJ2に降格する厳しいシーズンで、21試合で32失点と守備に課題を残しており、チームとして手薄な「ボランチとセンターバックができる選手」として、数年前からリストに挙げていたミリオヴィッチに触手を伸ばした。現在はフリーのため、夏の移籍期間を待たずに登録可能な状態だ。
（2024/06/09 追記）
旦那さんは躁鬱かも。自分も5~6年前までは旦那さんと同じく短気だった。電車から降りる人より先に乗ろうとする人、傘の先端を後ろに振って歩く人、横断歩道を無視する車、政治家の汚職や不倫のニュースなどを見るたびにイライラして、文句を口にしていた。今思うと、これは躁鬱の症状だったと思う。自分が躁鬱だと自覚・改善するきっかけになったものを書いていく。今はイライラと上手く付き合えるようになり、人生が楽しくなった。それから、付き添ってくれた妻には本当に感謝している。あなたの旦那さんが自分と重なってしまい、自分もあの時気づけてなかったらと思うと、いてもたってもいられずに書いた。少しでも力になれれば。
※以下で紹介する情報は数年前に触れたので、うろ覚えでテキトーな部分があるかも。あくまで今の自分の解釈なので、鵜呑みにせず、旦那さんの心の準備ができたら精神科の受診をオススメする。
この映画がきっかけで鬱だと気づけた。鬱のイメージが変わった。「鬱はぐったりと元気のない精神病。気弱な人がなるもの」と思っていたが、実際は「些細なことにイライラしがちな人がなりやすい病気で、イライラと元気のない状態を繰り返すもの（=躁鬱）」だと知った。まさに主人公も自分もそういう人間で、共感しすぎて見終わったら泣いてた。特に、妻に辛く当たった後に自己嫌悪に陥るシーンは、自分にとってはあるあるだった。見終わった後、妻に改めて感謝し、改善していきいたいと思えた。ちなみに鬱は 「完治させる」のではなく「改善していく。上手く付き合っていく」 と考えた方がいいみたい。焦って治そうとすると、治らないことにイライラして再び自己嫌悪。
この本が改善のきっかけ。特に学びになったのが 「評価は人の居場所を奪い、感謝は人の居場所を作る」 こと。
評価とは、人間に良し悪しをつける行為。愚痴やネットでの誹謗中傷がそうだし、あなたの旦那さんや私が、待ちゆく人やテレビに対して言う文句もそう。他人を評価することは、相対的に自分を評価することになる。例えば、電車でマナーの悪い人にイライラするのは、その人を悪く評価してる反面、マナーを守ってる自分を良く評価してることになる。評価を繰り返すうちに、理想のみが高かまっていき、自分が追いつけなくなると居場所を失う。居場所を守るために自分に厳しくしてると、許容量を超え、次第に矛先が他人に向き始める。余計に他人にイライラする。負のスパイラル。また、意外だが「褒める」ことも評価であり、人の居場所を奪う。「あの人は優秀」とか。優秀な人を見ると自分がダメに思えて悲しくなるのは、勝手に自分も評価して居場所を無くしてるから。また「お前に褒められても嬉しくねーよ」って感じるのは、自分より下だと思ってる人間に居場所を奪われる不快感だと思う。
感謝は逆に人の居場所を作る。だから、居場所を得たければ、他人に感謝をされること（他者貢献）をするといいらしい。本にはここまでしか書いてなかった。それを知ってからは、いろんな場面で親切を心がけるようにした。ただ、だんだん感謝されないとイライラするようになった。そこで気づいたが、自分は「感謝されたい」という気持ちでいっぱいになっていた。逆に、世の中には自分と同じように「感謝されたい」人がたくさんいるんじゃないかとも思った。そして、感謝を伝えることは誰かの居場所を作れるということであり、それ自体が他者貢献 になるのでは？と考えた。それ以来、一切の評価を辞め、些細なことにも感謝するよう心がけた。例えば、今日も飯が食えることとか。生きてることとか。他人を褒めそうになったときは、感謝に置き換えた。例えば、活躍するスポーツ選手のニュースを見たら「すごい」じゃなく「頑張ってる姿を見ると、自分も頑張ろうと思えるな。ありがたい」とか。次第に、悪いことより、ありがたいことに目が向くようになり、「自分の人生、恵まれてんじゃん」と幸福度が増した。イライラも減った。
また、人間は良いことよりも悪いことに敏感らしいので、気づくと感謝を忘れてイライラが再発した。なので、感謝を習慣付けるため、以下の2つに取り組んだ。
自分は3つ言うようにしてる。少なくとも1つは言う。些細なことでいい、「洗い物ありがとう」とか。ただ、厳格にルール化するとしんどいので、もちろん忘れちゃう日があってもいい。次第に、寝る前以外も自然と感謝が言えるようになる。小っ恥ずかしいけど、互いに居場所を作ることができ、それが夫婦円満に繋がる。
日記といっても毎日はしんどいので、誰かに何かしてもらったときだけスマホにメモるくらいでいい。メンタルがしんどくなったときに見返すと「そーいや、こんな嬉しいことあったっけ」とマシになる。家族や同僚のミスも「こんだけありがたいことしてもらえてたんだよな」と許せるようになる。あと、この日記は意外な場面でも役立つ。記念日や友人の結婚式、同僚の退職時など、メッセージを考えるのに困らない。
を言ってほしいかも。そうしないと、何度も「二度としません」を繰り返すことになる。自分と妻がそうだった。旦那さんは、きっと 安心や信頼が欲しい んだと思う。旦那さんに一緒に考えてもらうのもいいと思う。自分も妻と一緒に具体的な再発防止策を考えるようになってから、感情的な口論が減った。
アンガーマネジメント超入門 「怒り」が消える心のトレーニング [図解 (特装版)]
自分も読み途中だが、怒りを抑えるだけではなく、そもそも怒りづらくなる方法や、怒りを上手く伝える方法なども書いてある。ちなみに、自分は今まで以下の考え方で怒りを鎮めてきた。
「気がつきすぎて疲れる」が驚くほどなくなる 「繊細さん」の本
旦那さんは、ひょっとしたらHSPかも（病気じゃなく性質）。HSPだと細かいことに気づきやすい。いい意味でも悪い意味でも。もし、飲み会など大人数の集まり後にグッタリしたり、光や音に敏感だったり、お腹すくとすごいイライラしたりする場合は、その可能性あるかも。ちなみに自分もHSPで、この本を読んだら楽になった。自分の妻は非・繊細さんなのだが、繊細さんと非・繊細さんの上手い付き合い方が載っていて、互いに勉強になった。
わかってらっしゃるとは思うが、上記を本人に無理矢理、読ませるのは逆効果。自分も会社にアンガーマネージメント講座を強制されたときはキレた。本人が知りたいと思ったときに、そっと差し伸べる程度で。ただ、本人に任せてたら状況は変わらないので「評価は居場所を奪い、感謝は居場所を作って、イライラを抑えられるんだって〜」くらいのノリで、 奥さんから日頃の感謝を伝えてみる のがいいのかも。相手は変えられないので。結婚はしたのだから、きっと旦那さんにも素敵なところがたくさんあるはず。楽しかった思い出を振り返ってみて。人生をつまらない文句やイライラではなく、楽しいことで満たしたいよね。
しばらくはしんどいと思うけど、峠を超えて、旦那さんがあなたが付き添ってくれたことに感謝してくれる日が来ることを願う。ただ、他人を変えるのは相当大変なことなので、ヤバくなったらあなた自身の人生を最優先してくださいね。長文失礼。
それはありふれたイベントであるはずだった。子ども連れはその辺を普通に歩いている。知り合う人々には必ず親が居る。子育てについては日々たくさんの議論が交わされている。妊婦さんがこの世に命を送り出すこと、それは特別でも何でもない日常の出来事だ。そう思っていた。
とんでもなかった。
何が私の考えをかえたのか。
痛みである。とんでもない痛みに襲われたせいだ。
陣痛というものを知らなかったわけではない。痛いんだろうな、ときちんとビビっていた。下調べもイメージトレーニングもして、痛みに耐える覚悟はしていた。だけど私は陣痛を理解しているわけではなかったのだ。うっかり知っているつもりになっていた。
経産婦の皆さんは言う。「そりゃ痛いよ、でもみんな何とかなっているから」、「もう覚えていないなぁ、だからふたりめも産めちゃう」と。つまり、耐えられない痛みではないのだ。私は自分を鼓舞した。
そしてむかえた出産当日、私は吠えた。冷静な頭のまま、しかし狂ったように叫び声を上げていた。もう狂ってしまいたかった。意識がとんでしまったら楽だったのに。
大声を出して何になる、と自分にドン引きながら、それでもただひたすら叫ぶしかなかったあの時間。耐えられない痛みではない？ 嫌だもう耐えたくない！ 痛い痛い痛い逃げたい！ どんなに吠えても誰も助けてはくれなかった。
実際、私は耐えて産んだわけだ。それでも「耐えられない痛みではない」とは絶対に表現しない。痛いもの。おかしいよ。人間なのに、動物だった。
世の母親達は本当にしれっとこの痛みを経験しているのか。信じられない。実は痛みを減らす裏技でもあるのではないか。
この陣痛というものを、当たり前のように受け入れているなんて今は一体何時代なの？ そうか、令和は別に新しくないのだな。未来から覗いてみれば、私達はきっと古代に生きている。長い人間の歴史の最先端なんかではないのだ、令和は。そこそこ古い時代に居るんだ。
その証拠に、分娩方法が昔とそうかわらないだろう。傘の形態と同じである。高度な医療が発展しているはずなのに、出産は辛いままなのだ。出生率が減るのも当たり前である。
せめて妊婦を、経産婦を労おう。ジェンダー論や政治的配慮なんか置いておいて、とにかく陣痛に立ち向かう度胸に対して、みんなで拍手を送ろうよ。
意地悪なおばちゃんも、炎上しちゃうギャルママも、あの痛みを経験したのだと思うと頭が下がる。
出産を経験して、私は母に心から感謝することができた。訳あってほぼ絶縁している実家に、子どもを産んだことを伝えた。久し振りの連絡であった。たどたどしいやり取りを交わし、でんわを切った。ショートメールに彼らの孫の写真を送った。
私を産み落とすために、あの痛みに耐えてくれたのだ、と心が震えた。
「痛いのに産んでくれてありがとう」
そのセリフは、出産後に私が子どもにかけたそれと同じであった。
しまった、出産は素晴らしいという締めになってしまいそうだ。やりがい搾取は良くない。痛かったよ。あの痛みを当たり前に妊婦さんに押しつけてはいけない、そうだろう、と問題提起をしておく。
石丸伸二をよく知ろう
https://www.youtube.com/watch?v=Nv3KOXAvFFU
全く意味が解らない。
皆さんこんにちは石丸伸二です。今回喜多方市長選に立候補しました。いろんなところで政策のお話はさせてもらってるんですけども、そもそもあなたは誰なんですかというご質問をいただくことも多いので、今回はその御要請いただいた質問をまとめてもらいました。
順番にお答えしていきたいと思います。
まず最初、最初ははい浦上ですね。はい。最初血液型と星座。O型です。星座は、しし座ですね。変わってないと思います。13星座でもしし座のはずですというのは、あまり星座に興味がない人間です。すいません朝の星座占い見ません。
次へきのこの山たけのこの里、どっち派。これは難しいですね。これほど世界を二分するテーマはないんじゃないでしょうか？ただこの厳しい質問に答えていくのも、市長としての大事な仕事になるのかなと信じてます。答えはたけのこですね。
チョコとサクサクスナックのバランス、何より質量感ちょっとキノコじゃ出せないなと思ってます。
次こんな調子で大丈夫か。次じゃん。得意なこと、自慢できること取り立てて自慢できることも、もう何でしょうか？
お酒が結構飲めます。苦手なお酒はないですね。世界のどんな酒でも出されたら絶対飲むと。
これは唯一親が僕に与えてくれた貴重な才能の一つかな.。お酒が飲める体質にくれてありがとう。（笑いがはいる）
次じゃん。苦手なこと、本当に苦手なことが多いんで、ちょっと選ぶのが難しいですね
もうちょっと皆さんが引くほど苦手なことを言っちゃうとマイナスなんで、言える範囲で、装着時は結局苦手な事。複雑な事が苦手です。
例えばスポーツの球技だけ駄目ですね。単純な走りとか泳ぐとかだと、夢中でどれだけでもできるんですけど、はい、野球とかはもう見る専門です
この街サッカーサンフレッチェありますけど、もう応援は絶対頑張って誰よりもできるんですけど、実際にやってみる体験とかは、すいませんちょっと難しいと思います。（だれかしゃべっている）
次スクールミーティング休みは何してますかなるほどこれまでの生活の中でいくと、基本的に休んでません。というのはトライアスロンというのをやってるので、土日は基本的に練習になってます。
朝は7時ぐらいからですねバイク、自転車に乗って、長い日は昼過ぎぐらいまで走り続けてます。100キロとか120キロというトレーニングをやるのって、休みの日はむしろ休まない。そんな生活を受けてます。
次今お付き合いしている人は、私の恋人は安芸高田市です。（スタッフが笑う）
ちょっとスタッフの人は笑いすぎですよ。いいえなるほどそれはいらないいらないんですいません。はい。独身ですし未婚のまま今に至ってます。はい。
どうも私にとっては恋人がこの街であり、私の奥さんはこの街です。また笑われました。
私はここで生まれ育って、僕は外の世界は本当に知らなかったんですね。旅行で時々出かけたことが年に1回ぐらい。
海外なんてもう大人になるまで出たことはありませんし、なので、ここが私の世界の全てです。
なので、何でしょう。はい。もう完成してましたね。この町も全て私の好きなものは全部ここにあると思って育ってました。はい。なので、やっぱりここは僕にとっては安らぐ場所ですね帰ってくる場所としては、これ以上の街はないなと思ってます。
安芸高田のここが好き僕の生まれ育った場所なので、小さい頃好きだった風景ですね。それは山があって、田んぼが広がって、町の人たちも距離が近いですよね。うちは歩いててすれ違う人に大体挨拶します。
名前知らなくても何となく知ってる人、そういう感じがみんなにあるんですね。そういう懐かしいというか、変わらない良さ、やっぱりそこが好きです。
新庄よく素人の映像あっという間の2時間半お楽しみいただけましたでしょうか？（この動画以外にまだあったらしい）
6日は今まだ選挙期間中です。
でも、あっという間に終わります。次の日曜日で、もうこの選挙も終わりなんですね。
でもこの選挙期間を通して何よりも、それが終わった先でですね、しっかりと自分がここにいる意味戻ってきた意味を、それを皆さんに伝えていきたいと思います。
これはおそらく3つの中で最も簡単な方法だ。現在のChatGPTは、基本的に、テキストを入力できる孤立した箱の中に座っている人間のようなものだ。初期のアンホブリング改良では、個々の孤立したツールの使い方をモデルに教えていましたが、マルチモーダルモデルでは、近いうちにこれを一挙にできるようになると期待しています。
つまり、Zoomでの通話に参加したり、オンラインで調べ物をしたり、メッセージや電子メールを送ったり、共有されたドキュメントを読んだり、アプリや開発ツールを使ったりといったことだ。(もちろん、より長いホライゾン・ループでモデルがこれを最大限に活用するためには、テスト時間のコンピューティングをアンロックする必要がある。)
最終的には、ドロップイン・リモートワーカーのようなものができると期待している。エージェントは、あなたの会社に入社し、新しい人間の雇用のようにオンボードされ、Slackであなたや同僚にメッセージを送り、あなたのソフトウェアを使用し、プルリクエストを行い、大きなプロジェクトがあれば、人間が独立してプロジェクトを完了するために数週間留守にするのと同等のことができる。これを実現するためには、GPT-4よりもいくらか優れたベースモデルが必要だろうが、おそらくそれほどでもないだろう。
https://situational-awareness.ai/wp-content/uploads/2024/06/devin.gif
Devinは、完全に自動化されたソフトウェア・エンジニアを作るために、モデル上の「エージェンシー・オーバーハング」／「テストタイム・コンピューティング・オーバハング」を解除する初期のプロトタイプだ。Devinが実際にどの程度機能するかはわからないし、このデモは、適切なチャットボット→エージェントのアンホブリングがもたらすものに比べれば、まだ非常に限定的なものだが、近々登場するもののティーザーとしては役に立つだろう。
ところで、私は、アンホブリングの中心性が、商業的応用という点で、少々興味深い「ソニックブーム」効果につながると期待している。現在とドロップイン・リモートワーカーの中間モデルは、ワークフローを変更し、統合して経済的価値を引き出すためのインフラを構築するために、膨大な手間を必要とする。ドロップイン・リモートワーカーは、統合が劇的に簡単になる。つまり、リモートでできるすべての仕事を自動化するために、ドロップインするだけでいいのだ。つまり、ドロップイン・リモートワーカーが多くの仕事を自動化できるようになる頃には、中間モデルはまだ完全に活用され統合されていないため、生み出される経済価値のジャンプはやや不連続になる可能性がある。
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_gpt2togpt4.png
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_2023to2027.png
数字をまとめると、GPT-4に続く4年間で、2027年末までにGPT-2からGPT-4規模のジャンプが再び起こると（おおよそ）予想される。
GPT-4のトレーニングに3ヶ月かかったとしよう。2027年には、一流のAIラボはGPT-4レベルのモデルを1分で訓練できるようになるだろう。OOMの効果的なコンピュート・スケールアップは劇的なものになるだろう。
それは我々をどこへ連れて行くのだろうか？
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_counting_the_ooms.png
GPT-2からGPT-4までで、私たちは～未就学児から～賢い高校生になった。とんでもないジャンプだ。もしこれが、私たちが今一度カバーする知能の差だとしたら、それは私たちをどこに連れて行くのだろうか？私たちは、それが私たちをとてもとても遠くに連れていっても驚かないはずだ。おそらく、ある分野の博士や最高の専門家を凌駕するようなモデルまで到達するだろう。
(このことを考える1つの良い方法は、現在のAIの進歩の傾向は、子供の成長のおよそ3倍のペースで進んでいるということだ。あなたの3倍速の子どもは高校を卒業したばかりだが、いつの間にかあなたの仕事を奪っていくだろう！)
続き I.GPT-4からAGIへ：OOMを数える(10) https://anond.hatelabo.jp/20240605211837
最後に、定量化するのが最も難しいが、それに劣らず重要な改善のカテゴリーを紹介しよう。
難しい数学の問題を解くように言われたとき、頭に浮かんだことを即座に答えなければならないとしたらどうだろう。最も単純な問題を除いて、苦労するのは明らかだろう。しかしつい最近まで、LLMにはそうやって数学の問題を解かせていた。その代わり、私たちのほとんどはスクラッチパッドで段階的に問題を解いていき、その方法ではるかに難しい問題を解くことができる。「思考の連鎖」プロンプトは、LLMのそれを解き放った。生の能力は優れているにもかかわらず、明らかな足かせがあるため、LLMは数学が苦手なのだ。
私たちはここ数年で、モデルの「足かせを外す」ことに大きな進歩を遂げました。これは単に優れたベースモデルをトレーニングするだけでなく、アルゴリズムの改良によってモデルの能力を引き出すものです：
足場作り。CoT++について考えてみよう：ただ問題を解くようモデルに求めるのではなく、あるモデルに攻撃計画を立てさせ、別のモデルに可能性のある解決策をたくさん提案させ、別のモデルにそれを批評させる、といった具合だ。例えば、HumanEval（コーディング問題）では、単純な足場作りによってGPT-3.5が足場なしのGPT-4を上回った。SWE-Bench（実世界のソフトウェアエンジニアリングのタスクを解くベンチマーク）では、GPT-4は~2%しか正しく解くことができませんが、Devinのエージェントの足場があれば14-23%に跳ね上がります。(後ほど詳しく説明するが、エージェントのアンロックはまだ初期段階に過ぎない。)
ツール：もし人間が電卓やコンピュータを使うことを許されなかったらと想像してみてほしい。まだ始まったばかりだが、ChatGPTはウェブブラウザを使ったり、コードを実行したりできるようになった。
エポックAIによる研究によると足場作りやツールの使用など、これらのテクニックのいくつかを調査したところ、このようなテクニックは多くのベンチマークで通常5～30倍の効果的な計算量の向上をもたらすことがわかった。METR（モデルを評価する組織）も同様に、同じGPT-4ベースモデルからのアンホブリングによって、エージェントタスクのセットで非常に大きなパフォーマンスの向上を発見しました。
https://situational-awareness.ai/wp-content/uploads/2024/06/metr_gains_over_time-1024x597.png
これらをコンピュートとアルゴリズムの効率で統一した実効的なコンピュート規模に当てはめることは困難ですが、少なくともコンピュート規模の拡大やアルゴリズムの効率とほぼ同規模の大きな進歩であることは明らかです。(また、アルゴリズムの進歩が中心的な役割を担っていることも浮き彫りになっています。0.5OOM/年の計算効率は、すでに重要なものではありますが、ストーリーの一部に過ぎません。）
「アンホブリング」こそが、実際にこれらのモデルが有用になることを可能にしたのであり、今日多くの商業アプリケーションの足かせとなっているものの多くは、この種のさらなる「アンホブリング」の必要性であると私は主張したい。実際、今日のモデルはまだ信じられないほど足かせが多い！例えば
ここでの可能性は非常に大きく、私たちはここで急速に低空飛行の果実を摘んでいる。これは非常に重要です。"GPT-6 ChatGPT "を想像するだけでは完全に間違っています。 GPT-6＋RLHFと比べれば、進歩は段違いだ。2027年までには、チャットボットというより、エージェントのような、同僚のようなものが登場するだろう。
続き I.GPT-4からAGIへ：OOMを数える(8) https://anond.hatelabo.jp/20240605210232
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる（そして、これまで劇的に過小評価されてきた）。
アルゴリズムの進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク（高校生の競技用数学）において、わずか2年間で～50%の精度を達成するために必要な価格が下がったことを示す次の図を考えてみてください。(比較のために、数学が特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。
https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png
これは推論効率だけの数字だが（公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない）、アルゴリズムの進歩は非常に大きく、また実際に起こっている。
この記事では、アルゴリズムの進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニングの計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍（1OOM）になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデルの能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズムの進歩と考えることができます)。
一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドラインは予測可能であり、グラフ上の直線である。トレンドラインを信じよう。
アルゴリズム研究がほとんど公開されており、10年前にさかのぼるデータがある）ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています。
アルゴリズムの進歩を測定することができます。同じ性能のモデルを訓練するために必要な計算量は、2012年と比較して2021年にはどれくらい少なくなっているのでしょうか？その結果、アルゴリズムの効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.
これは非常に大きなことです。つまり、4年後には、～100倍少ない計算量で同じ性能を達成できるということです（同時に、同じ計算量ではるかに高い性能も達成できます！）。
残念ながら、研究室はこれに関する内部データを公表していないため、過去4年間のフロンティアLLMのアルゴリズムの進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率のトレンドは、同様に～0.5OOM/年であると推定しています。(しかし、これはエラーバーが広く、また、主要なラボがアルゴリズム効率の公表を停止しているため、最近の上昇を捕捉していません）。
https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png
Epoch AIによる言語モデリングにおけるアルゴリズム効率の推定。この試算によると、私たちは8年間で～4OOMの効率向上を達成したことになります。
より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした（論文によると）が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました：
最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルのGPT-4よりも85倍/57倍（入力/出力）安い（驚異的な利益！）。
公開されている情報を総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMのアルゴリズム効率向上が含まれていたことになります。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png
GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して～2OOMsの向上が見込まれます。計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボの資金と人材への投資は急速に増加しています。 (少なくとも、公開されている推論コストの効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。
これらをまとめると、2027年末までには（GPT-4と比較して）1～3OOMのアルゴリズム効率向上が期待できることになります。
続き I.GPT-4からAGIへ：OOMを数える(6) https://anond.hatelabo.jp/20240605205754
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
