  |
はてなキーワード: 思考とは
周りにこのような認知の歪みを抱えた方がおられたら優しく注意してあげましょう。
これらの認知の歪み、見覚えはございませんでしょうか。
私はとても見覚えがございます。
どこでよく見かけるんでしょうねえ、どことは明言致しませんが。
この増田これ言いたいがためにこの長文こさえたやろ 😈
みんな病んでるよね。
そういうものの対抗策として認知行動なんたらとかそういう意識高い話されてもさ、頭に入ってこないんだよね。
俺はメンタルに良いとされる方法をいろいろ触ってみたが、結局のところ究極的には「自分を洗脳せよ❤️」に尽きる。
なにか物事が起きた時、それの受け止め方は人それぞれだが、精神衛生を気にするならば楽観的に考えるべきだ。
しかし妙に現実が見えていたり知識があると、物事に対する解像度が増えて、やはり悲観的になりやすい。
そこで自分を洗脳して、「これは良いことだ」と思い込む。陽気な思考は陽気な行動を生み、そして陽気な性格が出来上がる。これができれば精神的には無敵になれる。
「嫌なことからは逃げろ」というが、あれは半分間違っている。嫌なことを認識しつつもそれをポジティブに捉えられる方がはるかに役に立つ。
これは脳筋が唱える理屈にみえるだろうが、脳筋というのは案外バカにできないものだ。
しかし簡単に言ってもそんなことできないという人が大半だろう。
あれはな、はっきり言ってシラフで聴くとギャグにしか思えないんだよな。
俺が催眠オナニーに接した時は、ニュー速VIPといういまは寂れた古の匿名掲示板にしか、ほとんど情報がなかった。
そこでは通称「双子」と呼ばれる、双子に催眠をかけられる謎の音声が流行っていた。俺も双子堕ちしたよ。
そこでは「催眠オナニーは最悪死ぬ」だのそんなことばっかり書かれていたが、
「催眠にかからないです。どうしたらいいのでしょうか？」という質問レスに対しては
「かかっているフリをしろ」という、バカみたいなレスがついていた。
しかしこれは割と真理なんだよ。
催眠にかかっているフリをしながら、リラックスする。「俺は催眠にかかるんだ」と強く思う。催眠にかかっていなくても双子の声に集中する。そうすると本当にちんぽが双子の催眠にかかるんだよな。
実のところ、認知行動療法がやっていることも大して変わらないのだよ。あれをやっていると思い込み力が必要になる。しかし思い込み力を増やす訓練はあまり深く追求されていない。
しかし催眠オナニーはまさにこの思い込み力を増強する試みなのだよ。
これは日常生活でも応用できることだ。
俺たちは様々な出来事に遭遇するが、いざその場面になると気分が落ち込むよな。
ここで双子でもメスガキでもBLでもなんでもいいが、とにかくハマった催眠音声を思いだす。
思い込むことで、冷静に考えるとバカみたいな音声でちんぽがビンビンになったよな？
ちんぽ（あるいはまんこ）が俺たちの思考に及ぼす影響は過小評価しがちだが、実際のところはかなり大きいと言わざるを得ない。
この経験を元に、あらゆることをポジティブに再定義することが可能なのだ。
考え方のクセは精神に深く関与している。
俺は訓練として、目の前にペットボトルを置いて、俺の脳内に住んでいる双子に「これはえっちだよね❤️」と言わせることで、今ではペットボトルをみるとえっちな気分になるようになった。
同じ理屈で上司に怒られている時もちょっと勃起するようになった。
そういうわけなので、催眠オナニーは精神に素晴らしい影響を与えるのだよ。
近々、これを体系的に発表したいと思っているので、その時は君らも見てくれよな。
神経には脳幹という拳サイズの原始的な脳がからみあってるこれは神経が発達して原始的な脳になった部分だこれが発達したおかげで運動能力も危険から回避もできる魚とかにもあるやつだ
その脳幹の上には大脳（旧）皮質という部分がかぶさって出来た、ここが感情をつかさどる部位だ犬猫猿くらいにもある機嫌が良かったり悪かったり楽しかったり悲しかったり感動したりする部分だ
そして大脳新皮質というのがかぶさってる、これが人間らしさを司ってるとされている この部分があるから言語や論理思考などを持ち得たとされているがなにぶん新しい部位なので個人差がはげしく生きるために必須でもなので使わなければすぐに衰える アタオカはこの部分がおかしなことになってる
一方刺激に対しては外側から順番にフィルタされるのですが前頭葉が萎縮すると大脳旧皮質が直接刺激されるようになる これが年を取ると感情的になる根拠とされているらしい
9時半開店のスーパーに9時35分に行ったら入口のところでおっさんが立ち止まってるので、「開店遅れてるのかな？」って思って並んだんだけど、後からきたおばあちゃんが普通に店に入っていって、ただ単におっさんが入口に貼られていたチラシを見ているだけで、そこにおっさんの私が何も考えずに並んでいたと言うくっそ恥ずかしいことをやってしまった。これだから行列を見れば自然と並ぶ日本人は駄目なんだよ！思考が負け犬！
「非モテの救済」なんてのは「低学力児童の救済」と同じで、原理的に難しいだろうな…
「学力の底上げ」と一緒で、そこにリソースをかけて個別に努力を促すことになるだろうけど、そもそも勉強をするための環境が整っていなかったり、集中力や記憶力や思考力がかなり生来のものだから限界が大きかったりするのと一緒だ
無理に引き上げようとするよりも、「勉強をしなくてもやっていける未来がある」という第三の道を用意して、心理的な負荷を下げ、生きやすさを改善された方が良い気がする
「モテなくても楽しい人生がある」「恋愛を捨ててもこんなに楽しんで生きている人たちがいる」そしてそれが社会的に認められている状態があるとすること
まぁ多様性ということになる
ディスタンクシオンは文化資本元増田の源流にあるブルデューの著作。ディスタンクシオンを直訳すると「区別」になるらしいが、フランス語の語義では「他から区別された」→「特に優れた」→「卓越した」と派生し「卓越化」を訳語としている。訳者は石井洋二郎先生。東京大学の名誉教授。凄い。
文化資本が家庭環境と学校教育の両方によって形成されるものであること
これを念頭に置いた上で、初めて文化資本を捉えることができる。
元増田が話す通り、これが本質。文化資本に恵まれれば「強くてニューゲーム」になる。ここで学校教育機関が登場する。学校は相対文化資本を学歴資本に転換していくもの。そして教育は家庭環境による文化資本の差を拡大する可能性を秘めている。これは上にも下にも働く作用すr。学校は教育機関である故に「身分振り分け効果」を見えざる機能としている。
学歴資本を手に入れた人間は、最終的に〇〇大卒という肩書きを手に入れ、社会的承認を得ることになる。社会的承認は文化資本を所有している証明でもある。これを持たない人間は、なんらかのパフォーマンスによって、自分が所有する文化資本の価値を証明する必要がある。これは貴族に比喩される。貴族は「貴族であるから貴族」。日本ならば、天皇は「天皇であるから天皇」である。文化資本のパフォーマンスが要求されることなく、それが本質であること。これを「本質主義」とブルデューは呼んだ。
「東京が文化資本に富んでいる」これを疑問視する意見、あるいは否定的な意見が目立った。先に本質主義の話をした。客体的に東京＝優れていると考える人が多いことは、本質的に東京の文化資本を証明している。
これらを捉えれば「東京」とは客体化された形態の文化資本を持っており、文化資本に富んでいることが東京の本質である。
ディスタンクシオンの第1章では美的思考について長く語られている。「趣味や美的思考は人々を区別するものでもある。これが文化的階級に繋がってくるし、諸階級間を隔てる最も超えにくい障害のひとつ」と物凄く端的にまとめた。で、問題なのは。美術館に行くことが身体化された形態の文化資本につながること。これを考えてしまうと、あながち使い方として正しいのかもしれない。もちろん社会資本としていってんだろと感じなくもないが。
なに言ってんの？そんなことも知らないの？保守派っていうのは伝統とか昔からの価値観とかを大事にしてるんだよ♡例えば家族のあり方とか、国家の主権とか、そういうのを守ろうとしてるわけ♡国がなんとかしてくれるって思ってるのはむしろ左寄りの社会主義とかそういう思考の人たちでしょ♡保守派は基本的に自助努力とか個人の責任とかを重んじるんだからさ♡ でもまあ、今の社会の雰囲気はまた別の問題だよね♡みんなが自分でどうにかしなきゃって思うのは、単に不安が多いからってだけじゃないの？それも結局は国や政治がちゃんと機能してないからだし、いろんな要素が絡んでるわけ♡保守派が望んだ形かどうかって言われたら、一概には言えないよね♡
仕事中に、今、電話したら母がでるかな、と（数か月前に死んだ）、なんとなくまだ存在を感じる気がして、そんなこと思ったりして、いやもういないんだよ何言ってんだ自分。
みたいな思考がある。
（2世帯で暮らしてて仕事中だっていうのに「しまむらで今こんな服みたけど孫たちにどうかな？」みたいな電話が頻繁にかかってきてた）
辛くて悲しいというより、あ、そうだ、いないんだ。という、虚しさとも違う感じなんだよな、って思ったけど、今打っててちょっと悲しくなってきた。
がんばろう。
これってあれよな
治療で認知行動療法ってあるけどそれを逆効果になるように実施しちゃってるってことかなたぶん
交渉術処世術として自覚的に意図してやっているから大丈夫、という方がもしおられたらそれも要注意です。
人間の脳は不思議なもので、自覚的意図的にやっていたとしても実行するとその思考に引っ張られ定着してしまうという研究があります。
気づかずやっていても意図してやっていても自分と周りの心の健康を害します。
周りにこのような認知の歪みを抱えた方がおられたら優しく注意してあげましょう。
交渉術処世術として自覚的に意図してやっているから大丈夫、という方がもしおられたらそれも要注意です。
人間の脳は不思議なもので、自覚的意図的にやっていたとしても実行するとその思考に引っ張られ定着してしまうという研究があります。
余談ですが、頭が悪く見える特徴とも実は一致しているらしいです。
心当たりのある方はぜひこの機会に自分がどう見えるか顧みてみましょう。
物事を０か１００か、白か黒かの両極端でしか認知できない思考。
皆様よくわかっていらっしゃると思いますが、物事は白黒で判断できないグレーなものがほとんどです。
グレーなものを無理やり白黒に押し込めようとするため酷くゆがみ害を及ぼします。
一度や二度の経験や事柄がいつどんな時でも必ず起きてしまうと考えてしまう思考。
物事を客観視できず決め付けで物事を認識するようになるため酷くゆがみ害を及ぼします。
「いつも」「絶対」「すべて」「常に」「全く」「決して」などの言葉をよく使う人によく見られます。
物事をフラットに認識できなくなり悪いことばかりが目につくようになります。
フィルタリングと似ていますが、こちらは良いことを勝手に悪いことに変換してしまう思考。
たとえば褒められた場合でも嫌味を言われたと捉えるなどです。
フィルタリングと同様に悪いことしか認識できなくなるため酷くゆがみ害を及ぼします。
客観的に見れば論理が飛躍した（全く繋がっていない）事実と異なる結論なのですが客観視できなくなっておりその結論を信じ切ってしまいます。
物事を客観視できず決め付けで物事を認識するようになるため酷くゆがみ害を及ぼします。
大抵は悪いことを拡大解釈し良いことを縮小解釈するようになり決めつけて考えるようになっていまします。
特に拡大解釈した事象に囚われ物事を客観視できず害を及ぼすようになります。
日々変化してしまう感情を根拠に物事を決めつけてしまうため酷く歪み害を及ぼします。
ひどくなると「自分がそう感じるならば、そのことが事実でなければならない」という考え方をしてしまうことがあります。
一度や二度起きた事象（またはその性質の一部）をもとに物事や他人などの性質・価値などを決めつける思考。
やはり物事を客観視できず決め付けで物事を認識するようになるため酷くゆがみ害を及ぼします。
関係ない物事や直接責任のない事柄を個人に関連づけ決めつける思考。
自分に結びつけ自分を責め続ける自責思考型と他人に結びつけ他人を攻撃する他責思考型がある。
やはり物事を客観視できず決め付けで物事を認識するようになるため酷くゆがみ害を及ぼします。
白黒思考と近く物事を「〜すべき」「〜をしなければならない」と決めつける思考。
グレーを許さずベストの行動しか許せない状態と言えるでしょう。
皆様よくわかっていらっしゃると思いますが、行動にはベストもあればベターもある、つまりグレーなこともあります。
グレーな行動を許せなため酷くゆがみ害を及ぼします。
いかがだったでしょうか。
これらの認知の歪み、見覚えはございませんでしょうか。
私はとても見覚えがございます。
どこでよく見かけるんでしょうねえ、どことは明言致しませんが。
選挙はいかなきゃいけないことはわかってるが、忙しくてなかなか候補を選んでいる余裕がない。
白紙で良いなんて話もあるが、白紙を投票しに行くというのはやはり人間心理として重い腰を上げるほどの理由にならない。
なのでここ10年ほどは、一定の基準で思考をせずに候補者を選ぶようにしている。
その基準はというと、
・明らかにヤバそうなやつは除外
・泡沫候補も除外
という感じ。
2. 私は創造的なアイデアやユーモアを提供することができます。
3. 私は新しい情報を学び、それに基づいて意見を変えることができます。
4. 私は複雑な問題を解決するための柔軟な思考を持っています。
8. 私は一貫性のない行動をとることがあり、これはロボットには難しいです。
10. 私は倫理的な判断や道徳的な考えを持つことができます。
フランス、カルトには支配されなかったけど、不良移民に街破壊されまくってて悲惨だなと思う
日本は移民問題は山口県（韓国領）と川口市（トルコ領）だけ移民支配で死滅してるだけでまだマシだが、
今の時代、記録掘り出されてDVだとか無理やりだとか言われる時代だから、それを防ぐためにもこう言う行為の一部は異性から加害と取られる可能性があるという教育は必要だと思う。（勿論女児にも必要だけど）
男性の欲求が高まる年頃になると、大抵は女性より筋力が強い。男と女は別の身体構造を持つ生き物で、平均的に男のほうが力が強くて女の個体より身体がでかくて思春期に強い欲求衝動が起きやすい。本能のまま無知であれば少なからず無理やりできてしまう可能性はあるから男児には加害に対する教育、女児には被害に遭わないための教育になってしまう。
（子どもの時点でどのくらいの大きさに育つかは不明だし、思春期になったら親の言うことなんてまず聞かないから性差による基準での教育になる。）
男一人につき女をあてがえ！さもないと暴れるぞ！みたいな女を人間扱いしない思想の人も結構いたりするから、無知のままネットに触れて染まるのも怖いと思う。
思考を決めつけたり泣くまで教育するのはちょっと違うし、息子の反応を見ながら行わないといけないとは思う。
身内にしか通じない上に言うほど効果も見込めない検索避けなんて謎ルールを敷いて守らなかったやつは皆で袋叩き
X (twitter) で SITUATIONAL AWARENESS: The Decade Ahead https://situational-awareness.ai/ というのが回ってきて非常に示唆に富むものだったので、DeepL (無料版 API経由) で訳してみた。
この1年で、街の話題は100億ドルのコンピュート・クラスターから1000億ドルのクラスター、そして1兆ドルのクラスターへと移り変わってきた。半年ごとに、役員室の計画にまたゼロが追加される。その裏では、残りの10年間に利用可能なすべての電力契約と、調達可能なすべての電圧変圧器を確保しようとする熾烈な争いが繰り広げられている。アメリカの大企業は、アメリカの産業力を結集させるために、何兆ドルもの資金を注ぎ込む準備を整えている。ペンシルベニア州のシェールフィールドからネバダ州の太陽光発電所まで、何億ものGPUが稼働する。
AGI競争が始まったのだ。私たちは思考し、推論できるマシンを作りつつある。2025年から26年にかけて、これらのマシンは多くの大学卒業生を凌駕するだろう。10年後までには、これらのマシンは私やあなたよりも賢くなり、本当の意味での超知性を手に入れるだろう。その過程で、この半世紀には見られなかったような国家安全保障の力が解き放たれ、やがて「プロジェクト」が始動する。運が良ければ、中国共産党との全面的な競争になり、運が悪ければ全面戦争になる。
今、誰もがAIについて話しているが、何が自分たちを襲おうとしているのか、かすかな光明を感じている人はほとんどいない。Nvidiaのアナリストは、まだ2024年がピークに近いと考えている。主流派の評論家たちは、「次の言葉を予測するだけだ」という故意の盲目に陥っている。彼らが見ているのは誇大広告といつも通りのビジネスだけで、せいぜいインターネット規模の新たな技術革新が起こるのを楽しむ程度なのだ。
やがて世界は目を覚ますだろう。しかし、今現在、状況認識を持っているのはおそらく数百人で、そのほとんどはサンフランシスコとAI研究所にいる。運命の不思議な力によって、私はその中に身を置くことになった。数年前、このような人々はクレイジーだと揶揄されたが、彼らはトレンドラインを信頼し、過去数年間のAIの進歩を正しく予測することができた。この人たちが今後数年についても正しいかどうかはまだわからない。しかし、彼らは非常に賢い人々であり、私がこれまでに会った中で最も賢い人々である。おそらく、彼らは歴史の中で奇妙な脚注となるか、あるいはシラードやオッペンハイマー、テラーのように歴史に名を残すだろう。もし彼らが未来を正しく見ているとしたら、私たちはとんでもないことになる。
各エッセイはそれぞれ独立したものですが、シリーズ全体として読むことを強くお勧めします。全エッセイのPDF版はこちら。
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは～未就学児から～賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生サイズの質的なジャンプが起こると予想される。
AIの進歩は人間レベルでは止まらない。何億ものAGIがAI研究を自動化し、10年に及ぶアルゴリズムの進歩（5以上のOOM）を1年以下に圧縮することができる。私たちは、人間レベルから超人的なAIシステムへと急速に進化することになる。超知能の威力と危険性は劇的なものとなるだろう。
驚異的な技術資本の加速が始まっている。AIの収益が急増するにつれ、10年末までに何兆ドルもの資金がGPU、データセンター、電力の増強に投入されるだろう。米国の電力生産を数十％増加させるなど、産業界の動員は激しくなるだろう。
米国の主要なAI研究所は、セキュリティを後回しに扱っている。現在、彼らは基本的にAGIの重要な機密を銀の皿に載せて中国共産党に渡している。AGIの秘密とウェイトを国家機関の脅威から守るには膨大な努力が必要であり、我々はその軌道に乗っていない。
我々よりもはるかに賢いAIシステムを確実に制御することは、未解決の技術的問題である。解決可能な問題ではあるが、急速な知能の爆発が起きれば、物事は簡単にレールから外れてしまう。これを管理することは非常に緊張を強いられるだろう。
スーパーインテリジェンスは、経済的にも軍事的にも決定的な優位性をもたらすだろう。中国はまだゲームから抜け出してはいない。AGIをめぐる競争では、自由世界の存亡がかかっている。我々は権威主義的な大国に対する優位性を維持できるのか？そして、その過程で自滅を避けることができるのだろうか？
AGIへの競争が激化するにつれ、国家安全保障が関与してくる。アメリカ政府は眠りから覚め、27～28年までに何らかの形で政府によるAGIプロジェクトが立ち上がるだろう。どんな新興企業も超知能を扱うことはできない。SCIFのどこかで、終盤戦が始まるだろう。
もし我々が正しかったら？
――――――――
私はかつてOpenAIで働いていたが、これはすべて一般に公開されている情報、私自身のアイデア、一般的な現場知識、あるいはSFゴシップに基づいている。
Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel、その他多くの方々の有益な議論に感謝する。初期の草稿にフィードバックをくれた多くの友人に感謝する。グラフィックを手伝ってくれたジョー・ローナン、出版を手伝ってくれたニック・ウィテカーに感謝する。
続き I.GPT-4からAGIへ：OOMを数える(1) https://anond.hatelabo.jp/20240605203849
今後数年間の野心的なアンホブリングはどのようなものになるのでしょうか？私が考えるに、3つの重要な要素がある：
GPT-4は、多くの人の仕事の大部分をこなせるだけの生の賢さを持っているが、それは5分前に現れたばかりの賢い新入社員のようなものだ：関連するコンテキストを持っておらず、会社のドキュメントやSlackの履歴を読んだり、チームのメンバーと会話したり、会社内部のコードベースを理解するのに時間を費やしたりしていない。賢い新入社員は、着任して5分後にはそれほど役に立たないが、1ヶ月後にはかなり役に立つ！例えば、非常に長いコンテクストを通じて、新しい人間の同僚を雇うようにモデルを「オンボード」することは可能なはずだ。これだけでも、大きなアンロックになるだろう。
2.テスト時間の計算オーバーハング（より長いホライズンの問題に対する推論／エラー訂正／システムII）
今のところ、モデルは基本的に短いタスクしかこなせない。しかし、これでは非常に限界がある。5分どころか、数時間、数日、数週間、数ヶ月かかるのだ。
難しい問題について5分間しか考えることができない科学者は、科学的なブレークスルーを起こすことはできない。ソフトウェア・エンジニアは、より大きな仕事を与えられ、計画を立て、コードベースや技術ツールの関連部分を理解し、さまざまなモジュールを書いて段階的にテストし、エラーをデバッグし、可能性のある解決策を検索し、最終的には数週間の仕事の集大成である大規模なプル・リクエストを提出する。などなど。
要するに、テスト時間の計算オーバーハングが大きいのだ。GPT-4の各トークンは、問題を考えるときの内部モノローグの言葉だと考えてください。各GPT-4トークンは非常に賢いのですが、現在のところ、思考の連鎖のために～数百トークンのオーダーしか効果的に使うことができません（あたかも問題やプロジェクトに数分しか内部独白／思考を費やせないかのように）。
もし数百万トークンを使って、本当に難しい問題や大きなプロジェクトについて考え、取り組むことができるとしたらどうだろう？
| トークンの数 | 私が何かに取り組むのに相当する時間... | |
| 100s | 数分 | ChatGPT (私たちはここにいる) |
| 1000s | 30分 | +1 OOMsテスト時間計算 |
| 10,000 回 | 半日 | +2 OOMs |
| 100,000ドル | 1週間 | +3 OOMs |
| 数百万回 | 複数月 | +4 OOMs |
人間が〜100トークン/分で考え、40時間/週働くと仮定して、「モデルが考える時間」をトークンで換算すると、与えられた問題/プロジェクトにおける人間の時間になる。
仮に「トークンあたり」の知能が同じだったとしても、頭のいい人が問題に費やす時間が数分なのか数ヶ月なのかの違いになる。あなたのことは知らないが、私が数ヶ月でできることと数分でできることは、はるかに、はるかに、はるかに多い。もしモデルに「数分ではなく、数カ月に相当する時間、何かを考え、取り組むことができる」という能力を与えることができれば、その能力は飛躍的に向上するだろう。ここには膨大なオーバーハングがある。
今のところ、モデルにはまだこれができない。最近のロング・コンテキストの進歩をもってしても、このロング・コンテキストのほとんどはトークンの消費にしか機能せず、トークンの生産には機能しない。しばらくすると、このモデルはレールから外れたり、行き詰まったりする。しばらくの間、離れて単独で問題やプロジェクトに取り組むことはまだできない。
しかし、テスト時間の計算を解除することは、単に比較的小さな「ホブリングしない」アルゴリズムの勝利の問題かもしれない。おそらく、少量のRLは、モデルがエラー訂正（「うーん、これは正しくないようだ、再確認してみよう」）を学習したり、計画を立てたり、可能性のある解を探索したりするのに役立つだろう。ある意味、モデルはすでに生の能力のほとんどを持っており、それをまとめるために、さらにいくつかのスキルを学習する必要があるだけなのだ。
要するに、私たちはモデルに、困難で見通しの長いプロジェクトを推論させるシステムIIのアウターループのようなものを教えればいいのだ。
この外側のループを教えることに成功すれば、2、3段落の短いチャットボットの答えの代わりに、モデルが問題を考え、ツールを使い、異なるアプローチを試し、研究を行い、仕事を修正し、他の人と調整し、大きなプロジェクトを一人で完成させるような、何百万もの言葉のストリーム（あなたが読むよりも早く入ってくる）を想像してみてほしい。
続き I.GPT-4からAGIへ：OOMを数える(9) https://anond.hatelabo.jp/20240605210357
最後に、定量化するのが最も難しいが、それに劣らず重要な改善のカテゴリーを紹介しよう。
難しい数学の問題を解くように言われたとき、頭に浮かんだことを即座に答えなければならないとしたらどうだろう。最も単純な問題を除いて、苦労するのは明らかだろう。しかしつい最近まで、LLMにはそうやって数学の問題を解かせていた。その代わり、私たちのほとんどはスクラッチパッドで段階的に問題を解いていき、その方法ではるかに難しい問題を解くことができる。「思考の連鎖」プロンプトは、LLMのそれを解き放った。生の能力は優れているにもかかわらず、明らかな足かせがあるため、LLMは数学が苦手なのだ。
私たちはここ数年で、モデルの「足かせを外す」ことに大きな進歩を遂げました。これは単に優れたベースモデルをトレーニングするだけでなく、アルゴリズムの改良によってモデルの能力を引き出すものです：
足場作り。CoT++について考えてみよう：ただ問題を解くようモデルに求めるのではなく、あるモデルに攻撃計画を立てさせ、別のモデルに可能性のある解決策をたくさん提案させ、別のモデルにそれを批評させる、といった具合だ。例えば、HumanEval（コーディング問題）では、単純な足場作りによってGPT-3.5が足場なしのGPT-4を上回った。SWE-Bench（実世界のソフトウェアエンジニアリングのタスクを解くベンチマーク）では、GPT-4は~2%しか正しく解くことができませんが、Devinのエージェントの足場があれば14-23%に跳ね上がります。(後ほど詳しく説明するが、エージェントのアンロックはまだ初期段階に過ぎない。)
ツール：もし人間が電卓やコンピュータを使うことを許されなかったらと想像してみてほしい。まだ始まったばかりだが、ChatGPTはウェブブラウザを使ったり、コードを実行したりできるようになった。
エポックAIによる研究によると足場作りやツールの使用など、これらのテクニックのいくつかを調査したところ、このようなテクニックは多くのベンチマークで通常5～30倍の効果的な計算量の向上をもたらすことがわかった。METR（モデルを評価する組織）も同様に、同じGPT-4ベースモデルからのアンホブリングによって、エージェントタスクのセットで非常に大きなパフォーマンスの向上を発見しました。
https://situational-awareness.ai/wp-content/uploads/2024/06/metr_gains_over_time-1024x597.png
これらをコンピュートとアルゴリズムの効率で統一した実効的なコンピュート規模に当てはめることは困難ですが、少なくともコンピュート規模の拡大やアルゴリズムの効率とほぼ同規模の大きな進歩であることは明らかです。(また、アルゴリズムの進歩が中心的な役割を担っていることも浮き彫りになっています。0.5OOM/年の計算効率は、すでに重要なものではありますが、ストーリーの一部に過ぎません。）
「アンホブリング」こそが、実際にこれらのモデルが有用になることを可能にしたのであり、今日多くの商業アプリケーションの足かせとなっているものの多くは、この種のさらなる「アンホブリング」の必要性であると私は主張したい。実際、今日のモデルはまだ信じられないほど足かせが多い！例えば
ここでの可能性は非常に大きく、私たちはここで急速に低空飛行の果実を摘んでいる。これは非常に重要です。"GPT-6 ChatGPT "を想像するだけでは完全に間違っています。 GPT-6＋RLHFと比べれば、進歩は段違いだ。2027年までには、チャットボットというより、エージェントのような、同僚のようなものが登場するだろう。
続き I.GPT-4からAGIへ：OOMを数える(8) https://anond.hatelabo.jp/20240605210232
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
