「スケール」を含む日記 RSS

はてなキーワード: スケールとは

2024-06-15

エロ漫画の冒頭で男女が自宅でテレビ眺めながら「最近韓国映画ってすごいね スケール大きい」と話していた

エロを楽しみに来ただけのネトウヨ弱者男性をいきなり振り落とすのやめろ

2024-06-12

物語が動き出すとつまんなくなる現象

ハリウッド映画とかJRPGとか深夜アニメでもそうなんだけどさ

主人公の周りの日常とか人間関係とか描きながらスケールの小さい目的で動いてるあたりはワクワクして楽しめても、なんか国がどうとか魔女がどうとか能力とか抗争とか戦争がどうとかって話になってくると急速に興味を失ってしまうんだよな

脚本メソッド的にはそこから盛り上げていくぞ〜どんどん新事実が判明するぞ〜ホラホラ!

って感じの部分だと思うんだけど

そんな義務感で広げられた風呂敷見せられてもねぇ……ってなるのよね

その点日常アニメとか純文学とかYoutubeショート動画とかはそういう人為的ビッグウェーブが来ないか安心して楽しめる

俺だけじゃないだろこういう消費者

もう物語時代じゃないんじゃないか

anond:20240612063132

あんまりスケールが大きいと読者がついていけないから。大冒険ワンピースだけで十分、あとは身近な日常とか希望の持てないダークファンタジーがいいと読者の心が望んでいる。

2024-06-10

この爆笑太田意見賛同してるのワイだけ?

太田光さん「俺は正直言って政治家にそこまで清廉潔白な事を期待してないんです。むしろ反則ぎみな事をしててでもスケールの大きい事をするならばそれはそれで裏金くらい別にいいと思ってる」

だって政治家そもそも清廉潔白なわけないじゃん

仮にお前らが清廉潔白だとしても、政治家になればそうじゃなくなるよ

教養があれば知ってることだけど、立場が人を作るんだから

俺は当たり障りないこと言って、ポストの為に政治家続けてるやつの方がずっと悪だと思ってる

何も変える気ないなら政治家なんてやるなよと

政治家なんてやってる方が損だってレベルの奴しかいらないんだよ

そういう奴が政策実現目指して政治家やってやることやったらとっとと辞めるって方が権力に囚われずに、ずっと健全だろうしな

2024-06-08

世の中のスケールが小さくなるとどうなるの?

虫が人間並みに大きくなると自重を支えきれないとかいう話は聞く。

ジアースが腕を動かしたら末端速度がえらいことになるという話も聞いたことがある。

理科雄の世界っつーの?

まあその理科雄が既に扱ってそうだけど、俺は読んだことないから。

逆に人が物理的なことを無視して小動物並みに小さくなったとすると、身の回りのは物理的なことを考慮して同じスケールで小さくなれんのかい

ガラスフラスコとか、米粒みたいなサイズの熱したガラスに息を吹き込んであの形にできるのだろうか?

人が手で扱える量の水は表面張力ですごそう。コップの中身はコップよりすごく盛り上がってる?

ギアとかの歯車は…大きなもの腕時計の中身サイズぐらいだから動くか。じゃあ小さくなった腕時計は?

ガス火は無理そう。着火時の余分な炎で丸焼け?

焚き火は熱の範囲が凄くて火元の木や炭を触れなさそう。

自転車は安定感でるの?ジャイロ効果足りなかったりする?

 

小人作品は小さい人が小さいもの相対的に大きく扱うのが魅力のひとつだけど、それと同時に小人サイズの道具が出るとこんな複雑なものを小さく作れるんかなって気になる。

きっと東大阪町工場とかの小人職人さんが超絶テクで作ってるんだな。

2024-06-05

I.GPT-4からAGIへ:OOMを数える (11)

補遺 OOMを駆け抜けるこの10年か、それとも破綻

私は以前、AGIへの短期的なタイムラインには懐疑的だった。その理由ひとつは、この10年を優遇し、AGI確率質量を集中させるのは不合理に思えたかである(「我々は特別だ」と考えるのは古典的誤謬のように思えた)。私は、AGIを手に入れるために何が必要なのかについて不確実であるべきであり、その結果、AGIを手に入れる可能性のある時期について、もっと「しみじみとした」確率分布になるはずだと考えた。

しかし、私は考えを変えました。決定的に重要なのは、AGIを得るために何が必要かという不確実性は、年単位ではなく、OOM有効計算量)単位であるべきだということです。

私たちはこの10年でOOMsを駆け抜けようとしている。かつての全盛期でさえ、ムーアの法則は1~1.5OOM/10年に過ぎなかった。私の予想では、4年で~5OOM10年で~10OOMを超えるだろう。

https://situational-awareness.ai/wp-content/uploads/2024/06/this_decade_or_bust-1200x925.png

この10年間、我々はOOMの数を競ってきたが、2030年代初頭以降は、ゆっくりとしたスローグに直面するだろう。

要するに、私たちはこの10年で1回限りの利益を得るための大規模なスケールアップの真っ只中にいるのであり、OOMsを通過する進歩はその後何倍も遅くなるだろう。もしこのスケールアップが今後5~10年でAGIに到達できなければ、AGIはまだまだ先の話になるかもしれない。

まり、今後10年間で、その後数十年間よりも多くのOOM経験することになる。それで十分かもしれないし、すぐにAGIが実現するかもしれない。AGIを達成するのがどれほど難しいかによって、AGI達成までの時間中央値について、あなたと私の意見が食い違うのは当然です。しかし、私たちが今どのようにOOMを駆け抜けているかを考えると、あなたのAGI達成のモーダル・イヤーは、この10年かそこらの後半になるはずです。

https://lh7-us.googleusercontent.com/docsz/AD_4nXe0r6fnJI53YqKa4sRV8xUwQtJLVqoBk16MCRwi8PYQWnOifB3rGVIl-3FbSdDosEIHyAnVe3xdni6Wy5MG1J020VeIM14qeZ25X4QMAvQQ1hVMxT9oey0h5Nae64Hy44P-ujLKOQb_WXM5ushSj3-2at8?key=dBAH1mD-mi8jAGZnPZl-1g

マシューバーネット(Matthew Barnett)氏は、計算機と生物学境界だけを考慮した、これに関連する素晴らしい視覚化を行っている。

I.GPT-4からAGIへ:OOMを数える(10)

繰り返しになるが、非常に賢いChatGPT想像するだけではいけない。趣味的な進歩ではなく、リモートワーカーや、推論や計画エラー訂正ができ、あなたあなた会社のことを何でも知っていて、何週間も単独問題に取り組めるような、非常に賢いエージェントのようなものになるはずだ。

私たち2027年までにAGIを実現しようとしている。これらのAIシステムは、基本的にすべての認知的な仕事リモートでできるすべての仕事を考える)を自動化できるようになるだろう。

はっきり言って、エラーバーは大きい。データの壁を突破するために必要アルゴリズムブレークスルーが予想以上に困難であることが判明した場合データが足りなくなり、進歩が停滞する可能性がある。もしかしたら、ホッブリングはそこまで進まず、専門家の同僚ではなく、単なる専門家チャットボットに留まってしまうかもしれない。もしかしたら10年来のトレンドラインが崩れるかもしれないし、スケーリングディープラーニングが今度こそ本当に壁にぶつかるかもしれない。(あるいは、アルゴリズムブレークスルーが、テスト時間計算オーバーハング解放する単純なアンホブリングであっても、パラダイムシフトとなり、事態さらに加速させ、AGIをさらに早期に実現させるかもしれない)。

いずれにせよ、私たちOOMsを駆け抜けているのであり、2027年までにAGI(真のAGI)が誕生する可能性を極めて真剣に考えるのに、難解な信念は必要なく、単に直線のトレンド外挿が必要なだけである

最近、多くの人がAGIを単に優れたチャットボットなどとして下方定義しているように思える。私が言いたいのは、私や私の友人の仕事を完全に自動化し、AI研究者エンジニア仕事を完全にこなせるようなAIシステムのことだ。おそらく、ロボット工学のように、デフォルト理解するのに時間がかかる分野もあるだろう。また、医療法律などの社会的な普及は、社会選択規制によって容易に遅れる可能性がある。しかし、ひとたびAI研究のもの自動化するモデルができれば、それだけで十分であり、強烈なフィードバックループ始動させるのに十分であり、完全自動化に向けて残されたすべてのボトルネック自動化されたAIエンジニア自身解決することで、非常に迅速にさらなる進歩を遂げることができるだろう。特に、数百万人の自動化された研究者たちによって、アルゴリズムさらなる進歩のための10年間が1年以内に圧縮される可能性は非常に高い。AGIは、まもなく実現する超知能のほんの一端に過ぎない。(詳しくは次の記事で)。

いずれにせよ、目まぐるしい進歩のペースが衰えることはないだろう。トレンドラインは無邪気に見えるが、その意味するところは強烈である。その前の世代がそうであったように、新世代のモデルが登場するたびに、ほとんどの見物人は唖然とするだろう。博士号を持っていれば何日もかかるような信じられないほど難しい科学問題を、間もなくモデル解決し、あなたコンピュータのまわりを飛び回り、あなた仕事をこなし、何百万行ものコードからなるコードベースゼロから書き上げ、これらのモデルによって生み出される経済的価値が1年か2年ごとに10倍になるとき、彼らは信じられないだろう。SF小説は忘れて、OOMを数えよう。AGIはもはや遠い空想ではない。単純なディープラーニング技術スケールアップすることがうまくいき、モデル学習したがり、2027年末までにさら100,000倍を超えようとしている。私たちよりも賢くなる日もそう遠くはないだろう。

https://situational-awareness.ai/wp-content/uploads/2024/06/gan_progress-1.jpeg

GPT-4はほんの始まりに過ぎない。GANの進歩に見られるように)ディープラーニング進歩の速さを過小評価するような間違いを犯さないでほしい。

続き I.GPT-4からAGIへ:OOMを数える(11) https://anond.hatelabo.jp/20240605212014

I.GPT-4からAGIへ:OOMを数える (9)

3.コンピュータ使用

これはおそらく3つの中で最も簡単方法だ。現在のChatGPTは、基本的に、テキスト入力できる孤立した箱の中に座っている人間のようなものだ。初期のアンホブリング改良では、個々の孤立したツールの使い方をモデルに教えていましたが、マルチモーダルモデルでは、近いうちにこれを一挙にできるようになると期待しています

まりZoomでの通話に参加したり、オンラインで調べ物をしたり、メッセージ電子メールを送ったり、共有されたドキュメントを読んだり、アプリや開発ツールを使ったりといったことだ。(もちろん、より長いホライゾン・ループモデルがこれを最大限に活用するためには、テスト時間コンピューティングをアンロックする必要がある。)

最終的には、ドロップイン・リモートワーカーのようなものができると期待している。エージェントは、あなた会社入社し、新しい人間雇用のようにオンボードされ、Slackあなたや同僚にメッセージを送り、あなたソフトウェア使用し、プルリクエストを行い、大きなプロジェクトがあれば、人間独立してプロジェクト完了するために数週間留守にするのと同等のことができる。これを実現するためには、GPT-4よりもいくらか優れたベースモデル必要だろうが、おそらくそれほどでもないだろう。

https://situational-awareness.ai/wp-content/uploads/2024/06/devin.gif

Devinは、完全に自動化されたソフトウェアエンジニアを作るために、モデル上の「エージェンシーオーバーハング」/「テストタイムコンピューティングオーバハング」を解除する初期のプロトタイプだ。Devinが実際にどの程度機能するかはわからないし、このデモは、適切なチャットボットエージェントのアンホブリングがもたらすものに比べれば、まだ非常に限定的ものだが、近々登場するものティーザーとしては役に立つだろう。

ところで、私は、アンホブリングの中心性が、商業的応用という点で、少々興味深い「ソニックブーム効果につながると期待している。現在ドロップイン・リモートワーカーの中間モデルは、ワークフローを変更し、統合して経済的価値を引き出すためのインフラを構築するために、膨大な手間を必要とする。ドロップイン・リモートワーカーは、統合が劇的に簡単になる。つまりリモートでできるすべての仕事自動化するために、ドロップインするだけでいいのだ。つまりドロップイン・リモートワーカーが多くの仕事自動化できるようになる頃には、中間モデルはまだ完全に活用され統合されていないため、生み出される経済価値ジャンプはやや不連続になる可能性がある。

次の4年間

https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_gpt2togpt4.png

https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_2023to2027.png

GPT-4に先立つ4年間の進歩原動力と、GPT-4後の4年間に期待されることについての推計のまとめ。


数字をまとめると、GPT-4に続く4年間で、2027年末までにGPT-2からGPT-4規模のジャンプが再び起こると(おおよそ)予想される。

GPT-4のトレーニングに3ヶ月かかったとしよう。2027年には、一流のAIラボGPT-4レベルモデルを1分で訓練できるようになるだろう。OOM効果的なコンピュート・スケールアップは劇的なものになるだろう。

それは我々をどこへ連れて行くのだろうか?

https://situational-awareness.ai/wp-content/uploads/2024/06/overview_counting_the_ooms.png

OOMカウントのまとめ。


GPT-2からGPT-4までで、私たちは~未就学児から~賢い高校生になった。とんでもないジャンプだ。もしこれが、私たちが今一度カバーする知能の差だとしたら、それは私たちをどこに連れて行くのだろうか?私たちは、それが私たちをとてもとても遠くに連れていっても驚かないはずだ。おそらく、ある分野の博士や最高の専門家凌駕するようなモデルまで到達するだろう。

(このことを考える1つの良い方法は、現在AI進歩の傾向は、子供の成長のおよそ3倍のペースで進んでいるということだ。あなたの3倍速の子どもは高校卒業したばかりだが、いつの間にかあなた仕事を奪っていくだろう!)

続き I.GPT-4からAGIへ:OOMを数える(10) https://anond.hatelabo.jp/20240605211837

I.GPT-4からAGIへ:OOMを数える (5)

アルゴリズム効率

コンピュートへの大規模な投資が注目される一方で、アルゴリズム進歩も同様に重要進歩原動力であると思われる(そして、これまで劇的に過小評価されてきた)。

アルゴリズム進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク高校生競技数学)において、わずか2年間で~50%の精度を達成するために必要価格が下がったことを示す次の図を考えてみてください。(比較のために、数学特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。

https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png

MATHのパフォーマンスを〜50%にするために必要な推論コストの概算。


これは推論効率だけの数字だが(公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない)、アルゴリズム進歩は非常に大きく、また実際に起こっている。

この記事では、アルゴリズム進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニング計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍(1OOM)になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデル能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズム進歩と考えることができます)。

一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドライン予測可能であり、グラフ上の直線であるトレンドラインを信じよう。

アルゴリズム研究ほとんど公開されており、10年前にさかのぼデータがある)ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています

https://situational-awareness.ai/wp-content/uploads/2024/06/pareto_frontiers_imagenet_epoch-1024x349.png

アルゴリズム進歩を測定することができます。同じ性能のモデルを訓練するために必要計算量は、2012年比較して2021年にはどれくらい少なくなっているのでしょうか?その結果、アルゴリズム効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.

これは非常に大きなことです。つまり、4年後には、~100倍少ない計算量で同じ性能を達成できるということです(同時に、同じ計算量ではるかに高い性能も達成できます!)。

残念ながら、研究室はこれに関する内部データ公表していないため、過去4年間のフロンティアLLMのアルゴリズム進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率トレンドは、同様に~0.5OOM/年である推定しています。(しかし、これはエラーバーが広く、また、主要なラボアルゴリズム効率公表を停止しているため、最近の上昇を捕捉していません)。

https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png

Epoch AIによる言語モデリングにおけるアルゴリズム効率推定。この試算によると、私たちは8年間で~4OOM効率向上を達成したことになります

より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした(論文によると)が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました:

最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルGPT-4よりも85倍/57倍(入力/出力)安い(驚異的な利益!)。

公開されている情報総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMアルゴリズム効率向上が含まれいたことになります

https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png

GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して~2OOMsの向上が見込まれます計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボ資金人材への投資は急速に増加しています。 (少なくとも、公開されている推論コスト効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。

これらをまとめると、2027年末までには(GPT-4と比較して)1~3OOMアルゴリズム効率向上が期待できることになります

続き I.GPT-4からAGIへ:OOMを数える(6) https://anond.hatelabo.jp/20240605205754

I.GPT-4からAGIへ:OOMを数える (4)

OOMを数える

どうしてこうなったディープラーニング魔法は、それがただ機能するということであり、あらゆる場面で否定的意見にもかかわらず、その傾向線は驚くほど一貫している。

https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png

OpenAI Soraの例 計算量のスケーリング効果

効果的な計算OOMが増えるごとに、モデル予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を(大まかに定性的に)推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。

GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる:

1. コンピュート:計算:これらのモデルを訓練するために、より大きなコンピューターを使うようになった。

2.アルゴリズム効率化:アルゴリズム進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効コンピュート量の増加という統一された尺度に乗せることができます

3.「趣味のない」利益デフォルトでは、モデルは多くの素晴らしい生の能力学習しますが、あらゆる種類の間抜け方法で足かせとなり、実用的な価値制限されます人間フィードバックから強化学習(RLHF)、思考連鎖(CoT)、ツール、足場などの単純なアルゴリズム改善により、潜在的能力を大きく引き出すことができる。

これらの軸に沿って、改善の「OOMを数える」ことができる。つまり有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM10倍は1OOM、30倍は1.5OOM100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。

ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。

コンピュート

まず、最近進歩原動力として最もよく議論されている、モデルへの(大量の)コンピュート投入について説明します。

多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1~1.5OOMと、比較ゆっくりとしたスピードだった。(かつては1つのモデル100万ドルを費やすことさえ、誰も考えもしないことだった。)

モデル推定コンピュート 成長率
GPT-2 (2019) ~4e21 FLOP
GPT-3 (2020) ~3e23 FLOP + ~2 OOMs
GPT-4 (2023) 8e24~4e25 FLOP + ~1.5~2 OOMs

エポックAIによるGPT-2からGPT-4までの計算量の推定

エポックAIAIトレンドの優れた分析で広く尊敬されている情報源)の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができますGPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい(はるかに大きな)クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いていますエポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています

大雑把に言えば、これは長期的なトレンド継続に過ぎない。過去10年半の間、主に投資(およびGPUやTPUの形でAIワークロードに特化したチップ)の幅広いスケールアップのため、フロンティアAIシステム使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。

https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png

注目すべきディープラーニングモデルトレーニングコンピュートの経年変化。出典エポックAI

GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。

この分析によれば、2027年末までにさらに2OOMsのコンピュート(数十億ドル規模のクラスター)が実現する可能性は非常に高いと思われる。さらに+3OOMsのコンピュート(1,000億ドル規模以上)に近いクラスターも可能性がありそうだ(マイクロソフト/OpenAI計画中と噂されている)。

https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png

続き I.GPT-4からAGIへ:OOMを数える(5) https://anond.hatelabo.jp/20240605205449

I.GPT-4からAGIへ:OOMを数える (1)

2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは〜未就学児から〜賢い高校生までの能力を手に入れた。計算能力(~0.5桁またはOOMs/年)、アルゴリズム効率(~0.5OOMs/年)、および「趣味のない」向上(チャットボットからエージェントへ)のトレンドライントレースすると、2027年までに再び未就学児から高校生規模の質的ジャンプが起こると予想される。


見て。モデルたちはただ学びたいだけなんだ。あなたはこれを理解しなければならない。モデルたちは、ただ学びたいだけなんだ。

イリヤスーツバー2015年頃、ダリオ・アモデイ経由)

GPT-4の能力は、多くの人に衝撃を与えた。コードエッセイを書くことができ、難しい数学問題を推論し、大学試験突破することができるAIシステムである。数年前までは、これらは難攻不落の壁だと思っていた。

しかGPT-4は、ディープラーニングにおける10年間の猛烈な進歩の延長線上にあった。その10年前、モデル犬猫の単純な画像識別するのがやっとだった。4年前、GPT-2は半可通な文章をつなぎ合わせるのがやっとだった。今、私たちは思いつく限りのベンチマークを急速に飽和させつつある。しかし、この劇的な進歩は、ディープラーニングスケールアップにおける一貫した傾向の結果に過ぎない。

ずっと以前から、このことを見抜いていた人々がいた。彼らは嘲笑されたが、彼らがしたのはトレンドラインを信じることだけだった。トレンドラインは強烈で、彼らは正しかった。モデルはただ学びたいだけなのだ

私は次のように主張する。2027年までには、モデルAI研究者エンジニア仕事をこなせるようになるだろう、と。SFを信じる必要はなく、グラフ上の直線を信じるだけでいいのだ。

https://situational-awareness.ai/wp-content/uploads/2024/06/base_scaleup-1024x790.png

過去と将来の有効計算量(物理計算量とアルゴリズム効率の両方)の大まかな見積もりモデルスケールアップすればするほど、モデルは一貫して賢くなり、"OOMを数える "ことによって、(近い)将来に期待されるモデルインテリジェンスの大まかな感覚を得ることができます。(このグラフベースモデルスケールアップのみを示している。)

この記事で取り上げた一般的推定に基づく、効果的な計算物理的な計算アルゴリズム効率の両方)の過去と将来のスケールアップの概算。モデルスケールアップするにつれ、モデルは一貫して賢くなり、「OOMを数える」ことで、(近い)将来に期待されるモデルインテリジェンスの大まかな感覚を得ることができる。(このグラフベースモデルスケールアップのみを示している。"unobblings "は描かれていない)。

この作品では、単純に「OOMを数える」(OOM = order of magnitude10x = 1 order of magnitude)ことにします。1)計算、2)アルゴリズム効率(「効果的な計算」の成長として考えることができるアルゴリズム進歩)、3)「アンホブリング」(モデルデフォルトで足かせとなっている明らかな方法修正し、潜在的能力を引き出し、ツールを与えることで、有用性を段階的に変化させること)の傾向を見ますGPT-4以前の4年間と、GPT-4後の2027年末までの4年間に期待されるそれぞれの成長を追跡する。ディープラーニング効率的な計算のすべてのOOMで一貫して向上していることを考えると、将来の進歩予測するためにこれを使うことができる。

世間では、GPT-4のリリースから1年間、次世代モデルオーブンに入ったままであったため、ディープラーニングは停滞し、壁にぶつかっていると宣言する人もいた。しかし、OOMカウントすることで、私たちは実際に何を期待すべきかを垣間見ることができる。

結果は非常にシンプルだ。GPT-2からGPT-4への移行は、時々まとまりのある文章を並べることに感動的だったモデルから高校入試エースになるモデルへの移行であり、一度だけの進歩ではない。私たちOOMsを極めて急速に克服しており、その数値は、4年以上かけてGPT-2からGPT-4への質的ジャンプさらに~100,000倍の効果的なコンピュート・スケールアップが期待できることを示している。さらに、決定的なことは、それは単にチャットボットの改良を意味しないということだ。"unhobbling "利益に関する多くの明らかな低空飛行の果実を選ぶことで、チャットボットからエージェントへ、ツールからドロップイン・リモートワーカーの代替のようなものへと我々を導いてくれるはずだ。

推論は単純だが、その意味するところは注目に値する。このような別のジャンプは、私たちをAGIに、博士号や同僚として私たちそばで働くことができる専門家と同じくらい賢いモデルに連れて行く可能性が非常に高い。おそらく最も重要なことは、これらのAIシステムAI研究のもの自動化することができれば、次回のテーマである強烈なフィードバックループが動き出すということである

現在でも、このようなことを計算に入れている人はほとんどいない。しかし、AIに関する状況認識は、一歩下がってトレンドを見てみれば、実はそれほど難しいことではない。AI能力に驚き続けるなら、OOMを数え始めればいい。

続き I.GPT-4からAGIへ:OOMを数える (2) https://anond.hatelabo.jp/20240605204240

2024-06-03

ぬいペニなんて、ぬいぐるみ化したなら諦めるが最善、そこで培った余裕で次の相手では最初からリアル男になれるよう頑張ろうねとするか、

ぬいぐるみからねんどろいどへ、徐々にスケールフィギュアになりリアルペニスが生えててもおかしくない状況になるくらいの気長にやる覚悟をキメるかどちらかを選べという話でしかないんだよなぁ

選挙広報って前時代的すぎじゃね

もっとテレビとかネットにも流せよ

選管でも何でもいいか中間者設定して公平に時間とかpvを分配する感じでやれるだろ

選挙カーなんて走らせてんじゃねえよ スケールしないだろ

2024-06-01

日本の生きづらさ(男女差別格差社会)は統計を歪曲する信仰のせい

もっと具体的に言えば、統計を「平均」のことだと思い込んで、「分散」を考慮に入れて議論することができないから。

 

分散とは

 個々のデータ平均値の差の2乗の平均のこと。分散が大きいとデータバラツキが大きい。

 

分散から何がわかるか

 分散平方根を「標準偏差」という。平均値を50とし、標準偏差10とするようにスケールし直したデータをおなじみ「偏差値」と呼ぶ。

 分布正規分布に近い場合、凡そ68%が偏差値40〜60の間に収まる。また95%が30〜70の間に収まる。

 

分散理解してない言論の例

 

【おまけ】そもそも平均を理解してない例

 

「みんないっしょ」信仰が癌である

 これは単に文系馬鹿というだけではない気がする。

 もともとの日本の「一億総中流」のような、多様性否定する信仰さらに「平均以外に意味はない」というバイアスを強めている可能性がある。

 日本人にはもともと「普通」を定義しその中に収まるという強い欲求があるために、たとえ義務教育統計の基礎を学んでいても、その中から「平均」という普通定義だけを学び、「分散」という多様性定義を学ばない心理的取捨選択があるということだ。

 増田自身、男女の能力差に関して「統計的に考えろ」とここに書いたら、「女は男より(平均で)下だと統計が言ってるんだ」と騒ぐやつばかりで話にならなかったことがある。

 統計的に言えば、「普通」と言うのは、例えば偏差値40〜60のように平均以上以下に幅を持って定義しなければ意味がない。平均の周囲どれだけに何%が収まるのかという分散の発想なしに「普通」は本来定義できない。

 

生活保護基準相対的貧困の連動

 「生活保護基準」と「相対的貧困ライン」は、それぞれ別の定義で、別の目的で作られた概念だが、結局は同じ層だよねってなることが学術的に知られている。

 https://cir.nii.ac.jp/crid/1390853651279758080

 相対的貧困ラインは「可処分所得手取り)」が中央値の半分を下回る水準であり、これは収入格差が大きいほど当然拡大する。

 欧州などは10%程度に抑えられているが、日本のように16%もの相対的貧困層がいる場合、「生活保護の本当に必要な人」は1000万人〜2000万人は見積もる必要があると統計理解していれば必ずわかるのだ。

 

まとめると

2024-05-31

供託金は無くすべき

選挙に出るのになぜ大金を持っている必要があるのか。供託金は無くすべきであるインターネットのこのご時世、スケール大事である立候補者が100万人いても大丈夫システムにせよ。頭を使え!

2024-05-29

まだWeb3とか言ってる奴w

おいお前ら、分散WebことWeb3。まだそんな夢見てる奴、まさかいねーよなぁ?

ビットコインマイナーが偏ってる!!イーサの分散性は云々。…正直そういう〇〇は分散してない系の批判は飽きたよ。てか分散性なんてもう誰も気にしてないしな。だからもっと簡単な欠陥を指摘させてもらうぜ。

ブロックチェーン技術で何か人のためになっているサービスある?これよ、これ。

よく聞くのはウクライナへの募金に!とかブロックチェーンゲーム途上国の人が仕事を得てる!とか。アルゼンチンで使われてる!とか。

スケール小さくね?

それにな。まずアルゼンチンで使われてるのはUSDTだろ?アメリカ様々じゃねえか。打倒ドルの野望はどうしたんだよ!いいか、初心を忘れてる奴は危機感持った方がいいぜ。は?ライトニングがある?あんなの使えねぇよ。Liquidity Managementとかめんどいし、口座作ったらデフォで受け取りできねーとか素人お断り仕様の数々。開発者質問したら、それは慣れだね(ドヤって返されたぞ。ふざけんな。それに一番人気の、カストディでやってるライトニングなんてPayPayと変わんねぇからな。UIガバガバ企業様々、やーい、お前のウォレットファッションライトニング〜。

途上国仕事を生み出すブロックチェーンゲームなんて話も、インプレッションゾンビ生計立ててる途上国の人がいるからXは役に立っている!くらい論点ズレてんだよ。ブロックチェーンゲーム自体ゲームとして楽しいか?楽しくねぇーよ。それが全てだろ。ゲーマー馬鹿にすんな。

なになに?DeFi既存金融取引額を超えた?そりゃお前、トレード制限のないブロックチェーン上の取引高と、真面目な金融市場の取引高を比べてもしょうがないんだよ。エアドロ目的のポイ活やらウォッシュトレード複垢自己売買とか全部なくなったら、ブロックチェーンは利用価値あんのか?正々堂々闘ってない奴が勝者を名乗る資格はねぇんだわ。それにハッキングされまくって北朝鮮お金しまくって、誰が責任取るんだ?9.11ガバガバ金融が遠因だったな。

要するにだ。ブロックチェーンは、非現実的たかーい理想とえらーい思想を盾に不便や犯罪を是とする連中のオモチャなんだよ。イノベーションでもなんでもない。それをDisruptive とか言ってカッコつけんのはダセーって気づけよ。

いかWeb3ヤー。お前らがやってるのは、フェミニストポリコレと一緒。中央集権的な政府企業から解放するとか、言ってることは分かるけど、その実は身内が儲けることしか考えてないヤツ。国家ガーとか、大企業ガーとか言いながら、国際協力と適正競争の賜物である航空機に乗って世界ぴょんぴょんして、まるで共産主義者ハンバーガー食ってるみたいだぞ。恥ずかしくねぇのか?悔しかったらビットコインで空でも飛んでみろよ。まさかbitFlyerって格安航空なんか?コインチェックインしてzaif機内食カレー食ってヘルジャパンバイバイナンス。…できねえよな?あ、でも北朝鮮仮想通貨ミサイル飛ばしてるか。おーい、Web3ヤー!スマートコントラクトJアラートを鳴らせるってデジタル庁にプレゼンしに行こうぜ!

いかWhy Blockchain?って言われまくってる理由を教えてやるよ。ブロックチェーンビジネスに取り入れようとして上手くいかないのはな、ブロックスペースに収まる程度のデータやGasLimit内で完結する弱々アルゴリズムで役に立つものが作れるほど、世界が単純じゃねーからだよ。

かにブロックチェーンシンプルだよ。だけどシンプルな仕組みの上で動く「系」は周期がとんでもなく短くなるんだ。考えてみろよ。ここ数年、ブロックチェーン界隈で起こってることはずっと同じことの繰り返しだろ?新しいプロダクトに人を集めては、「分散Webなので責任者がいません!」と嘘ついてポンジスキーム走らせて、その仕組みから儲ける手段をいち早く見つけた早期botter が儲かって、運営は頃合い見て資金を回収してバイバイよ。で、その資金が別の新しいプロダクトに投資されて人が集まり………。無限ループって怖くね?これ以外のパターン見た?2x2x2のルービックキューブみたいにすぐに6面揃って崩しての繰り返しよ。てか最近人類、6面揃えるの早くなってない?今回なんて半減期来る前にバブルきちゃったけど?ミームコイン寿命どんどん短くなってるけど?ブロックチェーンゲームもIEOもすぐにdumpされてない?あっという間に仕組みがハックされる。つまりblockchain is solvedなんだよ。

結局、秩序なきビジネス環境で、リバタリアン的な資本主義をやったら、資本で叩いたもん勝ちのババ抜き大会しかならなかった。しかゼロサムゲームでした。チャンチャン。それが実験の答えじゃねえのか?悔しかったらブロックチェーン上の資本主義で、Open AIみたいなGAFAを焦らせる企業を育ててみろよ。ん?DAO?どしたん、最近元気ないけど話聞こか?…NFT?そういえば居たなそんな奴。こんど墓参りがてらマリモに水やっとくよ。

ビットコインだけは大丈夫そうだと思ってたけど、Ordinalsとか、スマートコントラクト入れよう!とかセカンドレイヤーが云々って声が出てきたから流石に疑問だよな。リステーキングとかわざわざ入れんなよ。法律変えるためのロロイストも、ソースコード変えるためのWeb3ヤーも、金の亡者のやることはどこでも一緒だな。なになにお前らBitcoin シーズン2っていうの?続編は失敗するって常識を知らない世間知らずに、デジタルゴールド革命なんかできやしねぇよ。

ビットコインイーサリアムも、ETF認められて良かったね。セイラーとゲンスラーと手を繋いでみんな仲良くオールタイムハイ!最高!最高!最高!ウォール街オモチャになるって最高!!!

みんなはいビットコインWeb3の夢から覚めるのか。まだ間に合うけど、寝坊すんじゃねーぞ養分ども。脳汁ブシャーお漏らしして目が覚めたらイッペー状態なんてことになってても、ショーヘイは助けてくんねーぞ?やつはもうクリプトアフロで懲り懲りなんだ。男ならな、ちまちまトレードしてショボイ億り人なんか目指さないで、ショーヘイを見習って素振りでもしてればいいんだよ。誰か一緒に1000億の男目指そうぜ?

政治に興味が無い じゃなくて どうでもいい じゃなくて 諦めという感じ

新聞テレビしか情報源が無かった頃は、マスコミスクープ不祥事の知るところであった。

今やネット草の根から情報が発信される世の中。

今までマスコミが流していたスクープに対してスケールも酷さもひときわの物ばかり。

知らぬが仏だったんだなぁと思ったり。

地元で支持していた人が特定企業癒着していたという話からから出てくる。

投票権を得て数十年、いくら投票に行こうが何も変わらなかった。

もう勝手しろ

しらねぇよ

という気持ちでいっぱいだ。

2024-05-22

anond:20240522071524

ただのフッ素入りじゃなくて15才以上の場合は1450ppmFと書かれた歯磨き粉ね!

歯が生えてから5才までは500ppmF、6〜14才は900〜1000ppmFだよ!

歯磨き粉はフッ素入りをタップリ使え



基本的に食後すぐに磨くのがいいけど、クエン酸などpHが低い強酸性のもの飲食したときだけは口をよく濯いで30分以上経ってから磨かないと歯が削れるおそれがあるよ!

・食後すぐに磨く



いちおう科学的根拠としては最低1日2回でそれ以上磨いてもあまり変わらないとされてるけど、1日2回以上磨いても別に問題はないよ!

磨きすぎが良くないというか「オーバーブラッシング」といって必要以上に強い力で磨くと、歯肉が傷ついたり不可逆的な歯肉退縮が起こったりして、むし歯や知覚過敏になりやすくなるよ!

適切なブラッシング圧は100〜200g。デジタルクッキングスケールなどを使えば自分ブラッシング圧を調べられるよ!

「磨き過ぎはよくないから夜1回でいい」

2024-05-20

anond:20240520110946

それを考えるには、いくつかの前提を疑う必要がありそう

時代によって短調マイナースケール)の感じ方は一緒だったのか(昔の人も同じように「暗い」と感じたのか)

現在でも国や地域によるスケールの感じ方は一緒なのか

違いがあるとすればそれは何に起因するのか

 

個人的には「今のようなポップミュージックが発達する以前では、マイナー調でも娯楽的であり、感情の発散の手段としてポジティブ作用していたのではないか」と勝手に考えている

選択肢が少ない中での音楽、歌は十分にエンタメだったのではないか

2024-05-17

anond:20240517183837

そんなにスケール大きい話ですかね…。

14年の経験スキルがあるので、ホワイトカラーを選びたいです。

2024-05-15

anond:20240515172514

その無理だったって言うのがマイナスイメージしかなかったわけよ

ユーザー期待値肥大化していくのにその要求を答えられないとか夢がない

ゲームってのは面白そうとか現実にはない壮大な夢を与えてくれるものなのに夢がなくなったらつまんねーってなる

からハードメーカー含めたゲーム製作者はユーザー期待値以上の面白くなる壮大なスケールを夢を提供しろって思うわけ

バカかい世界ポケモン151万種類登場!

とかなったらオラぁもう脳汁出まくって脳みそ破裂して死ぬ

[] 最小要件から始める

ユーザー属性の種類ごとに広告を表示する機能必要としよう。

いきなり本格的な広告管理ツールを作るためにデータベース設計するのではなく、最初は簡易的なプレーンテキスト形式設定ファイル管理するところから始める。

そうすれば当面の間はその簡易機能対応できるし、対応の速度も早い。

広告管理スケールが大きくなってきたと感じたところで広告管理CRUD設計するのでも遅くはない。

ただし、このアプローチ採用する際には、将来的にデータベースに移行することを見越した設計をすることが重要

具体的には、設定ファイル形式選択する際には、データベースに容易にインポートできる形式を選ぶこと、また、データ整合性を保つための適切なバリデーションルールを設けることなど。

ファイナルファンタジーってもう限界だよな

スクエニ不振らしい

FFドラクエといった、昔からあるおっさん向けIPに頼ってるからみたいに言われてたりする

それはたしかにそうだけど

でもIPだけの問題じゃなくて、スクエニが得意とするJRPG問題があるよね

まずは制作が大変すぎるって話よね。

1000人で7,8年かけて作ってると思うんだけどさ

それでじゃあ7のリメイクが全部入れれるかって言ったら無理なんだよな

から分割したんだろうけど、それで手抜きだとか言われてさ

昔のゲームスケールデカさ異常だよな

あれを現代密度で作るって大変すぎると思う


それでさら問題なのが、消費する側の可処分時間

趣味多様化もそうだけど、ゲーム自体多様化してて

いまはApexとかフォトナとかValorantみたいなサービスゲーが主流になった

毎週なにかしらのイベントがあって限定アイテムとか入手しよう!みたいな煽りがあったり

君はランクいくつかな!?みたいな承認欲求を刺激するいろいろな仕組みがある

それに加えてスマホアプリとかもあるわけだし


なので以前のように、一人の世界にこもって世界を救うために50時間プレイするなんてことができない時代になった

からスイカゲームとか8番出口とかああいう2,3時間でできるゲーム流行るようになった


いまも受けがいいAAAバイオハザードみたいにメインコンテンツだけなら10~15時間クリアできる比較的短いものが好まれ

昔だったらクリア10時間なんて聞かされたら手抜きとかぼったくりとか言われて炎上したけど

今の時代には10時間クリアできますはかなり肯定的な反応になると思う(そりゃ人によるけどね)

そして、JRPG場合10時間クリアできるようにするのはかなり無茶だ

JRPGというのは基本的には世界を救うみたいなスケールから

バイオハザードみたいに洋館と別館と地下施設みたいなスケールじゃないといけないけど、そんなJRPGたことない


2024-05-14

ひも理論検証ができないのはエネルギー不足

解像度を上げるには膨大なエネルギーがいるが、地球の外周ぐらいの長さの加速器ではひも理論検証には不十分

これを考えると、「じゃあエネルギー無限にあれば無限小の理論が実現できるのか?」という話になるが、無限エネルギーなんてもんがあるのか?

そんなものがないのだとしたら、人間もつ解像度じゃ離散スケールの中で生きているってことになるよな?

では時空はどうだ?これは離散的なものなのか、って話になる

そもそも観測によってズームインしていけば際限なく拡大できると考えるなら、空間時間無限観測できるという話になる...と一見すると思われる

ところが「ある主体がどの時点まで観測たか」という話になると、時間空間もどれだけズームインしても有限の値になる

要するに有限論破増田に分があるってことだ、物理世界に「無限」は存在しない可能性が高い

ログイン ユーザー登録
ようこそ ゲスト さん