  |
はてなキーワード: Magnitudeとは
X (twitter) で SITUATIONAL AWARENESS: The Decade Ahead https://situational-awareness.ai/ というのが回ってきて非常に示唆に富むものだったので、DeepL (無料版 API経由) で訳してみた。
この1年で、街の話題は100億ドルのコンピュート・クラスターから1000億ドルのクラスター、そして1兆ドルのクラスターへと移り変わってきた。半年ごとに、役員室の計画にまたゼロが追加される。その裏では、残りの10年間に利用可能なすべての電力契約と、調達可能なすべての電圧変圧器を確保しようとする熾烈な争いが繰り広げられている。アメリカの大企業は、アメリカの産業力を結集させるために、何兆ドルもの資金を注ぎ込む準備を整えている。ペンシルベニア州のシェールフィールドからネバダ州の太陽光発電所まで、何億ものGPUが稼働する。
AGI競争が始まったのだ。私たちは思考し、推論できるマシンを作りつつある。2025年から26年にかけて、これらのマシンは多くの大学卒業生を凌駕するだろう。10年後までには、これらのマシンは私やあなたよりも賢くなり、本当の意味での超知性を手に入れるだろう。その過程で、この半世紀には見られなかったような国家安全保障の力が解き放たれ、やがて「プロジェクト」が始動する。運が良ければ、中国共産党との全面的な競争になり、運が悪ければ全面戦争になる。
今、誰もがAIについて話しているが、何が自分たちを襲おうとしているのか、かすかな光明を感じている人はほとんどいない。Nvidiaのアナリストは、まだ2024年がピークに近いと考えている。主流派の評論家たちは、「次の言葉を予測するだけだ」という故意の盲目に陥っている。彼らが見ているのは誇大広告といつも通りのビジネスだけで、せいぜいインターネット規模の新たな技術革新が起こるのを楽しむ程度なのだ。
やがて世界は目を覚ますだろう。しかし、今現在、状況認識を持っているのはおそらく数百人で、そのほとんどはサンフランシスコとAI研究所にいる。運命の不思議な力によって、私はその中に身を置くことになった。数年前、このような人々はクレイジーだと揶揄されたが、彼らはトレンドラインを信頼し、過去数年間のAIの進歩を正しく予測することができた。この人たちが今後数年についても正しいかどうかはまだわからない。しかし、彼らは非常に賢い人々であり、私がこれまでに会った中で最も賢い人々である。おそらく、彼らは歴史の中で奇妙な脚注となるか、あるいはシラードやオッペンハイマー、テラーのように歴史に名を残すだろう。もし彼らが未来を正しく見ているとしたら、私たちはとんでもないことになる。
各エッセイはそれぞれ独立したものですが、シリーズ全体として読むことを強くお勧めします。全エッセイのPDF版はこちら。
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは～未就学児から～賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生サイズの質的なジャンプが起こると予想される。
AIの進歩は人間レベルでは止まらない。何億ものAGIがAI研究を自動化し、10年に及ぶアルゴリズムの進歩（5以上のOOM）を1年以下に圧縮することができる。私たちは、人間レベルから超人的なAIシステムへと急速に進化することになる。超知能の威力と危険性は劇的なものとなるだろう。
驚異的な技術資本の加速が始まっている。AIの収益が急増するにつれ、10年末までに何兆ドルもの資金がGPU、データセンター、電力の増強に投入されるだろう。米国の電力生産を数十％増加させるなど、産業界の動員は激しくなるだろう。
米国の主要なAI研究所は、セキュリティを後回しに扱っている。現在、彼らは基本的にAGIの重要な機密を銀の皿に載せて中国共産党に渡している。AGIの秘密とウェイトを国家機関の脅威から守るには膨大な努力が必要であり、我々はその軌道に乗っていない。
我々よりもはるかに賢いAIシステムを確実に制御することは、未解決の技術的問題である。解決可能な問題ではあるが、急速な知能の爆発が起きれば、物事は簡単にレールから外れてしまう。これを管理することは非常に緊張を強いられるだろう。
スーパーインテリジェンスは、経済的にも軍事的にも決定的な優位性をもたらすだろう。中国はまだゲームから抜け出してはいない。AGIをめぐる競争では、自由世界の存亡がかかっている。我々は権威主義的な大国に対する優位性を維持できるのか？そして、その過程で自滅を避けることができるのだろうか？
AGIへの競争が激化するにつれ、国家安全保障が関与してくる。アメリカ政府は眠りから覚め、27～28年までに何らかの形で政府によるAGIプロジェクトが立ち上がるだろう。どんな新興企業も超知能を扱うことはできない。SCIFのどこかで、終盤戦が始まるだろう。
もし我々が正しかったら？
――――――――
私はかつてOpenAIで働いていたが、これはすべて一般に公開されている情報、私自身のアイデア、一般的な現場知識、あるいはSFゴシップに基づいている。
Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel、その他多くの方々の有益な議論に感謝する。初期の草稿にフィードバックをくれた多くの友人に感謝する。グラフィックを手伝ってくれたジョー・ローナン、出版を手伝ってくれたニック・ウィテカーに感謝する。
続き I.GPT-4からAGIへ：OOMを数える(1) https://anond.hatelabo.jp/20240605203849
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは〜未就学児から〜賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生規模の質的ジャンプが起こると予想される。
見て。モデルたちはただ学びたいだけなんだ。あなたはこれを理解しなければならない。モデルたちは、ただ学びたいだけなんだ。
GPT-4の能力は、多くの人に衝撃を与えた。コードやエッセイを書くことができ、難しい数学の問題を推論し、大学の試験を突破することができるAIシステムである。数年前までは、これらは難攻不落の壁だと思っていた。
しかしGPT-4は、ディープラーニングにおける10年間の猛烈な進歩の延長線上にあった。その10年前、モデルは犬猫の単純な画像を識別するのがやっとだった。4年前、GPT-2は半可通な文章をつなぎ合わせるのがやっとだった。今、私たちは思いつく限りのベンチマークを急速に飽和させつつある。しかし、この劇的な進歩は、ディープラーニングのスケールアップにおける一貫した傾向の結果に過ぎない。
ずっと以前から、このことを見抜いていた人々がいた。彼らは嘲笑されたが、彼らがしたのはトレンドラインを信じることだけだった。トレンドラインは強烈で、彼らは正しかった。モデルはただ学びたいだけなのだ。
私は次のように主張する。2027年までには、モデルがAIの研究者やエンジニアの仕事をこなせるようになるだろう、と。SFを信じる必要はなく、グラフ上の直線を信じるだけでいいのだ。
https://situational-awareness.ai/wp-content/uploads/2024/06/base_scaleup-1024x790.png
過去と将来の有効計算量（物理計算量とアルゴリズム効率の両方）の大まかな見積もり。モデルをスケールアップすればするほど、モデルは一貫して賢くなり、"OOMを数える "ことによって、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができます。(このグラフはベースモデルのスケールアップのみを示している。）
この記事で取り上げた一般的な推定に基づく、効果的な計算（物理的な計算とアルゴリズムの効率の両方）の過去と将来のスケールアップの概算。モデルをスケールアップするにつれ、モデルは一貫して賢くなり、「OOMを数える」ことで、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができる。(このグラフはベースモデルのスケールアップのみを示している。"unobblings "は描かれていない)。
この作品では、単純に「OOMを数える」(OOM = order of magnitude、10x = 1 order of magnitude)ことにします。1)計算、2)アルゴリズム効率(「効果的な計算」の成長として考えることができるアルゴリズムの進歩)、3)「アンホブリング」(モデルがデフォルトで足かせとなっている明らかな方法を修正し、潜在的な能力を引き出し、ツールを与えることで、有用性を段階的に変化させること)の傾向を見ます。GPT-4以前の4年間と、GPT-4後の2027年末までの4年間に期待されるそれぞれの成長を追跡する。ディープラーニングが効率的な計算のすべてのOOMで一貫して向上していることを考えると、将来の進歩を予測するためにこれを使うことができる。
世間では、GPT-4のリリースから1年間、次世代モデルがオーブンに入ったままであったため、ディープラーニングは停滞し、壁にぶつかっていると宣言する人もいた。しかし、OOMをカウントすることで、私たちは実際に何を期待すべきかを垣間見ることができる。
結果は非常にシンプルだ。GPT-2からGPT-4への移行は、時々まとまりのある文章を並べることに感動的だったモデルから、高校入試のエースになるモデルへの移行であり、一度だけの進歩ではない。私たちはOOMsを極めて急速に克服しており、その数値は、4年以上かけてGPT-2からGPT-4への質的なジャンプをさらに～100,000倍の効果的なコンピュート・スケールアップが期待できることを示している。さらに、決定的なことは、それは単にチャットボットの改良を意味しないということだ。"unhobbling "利益に関する多くの明らかな低空飛行の果実を選ぶことで、チャットボットからエージェントへ、ツールからドロップイン・リモートワーカーの代替のようなものへと我々を導いてくれるはずだ。
推論は単純だが、その意味するところは注目に値する。このような別のジャンプは、私たちをAGIに、博士号や同僚として私たちのそばで働くことができる専門家と同じくらい賢いモデルに連れて行く可能性が非常に高い。おそらく最も重要なことは、これらのAIシステムがAI研究そのものを自動化することができれば、次回のテーマである強烈なフィードバック・ループが動き出すということである。
現在でも、このようなことを計算に入れている人はほとんどいない。しかし、AIに関する状況認識は、一歩下がってトレンドを見てみれば、実はそれほど難しいことではない。AIの能力に驚き続けるなら、OOMを数え始めればいい。
続き I.GPT-4からAGIへ：OOMを数える (2) https://anond.hatelabo.jp/20240605204240
During my lifetime I've probably drank enough whisky to fill an Olympic size swimming pool, but whisky flavoured foods of any description should be avoided like the plague.
私は一生の間に、おそらくオリンピックサイズのプールを満たすのに十分な量のウィスキーを飲みましたが、どのような種類のウィスキー風味の食べ物もペストのように避けるべきです.
An Olympic-size swimming pool is used as a colloquial unit of volume, to make approximate comparisons to similarly sized objects or volumes. It is not a specific definition, as there is no official limit on the depth of an Olympic pool. The value has an order of magnitude of 1 megaliter (ML).[1]
オリンピック サイズのスイミング プールは、口語的な体積の単位として使用され、同様のサイズのオブジェクトまたは体積とのおおよその比較を行います。 オリンピックプールの深さには公式の制限がないため、これは特定の定義ではありません。 値は 1 メガリットル (ML) の大きさのオーダーを持っています。 [1]
エタノールの比重を約0.8g/cm3とすると、一日の許容量は40度のウィスキー約62.5mL
毎日ウィスキーだけ飲み続けたとして、1MLに達するのは、1,000,000,000（mL）÷62.5（mL/日）=16,000,000（日）。うるう年を考慮せず365で割った結果は、43,835年と225日
期間を50年以上、20,000日と仮定する。1,000,000,000（mL）÷20,000（日）=50,000（mL）。Lに直すと、一日あたり50リットル以上
ウィスキーのダブルは約60mLになる。これを一日3杯ずつ20,000日間飲んだとすると、180（mL/日）×20,000（日）=3,600,000（mL）=3,600（L）
この程度の量を計るのに適切な単位はバレルだろう
バレル - Wikipedia
アメリカでは、用途によらない標準の液量バレル (standard barrel for liquids) は31.5米液量ガロン（正確に119.240 471 196リットル）である。
ただし、税法上、ビール用のバレル (standard beer barrel) は31米液量ガロン（正確に117.347 765 304リットル）となっている。
一方、穀物や野菜などに用いられる標準乾量バレル (standard dry barrel) は、105乾量クォート（約115.6リットル）と定義されている。
イギリスでは、標準のビールバレルは36英ガロン（正確に163.659 24リットル）である。石油用のバレルを英ガロンで表すと約35ガロンとなる。
さらに、用途によっては質量によるバレルの定義が行われている（例：小麦粉＝196ポンド、セメント＝376ポンド）。
ワインやウイスキーなどの酒類の貯蔵に用いられる樽の種類でバレルと呼ばれるものは、容量42 - 55米ガロン（約208.2リットル）くらいまでのものが用いられる。
「私は一生の間に、おそらく樽2ダースを満たすのに十分な量のウィスキーを飲みました」と言い換えれば大ボラをつかずに済むということになる
CNNの記事なので英語の元記事を見てみよう、どういう表現だろうか
Tonga eruption blasted enough water to fill 58,000 Olympic pools into the Earth's atmosphere, NASA says
The eruption sent a tall plume of water vapor into the stratosphere, which is located between 8 and 33 miles (12 and 53 kilometers) above the Earth's surface. It was enough water to fill 58,000 Olympic-sized swimming pools, according to detections from a NASA satellite.
この噴火により、地表から 12 ～ 53 km (8 ～ 33 マイル) の高さに位置する成層圏に、水蒸気の高いプルームが送り込まれました。 NASA の衛星からの検出によると、オリンピック サイズのプール 58,000 個を満たすのに十分な量の水でした。
英語圏でよく使われるのだろうか？この「プール何杯分」というのは
twitterで「fill pools until:2022-01-01」の検索条件で検索してみる
すると以下のようなニュースがツイートされているのを発見（「The Hustle」という媒体のようだ）
In 2020, US gas stations sold enough gas to fill 187k Olympic-size swimming pools. But most don’t make money from gas. Here’s why.
2020 年、米国のガソリン スタンドは、187,000 個のオリンピック サイズのプールを満たすのに十分な量のガソリンを販売しました。しかし、ほとんどの人はガスからお金を稼ぎません。理由は次のとおりです。
ニュースサイトではない一般ユーザーもこのような表現をしていた
During my lifetime I've probably drank enough whisky to fill an Olympic size swimming pool, but whisky flavoured foods of any description should be avoided like the plague.
私は一生の間に、おそらくオリンピックサイズのプールを満たすのに十分な量のウィスキーを飲みましたが、どのような種類のウィスキー風味の食べ物もペストのように避けるべきです.
英語版wikipediaの「Olympic-size swimming pool」のページを見てみよう
An Olympic-size swimming pool is used as a colloquial unit of volume, to make approximate comparisons to similarly sized objects or volumes. It is not a specific definition, as there is no official limit on the depth of an Olympic pool. The value has an order of magnitude of 1 megaliter (ML).[1]
オリンピック サイズのスイミング プールは、口語的な体積の単位として使用され、同様のサイズのオブジェクトまたは体積とのおおよその比較を行います。 オリンピックプールの深さには公式の制限がないため、これは特定の定義ではありません。 値は 1 メガリットル (ML) の大きさのオーダーを持っています。 [1]
なるほど、この書き方だとニュースの定型句に限らず一般的に使う言い回しに見える
※追記：
編集履歴を確認したところ00:16, 30 May 2003のリビジョン時点で以下の記述がある
少なくとも20年前からこのような言い回しがwikipediaに書かれる程度には一般的だったようだ
An Olympic Size Swimming Pool is the type of pool used in the Olympic Games. The size of the pool is commonly used to define the size of other objects, or to explain how much water is in a particular location.
オリンピック サイズのスイミング プールは、オリンピックで使用されるプールの種類です。 プールのサイズは、通常、他のオブジェクトのサイズを定義したり、特定の場所にある水の量を説明したりするために使用されます。
追記ここまで
英語圏の人はピンと来てるのだろうかこの言い方で
勘だがピンとこない人も結構いる気がする
だって日本人でも「東京ドーム何杯分」がピンとこない人は結構いるからな
調べてみたがなかなか興味深かった、他にもこういう海外のよくわからん単位がありそうだ
「フットボールコート何個分」みたいな面積についての言い回しもあるみたいだったし
その国固有の例えとかありそうで面白い
イタリアなら「コロッセオ何杯分」とかあったりしそう（調べてないけど）
※再追記：
以下の英WikipediaのページのVolumeのCasual unitsの項がズバリだ
https://en.wikipedia.org/wiki/List_of_unusual_units_of_measurement
化学全く詳しくないんだけど、論文のアブストのfigureを見る限り、H2Oから水素イオンを引っぺがしてO2ができ、その水素イオンを使ってCO2から蟻酸を作っているように見える。
https://pubs.rsc.org/en/content/articlelanding/2015/EE/C5EE01314C
ηC was significantly decreased from 93% (at 0% O2) to 6% (at 7% O2) with an increase in the oxygen concentration due to selective O2 reduction (O2 → O2−) competing with CO2 reduction. Therefore, a system was developed to enhance the CO2 reduction selectivity over RuCP, even in the presence of O2. A porous carbon cloth (CC) sheet made of carbon fiber was applied, which possesses a low activity for hydrogen generation (Fig. S3, ESI†), and a surface area that is two orders of magnitude larger than that of the flat and smooth surface of a conventional semiconductor film. ηC for formate formation over RuCP coated onto CC (CC/p-RuCP) is also shown in Fig. 1A. CO2 photoreduction reaction was conducted at +1.41 V (vs. RHE). An ηC of 76% was observed, even in the presence of 7% O2.
その蟻酸生成プロセスにおいてO2がCO2より反応性が高くてCO2を分解するプロセスが走らず困ってたのをどうにかするようにしたと言っているように見える。実際figure3ではO2が最終生成物として増えていく様子がプロットされてるように見える。
偶数奇数を判定するための途方もないプログラミングコードが話題に
http://blog.livedoor.jp/itsoku/archives/55507489.html
x mod 2
で行いますが、ビット演算を使い、最下位ビットが立ってるかチェックする
x and 1
負の表現に2の補数を使うプログラミング言語では問題無いのですが、Cではちょっと問題が起きます。
X3010:2003 プログラミング言語 C 6.2.6.2 整数型
符号付き整数型において、オブジェクト表現のビットは、値ビット、詰め物ビット、および符号ビットの三つのグループにわけられなければならない。
詰め物ビットは存在しなくてもよく、符号ビットは丁度一つでなければならない。それぞれの値ビットは、対応する符号なし整数型のオブジェクト表現における同じビットと同じ値をもたなければならない。(略)
符号ビットが0であれば、それは結果の値に影響を及ぼしてはならない。符号ビットが1であれば、値は次に示す方法の一つにしたがって変更されなければならない。
- 符号ビットが0のときの値を負数化した値[符号と絶対値(sign and magnitude)]
- 符号ビットが値-(2N)をもつとするときの値[2の補数(two's complement)]
2の補数の場合(1111 1111)2
1の補数の場合(1111 1110)2
よって、処理系が2の補数を採用している場合では問題ありませんが、1の補数を採用している場合に判定が逆になります。
UNISYS社のClearPath Dorado Systems(ClearPath OS2200)で採用されているという話です。
INT16-C. 符号付き整数の表現形式について勝手な想定をしない
動画の整理をしていて久しぶりにD-motionのPVを観た。
断片的にあの会社のことを長い事見てて……あそこ商売下手でしょ？！
今のEXILE族の台頭を見れれば、このままいじらず成長させていたらこんなことにはならなかった可能性もあったのではって思うしな〜。
自社の掲げるテンプレに、もう時代があってなかった。5年前の段階でもうあってなかった。
そうはいってもファンは古来から脈々と続くテンプレ的アイドルを望んでると思ったのかもしれないけど、それは若い子に任せればよかったんだよ。
20代後半にさしかかろうとしてる男性たちにキラキラかわいい振りしたテンプレさせるなんて不自然極まりないし、それこそ一般的な感覚から言ったら「キモい」でしょ。
かっこいいの、かわいいの、わるっぽいの、真面目っぽいの…同世代にいくつかグループがあったのに、方向性分けを明確にしないで全員大きなテンプレに押し込めて、年齢的には同世代の後輩はデビューさせてもらえず飼い殺し。そら同じのがもっと増えても意味ないもんね。
グループから一人主役でドラマやらせて主題歌やらせて。もうそういうのじゃ釣れないでしょ。
しかも指名で来てもいい話はもっと人気のあるグループ（タレント）にもってかれて。からのバーター。いやバーターなんて珍しくもないけど露骨さハンパないでしょ。一作主役やったら必ずバーター。
もうそういう時代じゃないんだって。いや、かなり前からそういうものがうけない時代になってるのに、人気のある先輩グループが成功したパターンから逸脱しないことばかり。
消費者（ファン）のこと…大事にしようとかそういう感情とかではなく、ニーズをわかってないもんね。殿様商売すぎて本気で買わせる気あるのかな？って思うし。
音楽の面でもっと柔軟性を持たせて、各自のやりたいことをもっと自由にやらせてあげてたらこういうことにはならなかったんじゃないかなと思うとホントにあそこはクソ。
男性だって遅くとも30代も過ぎたら結婚して当然。私生活まで管理するってどういうことだろう。逆に制限されて生きて行けるのか？って思うし。
アイドルはそういうもんだって流れを作った事自体クソ。自分の好き嫌いは別にして、女性に処女性を求めるのは古来からある思想ではあるので女性アイドルに関してはよくわかんないけど、世の中に未婚なのに誰かに恋することを制限される職業なんて他にどれだけあるんだろう。皇族の方くらいしか思い浮かばない。あ、職業じゃなくてこの場合は血筋とか立場か。
なんか話が凄くそれた。
アルバムを聴いて、当然クソみたいなアイドルソングもあるけど、それにしたって12o'clockとかHELL,NOとか変なテンプレ、枠をブレイクするーした作品はたくさんあったし、普段アイドルなんんて見向きもしない人だって「おっ」と思ってくださることだってあっただけに本当に惜しいと思う。今の時代のテレビ的音楽性を鑑みても。
好きな音楽をさせて、好きな服を着させ、好きなダンスをさせていたら絶対に違う世界を見れていたと今改めて思う。本当に、惜しい。
