  |
はてなキーワード: トレースとは
X (twitter) で SITUATIONAL AWARENESS: The Decade Ahead https://situational-awareness.ai/ というのが回ってきて非常に示唆に富むものだったので、DeepL (無料版 API経由) で訳してみた。
この1年で、街の話題は100億ドルのコンピュート・クラスターから1000億ドルのクラスター、そして1兆ドルのクラスターへと移り変わってきた。半年ごとに、役員室の計画にまたゼロが追加される。その裏では、残りの10年間に利用可能なすべての電力契約と、調達可能なすべての電圧変圧器を確保しようとする熾烈な争いが繰り広げられている。アメリカの大企業は、アメリカの産業力を結集させるために、何兆ドルもの資金を注ぎ込む準備を整えている。ペンシルベニア州のシェールフィールドからネバダ州の太陽光発電所まで、何億ものGPUが稼働する。
AGI競争が始まったのだ。私たちは思考し、推論できるマシンを作りつつある。2025年から26年にかけて、これらのマシンは多くの大学卒業生を凌駕するだろう。10年後までには、これらのマシンは私やあなたよりも賢くなり、本当の意味での超知性を手に入れるだろう。その過程で、この半世紀には見られなかったような国家安全保障の力が解き放たれ、やがて「プロジェクト」が始動する。運が良ければ、中国共産党との全面的な競争になり、運が悪ければ全面戦争になる。
今、誰もがAIについて話しているが、何が自分たちを襲おうとしているのか、かすかな光明を感じている人はほとんどいない。Nvidiaのアナリストは、まだ2024年がピークに近いと考えている。主流派の評論家たちは、「次の言葉を予測するだけだ」という故意の盲目に陥っている。彼らが見ているのは誇大広告といつも通りのビジネスだけで、せいぜいインターネット規模の新たな技術革新が起こるのを楽しむ程度なのだ。
やがて世界は目を覚ますだろう。しかし、今現在、状況認識を持っているのはおそらく数百人で、そのほとんどはサンフランシスコとAI研究所にいる。運命の不思議な力によって、私はその中に身を置くことになった。数年前、このような人々はクレイジーだと揶揄されたが、彼らはトレンドラインを信頼し、過去数年間のAIの進歩を正しく予測することができた。この人たちが今後数年についても正しいかどうかはまだわからない。しかし、彼らは非常に賢い人々であり、私がこれまでに会った中で最も賢い人々である。おそらく、彼らは歴史の中で奇妙な脚注となるか、あるいはシラードやオッペンハイマー、テラーのように歴史に名を残すだろう。もし彼らが未来を正しく見ているとしたら、私たちはとんでもないことになる。
各エッセイはそれぞれ独立したものですが、シリーズ全体として読むことを強くお勧めします。全エッセイのPDF版はこちら。
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは～未就学児から～賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生サイズの質的なジャンプが起こると予想される。
AIの進歩は人間レベルでは止まらない。何億ものAGIがAI研究を自動化し、10年に及ぶアルゴリズムの進歩（5以上のOOM）を1年以下に圧縮することができる。私たちは、人間レベルから超人的なAIシステムへと急速に進化することになる。超知能の威力と危険性は劇的なものとなるだろう。
驚異的な技術資本の加速が始まっている。AIの収益が急増するにつれ、10年末までに何兆ドルもの資金がGPU、データセンター、電力の増強に投入されるだろう。米国の電力生産を数十％増加させるなど、産業界の動員は激しくなるだろう。
米国の主要なAI研究所は、セキュリティを後回しに扱っている。現在、彼らは基本的にAGIの重要な機密を銀の皿に載せて中国共産党に渡している。AGIの秘密とウェイトを国家機関の脅威から守るには膨大な努力が必要であり、我々はその軌道に乗っていない。
我々よりもはるかに賢いAIシステムを確実に制御することは、未解決の技術的問題である。解決可能な問題ではあるが、急速な知能の爆発が起きれば、物事は簡単にレールから外れてしまう。これを管理することは非常に緊張を強いられるだろう。
スーパーインテリジェンスは、経済的にも軍事的にも決定的な優位性をもたらすだろう。中国はまだゲームから抜け出してはいない。AGIをめぐる競争では、自由世界の存亡がかかっている。我々は権威主義的な大国に対する優位性を維持できるのか？そして、その過程で自滅を避けることができるのだろうか？
AGIへの競争が激化するにつれ、国家安全保障が関与してくる。アメリカ政府は眠りから覚め、27～28年までに何らかの形で政府によるAGIプロジェクトが立ち上がるだろう。どんな新興企業も超知能を扱うことはできない。SCIFのどこかで、終盤戦が始まるだろう。
もし我々が正しかったら？
――――――――
私はかつてOpenAIで働いていたが、これはすべて一般に公開されている情報、私自身のアイデア、一般的な現場知識、あるいはSFゴシップに基づいている。
Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel、その他多くの方々の有益な議論に感謝する。初期の草稿にフィードバックをくれた多くの友人に感謝する。グラフィックを手伝ってくれたジョー・ローナン、出版を手伝ってくれたニック・ウィテカーに感謝する。
続き I.GPT-4からAGIへ：OOMを数える(1) https://anond.hatelabo.jp/20240605203849
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは〜未就学児から〜賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生規模の質的ジャンプが起こると予想される。
見て。モデルたちはただ学びたいだけなんだ。あなたはこれを理解しなければならない。モデルたちは、ただ学びたいだけなんだ。
GPT-4の能力は、多くの人に衝撃を与えた。コードやエッセイを書くことができ、難しい数学の問題を推論し、大学の試験を突破することができるAIシステムである。数年前までは、これらは難攻不落の壁だと思っていた。
しかしGPT-4は、ディープラーニングにおける10年間の猛烈な進歩の延長線上にあった。その10年前、モデルは犬猫の単純な画像を識別するのがやっとだった。4年前、GPT-2は半可通な文章をつなぎ合わせるのがやっとだった。今、私たちは思いつく限りのベンチマークを急速に飽和させつつある。しかし、この劇的な進歩は、ディープラーニングのスケールアップにおける一貫した傾向の結果に過ぎない。
ずっと以前から、このことを見抜いていた人々がいた。彼らは嘲笑されたが、彼らがしたのはトレンドラインを信じることだけだった。トレンドラインは強烈で、彼らは正しかった。モデルはただ学びたいだけなのだ。
私は次のように主張する。2027年までには、モデルがAIの研究者やエンジニアの仕事をこなせるようになるだろう、と。SFを信じる必要はなく、グラフ上の直線を信じるだけでいいのだ。
https://situational-awareness.ai/wp-content/uploads/2024/06/base_scaleup-1024x790.png
過去と将来の有効計算量（物理計算量とアルゴリズム効率の両方）の大まかな見積もり。モデルをスケールアップすればするほど、モデルは一貫して賢くなり、"OOMを数える "ことによって、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができます。(このグラフはベースモデルのスケールアップのみを示している。）
この記事で取り上げた一般的な推定に基づく、効果的な計算（物理的な計算とアルゴリズムの効率の両方）の過去と将来のスケールアップの概算。モデルをスケールアップするにつれ、モデルは一貫して賢くなり、「OOMを数える」ことで、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができる。(このグラフはベースモデルのスケールアップのみを示している。"unobblings "は描かれていない)。
この作品では、単純に「OOMを数える」(OOM = order of magnitude、10x = 1 order of magnitude)ことにします。1)計算、2)アルゴリズム効率(「効果的な計算」の成長として考えることができるアルゴリズムの進歩)、3)「アンホブリング」(モデルがデフォルトで足かせとなっている明らかな方法を修正し、潜在的な能力を引き出し、ツールを与えることで、有用性を段階的に変化させること)の傾向を見ます。GPT-4以前の4年間と、GPT-4後の2027年末までの4年間に期待されるそれぞれの成長を追跡する。ディープラーニングが効率的な計算のすべてのOOMで一貫して向上していることを考えると、将来の進歩を予測するためにこれを使うことができる。
世間では、GPT-4のリリースから1年間、次世代モデルがオーブンに入ったままであったため、ディープラーニングは停滞し、壁にぶつかっていると宣言する人もいた。しかし、OOMをカウントすることで、私たちは実際に何を期待すべきかを垣間見ることができる。
結果は非常にシンプルだ。GPT-2からGPT-4への移行は、時々まとまりのある文章を並べることに感動的だったモデルから、高校入試のエースになるモデルへの移行であり、一度だけの進歩ではない。私たちはOOMsを極めて急速に克服しており、その数値は、4年以上かけてGPT-2からGPT-4への質的なジャンプをさらに～100,000倍の効果的なコンピュート・スケールアップが期待できることを示している。さらに、決定的なことは、それは単にチャットボットの改良を意味しないということだ。"unhobbling "利益に関する多くの明らかな低空飛行の果実を選ぶことで、チャットボットからエージェントへ、ツールからドロップイン・リモートワーカーの代替のようなものへと我々を導いてくれるはずだ。
推論は単純だが、その意味するところは注目に値する。このような別のジャンプは、私たちをAGIに、博士号や同僚として私たちのそばで働くことができる専門家と同じくらい賢いモデルに連れて行く可能性が非常に高い。おそらく最も重要なことは、これらのAIシステムがAI研究そのものを自動化することができれば、次回のテーマである強烈なフィードバック・ループが動き出すということである。
現在でも、このようなことを計算に入れている人はほとんどいない。しかし、AIに関する状況認識は、一歩下がってトレンドを見てみれば、実はそれほど難しいことではない。AIの能力に驚き続けるなら、OOMを数え始めればいい。
続き I.GPT-4からAGIへ：OOMを数える (2) https://anond.hatelabo.jp/20240605204240
Privazer は、自宅でも職場でも、インターネット上で PC を使用したり、単純なダウンロードを実行したりした後、ディスク領域を解放するだけでなく、トラックを保護できるように設計されています。 ビデオチュートリアルが利用可能です。
PrivaZer は、インストーラーまたはポータブル アプリとして利用できます。
初めて PrivaZer を実行するときは、5 分かけて段階的なセットアップを行って、何を削除するかを決定する必要があります。 また、最初の実行は次回よりも時間がかかります。 レジストリのバックアップは自動的に作成され、サブディレクトリに保存されます。
PrivaZer を最大限に活用するには、Basic ユーザーまたは Advanced ユーザーから選択できます。 基本ユーザーには 12 のステップ、上級ユーザーには 14 のステップがあります。
#事前分析
#MFT のトレース
$LogFile の #トレース
#インターネットの閲覧
＃メモリ
＃システム
#ダウンローダー
#その他のソフトウェア
https://realsound.jp/book/2024/05/post-1651931.html
疫神のカルテ 全3巻
ディクテーターズ 全3巻
人気…漫画家…？ 打ち切りコースとしか思えない漫画しか出してないのに？
って言うけど、正直AI問題がなくても今の人気じゃ二次創作一生出てこないレベルでしょ。
それでAI粘着にあったから二次創作を禁止します！で話題になって、今は反AIの旗頭みたいになった。
不正競争防止法でしょっ引けるよってのが文化庁の見解だし、多数の指摘があったけど無視し続けてる。
動かずに、反AIで騒ぎ続けてる。
なーんか怪しいよね。
裏方みたいに女性でそこそこ有名な人なら狙われるのも分かるんだけど、名前的には男で有名でもない。
当方、高卒（出席と成績足りなくて春休み全日補習で卒業）でエクセルとアクセスを独学で勉強して
中小で事務員兼社内IT雑務担当くらいのポジションでやってるんだけど。
普通に名前聞く大学出てる2，3年目の子でもxlsxとxlsmとcsvの違いわかってなかったりして驚く
SUM以外の関数全く分かりません、数式のトレースも無理です、解像度よくわかりません、メールの設定できません、スクリーショット撮れませんとかざらにいるレベルで大学ってそんな感じでも卒業できるんだなぁってなってる。
生成AIは推進すべきだと思ってるけど、その上でAI絵師の半分ぐらいはカスだ。
その絵はどういうシチュエーションで、どんな経緯でそうなって、そこからどんな話が展開されるのか？
そいつは誰のことを見てて、どんな話をしていて、どんなことを内心考えているのか？
そういうことを全く考えず適当にイラストを生成して大量投稿して越に浸っている奴らは、マジで生産性の欠片もないゴミカスだ。
勿論中にはCG集(DLsite分類準拠)のように、台詞を付けたり連続性のあるイラストを並べたりしてストーリーを作ってる奴もいる。生成AIイラストを使ってゲームを作ってる奴もいる。本当に偉い。天才。素晴らしい。
-
同様に、ただポーズを取っているだけの一枚絵しか描かない絵師も概ねしょーもない奴らである。
会話をつけろ。モノローグでもいい。ストーリーを付与しろ。何が「この子の言動トレースするの難しい〜☆」だ。逃げるな。甘えるな。お前の愛はその程度か？
とはいえ、表情差分を用意して素材として配布している方には本当に感謝している。ありがとう。あなたがたのおかげで世に生まれた物語が数多くあります。
-
お察しの通り、私は物語至上主義者である。絵でも音楽でも小説でも、ストーリーを見出だせるものが一番偉いと考えている類の人間だ。そこいらの美麗なだけの一枚絵よりモーション借用山積みのMMD紙芝居の方が高尚だとすら考えている。
無論、これは物語に対して地雷がないという話ではない。解釈違いには普通にキレ散らかすし、作品と出会って5秒でブラバしたことも数知れない。
それはそれとして、新たなシナリオを世に生み出すことの難しさと素晴らしさを知っているというだけである。
-
以前いた界隈のいわゆる「同担」にあたる絵師どもの多くは、まるで物語というものを作ろうとしなかった。彼らは単なる立ち絵だとか100番煎じの原作の人気なワンシーンだとかのオリジナリティの欠片もない一枚絵ばかり投げていて、私は心底辟易した。
即売会に出て、漫画を出している絵師の方は何人かいた。常に漫画やストーリーを持つイラストを書き続けている修羅の者もいた。彼らには心の底から敬意を払っていたが、年々少しづつ彼らはその数を減らしていた。
それと同じぐらいいたのが、「イラスト集」を出す絵師たちだった。説明もキャプションも台詞も何もなく、ただただイラストを1ページに1枚貼り付けて、それを新刊だと嘯く奴ら。そういうやつらに限って新刊情報をギリギリまで秘匿するので、マッピングのときは本当に面倒だった。
「このイラストのテーマはこうで、このキャラクターのこの側面をこのように解釈して、これこれこのような技法を使って……」と解説を載せてイラスト集を作っていた人物は、一人だけだった。一枚絵を描く絵師たちの中で、最も美麗で、最も細緻で、最も文脈の籠もった絵を描く人物だった。彼のイラスト集だけは全巻揃えていた。
-
公式の真似事ばかりしているオリジナリティの欠片もない絵師どものことが嫌いだった。
いや、嫌いとまで言うのは言い過ぎか。邪魔だったというか、鬱陶しかったというか、そういった感情の方がより近い。
お前らは四コマの一つも描けんのか？会話劇ツイートの一つもできんのか？何が「この子の思考回路分かんな〜い」だ分からないなら分からないなりに挑戦して考察して語ってみせろ描いてみせろお前の解釈を見せてみろそんなんだからいつまでも「分かんな〜い」止まりなんだよクソどもが。
そんなことを考えながら界隈の端で短編小説を書き殴っていたのが、当時の私だった。
-
これから先、生成AIの隆盛によって「仕掛けや文脈を持たない単なる立ち絵の一枚絵」の価値は暴落するだろう。そしてこれからより多くの人が生成AIを使うようになれば、「シチュエーションもシナリオも考えずただ適当に生成したAIイラスト」の価値も暴落するはずだ。
つまり今後は、きっとシナリオで戦う時代になる。漫画は細部の書き込みと伏線で、AIイラストの紙芝居は生産力と敷居の低さで、文化的シェアを奪い合いながら物語を生み出し続けることになるだろう。
-
正確には一瞬だけ触れたことはあったのだが、「左手が液化し宙に浮かぶ様子」「切り落とされた右足とそこからまびろでる羽毛の山」「折り砕かれた額の角」などが上手く出力できなかった時点で諦めた。私の呪文練度が低かったのか生成AIが未だそこまでの域に達していないのかは判断つかないが、いつかはこれらを出力できるようになることを祈るばかりである。
-
……絵師の特権階級が云々って話で吹き上がってる人たちに色々言おうとして書き始めたはずなんだが、なんか全然別の話になったな？
