  |
はてなキーワード: エンジニアとは
繰り返しになるが、非常に賢いChatGPTを想像するだけではいけない。趣味的な進歩ではなく、リモートワーカーや、推論や計画、エラー訂正ができ、あなたやあなたの会社のことを何でも知っていて、何週間も単独で問題に取り組めるような、非常に賢いエージェントのようなものになるはずだ。
私たちは2027年までにAGIを実現しようとしている。これらのAIシステムは、基本的にすべての認知的な仕事（リモートでできるすべての仕事を考える）を自動化できるようになるだろう。
はっきり言って、エラーバーは大きい。データの壁を突破するために必要なアルゴリズムのブレークスルーが予想以上に困難であることが判明した場合、データが足りなくなり、進歩が停滞する可能性がある。もしかしたら、ホッブリングはそこまで進まず、専門家の同僚ではなく、単なる専門家のチャットボットに留まってしまうかもしれない。もしかしたら10年来のトレンドラインが崩れるかもしれないし、スケーリング・ディープラーニングが今度こそ本当に壁にぶつかるかもしれない。(あるいは、アルゴリズムのブレークスルーが、テスト時間の計算オーバーハングを解放する単純なアンホブリングであっても、パラダイムシフトとなり、事態をさらに加速させ、AGIをさらに早期に実現させるかもしれない)。
いずれにせよ、私たちはOOMsを駆け抜けているのであり、2027年までにAGI（真のAGI）が誕生する可能性を極めて真剣に考えるのに、難解な信念は必要なく、単に直線のトレンド外挿が必要なだけである。
最近、多くの人がAGIを単に優れたチャットボットなどとして下方定義しているように思える。私が言いたいのは、私や私の友人の仕事を完全に自動化し、AI研究者やエンジニアの仕事を完全にこなせるようなAIシステムのことだ。おそらく、ロボット工学のように、デフォルトで理解するのに時間がかかる分野もあるだろう。また、医療や法律などの社会的な普及は、社会の選択や規制によって容易に遅れる可能性がある。しかし、ひとたびAI研究そのものを自動化するモデルができれば、それだけで十分であり、強烈なフィードバック・ループを始動させるのに十分であり、完全自動化に向けて残されたすべてのボトルネックを自動化されたAIエンジニア自身が解決することで、非常に迅速にさらなる進歩を遂げることができるだろう。特に、数百万人の自動化された研究者たちによって、アルゴリズムのさらなる進歩のための10年間が1年以内に圧縮される可能性は非常に高い。AGIは、まもなく実現する超知能のほんの一端に過ぎない。(詳しくは次の記事で）。
いずれにせよ、目まぐるしい進歩のペースが衰えることはないだろう。トレンドラインは無邪気に見えるが、その意味するところは強烈である。その前の世代がそうであったように、新世代のモデルが登場するたびに、ほとんどの見物人は唖然とするだろう。博士号を持っていれば何日もかかるような信じられないほど難しい科学的問題を、間もなくモデルが解決し、あなたのコンピュータのまわりを飛び回り、あなたの仕事をこなし、何百万行ものコードからなるコードベースをゼロから書き上げ、これらのモデルによって生み出される経済的価値が1年か2年ごとに10倍になるとき、彼らは信じられないだろう。SF小説は忘れて、OOMを数えよう。AGIはもはや遠い空想ではない。単純なディープラーニング技術をスケールアップすることがうまくいき、モデルは学習したがり、2027年末までにさらに100,000倍を超えようとしている。私たちよりも賢くなる日もそう遠くはないだろう。
https://situational-awareness.ai/wp-content/uploads/2024/06/gan_progress-1.jpeg
GPT-4はほんの始まりに過ぎない。GANの進歩に見られるように）ディープラーニングの進歩の速さを過小評価するような間違いを犯さないでほしい。
続き I.GPT-4からAGIへ：OOMを数える(11) https://anond.hatelabo.jp/20240605212014
これはおそらく3つの中で最も簡単な方法だ。現在のChatGPTは、基本的に、テキストを入力できる孤立した箱の中に座っている人間のようなものだ。初期のアンホブリング改良では、個々の孤立したツールの使い方をモデルに教えていましたが、マルチモーダルモデルでは、近いうちにこれを一挙にできるようになると期待しています。
つまり、Zoomでの通話に参加したり、オンラインで調べ物をしたり、メッセージや電子メールを送ったり、共有されたドキュメントを読んだり、アプリや開発ツールを使ったりといったことだ。(もちろん、より長いホライゾン・ループでモデルがこれを最大限に活用するためには、テスト時間のコンピューティングをアンロックする必要がある。)
最終的には、ドロップイン・リモートワーカーのようなものができると期待している。エージェントは、あなたの会社に入社し、新しい人間の雇用のようにオンボードされ、Slackであなたや同僚にメッセージを送り、あなたのソフトウェアを使用し、プルリクエストを行い、大きなプロジェクトがあれば、人間が独立してプロジェクトを完了するために数週間留守にするのと同等のことができる。これを実現するためには、GPT-4よりもいくらか優れたベースモデルが必要だろうが、おそらくそれほどでもないだろう。
https://situational-awareness.ai/wp-content/uploads/2024/06/devin.gif
Devinは、完全に自動化されたソフトウェア・エンジニアを作るために、モデル上の「エージェンシー・オーバーハング」／「テストタイム・コンピューティング・オーバハング」を解除する初期のプロトタイプだ。Devinが実際にどの程度機能するかはわからないし、このデモは、適切なチャットボット→エージェントのアンホブリングがもたらすものに比べれば、まだ非常に限定的なものだが、近々登場するもののティーザーとしては役に立つだろう。
ところで、私は、アンホブリングの中心性が、商業的応用という点で、少々興味深い「ソニックブーム」効果につながると期待している。現在とドロップイン・リモートワーカーの中間モデルは、ワークフローを変更し、統合して経済的価値を引き出すためのインフラを構築するために、膨大な手間を必要とする。ドロップイン・リモートワーカーは、統合が劇的に簡単になる。つまり、リモートでできるすべての仕事を自動化するために、ドロップインするだけでいいのだ。つまり、ドロップイン・リモートワーカーが多くの仕事を自動化できるようになる頃には、中間モデルはまだ完全に活用され統合されていないため、生み出される経済価値のジャンプはやや不連続になる可能性がある。
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_gpt2togpt4.png
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_2023to2027.png
数字をまとめると、GPT-4に続く4年間で、2027年末までにGPT-2からGPT-4規模のジャンプが再び起こると（おおよそ）予想される。
GPT-4のトレーニングに3ヶ月かかったとしよう。2027年には、一流のAIラボはGPT-4レベルのモデルを1分で訓練できるようになるだろう。OOMの効果的なコンピュート・スケールアップは劇的なものになるだろう。
それは我々をどこへ連れて行くのだろうか？
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_counting_the_ooms.png
GPT-2からGPT-4までで、私たちは～未就学児から～賢い高校生になった。とんでもないジャンプだ。もしこれが、私たちが今一度カバーする知能の差だとしたら、それは私たちをどこに連れて行くのだろうか？私たちは、それが私たちをとてもとても遠くに連れていっても驚かないはずだ。おそらく、ある分野の博士や最高の専門家を凌駕するようなモデルまで到達するだろう。
(このことを考える1つの良い方法は、現在のAIの進歩の傾向は、子供の成長のおよそ3倍のペースで進んでいるということだ。あなたの3倍速の子どもは高校を卒業したばかりだが、いつの間にかあなたの仕事を奪っていくだろう！)
続き I.GPT-4からAGIへ：OOMを数える(10) https://anond.hatelabo.jp/20240605211837
今後数年間の野心的なアンホブリングはどのようなものになるのでしょうか？私が考えるに、3つの重要な要素がある：
GPT-4は、多くの人の仕事の大部分をこなせるだけの生の賢さを持っているが、それは5分前に現れたばかりの賢い新入社員のようなものだ：関連するコンテキストを持っておらず、会社のドキュメントやSlackの履歴を読んだり、チームのメンバーと会話したり、会社内部のコードベースを理解するのに時間を費やしたりしていない。賢い新入社員は、着任して5分後にはそれほど役に立たないが、1ヶ月後にはかなり役に立つ！例えば、非常に長いコンテクストを通じて、新しい人間の同僚を雇うようにモデルを「オンボード」することは可能なはずだ。これだけでも、大きなアンロックになるだろう。
2.テスト時間の計算オーバーハング（より長いホライズンの問題に対する推論／エラー訂正／システムII）
今のところ、モデルは基本的に短いタスクしかこなせない。しかし、これでは非常に限界がある。5分どころか、数時間、数日、数週間、数ヶ月かかるのだ。
難しい問題について5分間しか考えることができない科学者は、科学的なブレークスルーを起こすことはできない。ソフトウェア・エンジニアは、より大きな仕事を与えられ、計画を立て、コードベースや技術ツールの関連部分を理解し、さまざまなモジュールを書いて段階的にテストし、エラーをデバッグし、可能性のある解決策を検索し、最終的には数週間の仕事の集大成である大規模なプル・リクエストを提出する。などなど。
要するに、テスト時間の計算オーバーハングが大きいのだ。GPT-4の各トークンは、問題を考えるときの内部モノローグの言葉だと考えてください。各GPT-4トークンは非常に賢いのですが、現在のところ、思考の連鎖のために～数百トークンのオーダーしか効果的に使うことができません（あたかも問題やプロジェクトに数分しか内部独白／思考を費やせないかのように）。
もし数百万トークンを使って、本当に難しい問題や大きなプロジェクトについて考え、取り組むことができるとしたらどうだろう？
| トークンの数 | 私が何かに取り組むのに相当する時間... | |
| 100s | 数分 | ChatGPT (私たちはここにいる) |
| 1000s | 30分 | +1 OOMsテスト時間計算 |
| 10,000 回 | 半日 | +2 OOMs |
| 100,000ドル | 1週間 | +3 OOMs |
| 数百万回 | 複数月 | +4 OOMs |
人間が〜100トークン/分で考え、40時間/週働くと仮定して、「モデルが考える時間」をトークンで換算すると、与えられた問題/プロジェクトにおける人間の時間になる。
仮に「トークンあたり」の知能が同じだったとしても、頭のいい人が問題に費やす時間が数分なのか数ヶ月なのかの違いになる。あなたのことは知らないが、私が数ヶ月でできることと数分でできることは、はるかに、はるかに、はるかに多い。もしモデルに「数分ではなく、数カ月に相当する時間、何かを考え、取り組むことができる」という能力を与えることができれば、その能力は飛躍的に向上するだろう。ここには膨大なオーバーハングがある。
今のところ、モデルにはまだこれができない。最近のロング・コンテキストの進歩をもってしても、このロング・コンテキストのほとんどはトークンの消費にしか機能せず、トークンの生産には機能しない。しばらくすると、このモデルはレールから外れたり、行き詰まったりする。しばらくの間、離れて単独で問題やプロジェクトに取り組むことはまだできない。
しかし、テスト時間の計算を解除することは、単に比較的小さな「ホブリングしない」アルゴリズムの勝利の問題かもしれない。おそらく、少量のRLは、モデルがエラー訂正（「うーん、これは正しくないようだ、再確認してみよう」）を学習したり、計画を立てたり、可能性のある解を探索したりするのに役立つだろう。ある意味、モデルはすでに生の能力のほとんどを持っており、それをまとめるために、さらにいくつかのスキルを学習する必要があるだけなのだ。
要するに、私たちはモデルに、困難で見通しの長いプロジェクトを推論させるシステムIIのアウターループのようなものを教えればいいのだ。
この外側のループを教えることに成功すれば、2、3段落の短いチャットボットの答えの代わりに、モデルが問題を考え、ツールを使い、異なるアプローチを試し、研究を行い、仕事を修正し、他の人と調整し、大きなプロジェクトを一人で完成させるような、何百万もの言葉のストリーム（あなたが読むよりも早く入ってくる）を想像してみてほしい。
続き I.GPT-4からAGIへ：OOMを数える(9) https://anond.hatelabo.jp/20240605210357
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは〜未就学児から〜賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生規模の質的ジャンプが起こると予想される。
見て。モデルたちはただ学びたいだけなんだ。あなたはこれを理解しなければならない。モデルたちは、ただ学びたいだけなんだ。
GPT-4の能力は、多くの人に衝撃を与えた。コードやエッセイを書くことができ、難しい数学の問題を推論し、大学の試験を突破することができるAIシステムである。数年前までは、これらは難攻不落の壁だと思っていた。
しかしGPT-4は、ディープラーニングにおける10年間の猛烈な進歩の延長線上にあった。その10年前、モデルは犬猫の単純な画像を識別するのがやっとだった。4年前、GPT-2は半可通な文章をつなぎ合わせるのがやっとだった。今、私たちは思いつく限りのベンチマークを急速に飽和させつつある。しかし、この劇的な進歩は、ディープラーニングのスケールアップにおける一貫した傾向の結果に過ぎない。
ずっと以前から、このことを見抜いていた人々がいた。彼らは嘲笑されたが、彼らがしたのはトレンドラインを信じることだけだった。トレンドラインは強烈で、彼らは正しかった。モデルはただ学びたいだけなのだ。
私は次のように主張する。2027年までには、モデルがAIの研究者やエンジニアの仕事をこなせるようになるだろう、と。SFを信じる必要はなく、グラフ上の直線を信じるだけでいいのだ。
https://situational-awareness.ai/wp-content/uploads/2024/06/base_scaleup-1024x790.png
過去と将来の有効計算量（物理計算量とアルゴリズム効率の両方）の大まかな見積もり。モデルをスケールアップすればするほど、モデルは一貫して賢くなり、"OOMを数える "ことによって、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができます。(このグラフはベースモデルのスケールアップのみを示している。）
この記事で取り上げた一般的な推定に基づく、効果的な計算（物理的な計算とアルゴリズムの効率の両方）の過去と将来のスケールアップの概算。モデルをスケールアップするにつれ、モデルは一貫して賢くなり、「OOMを数える」ことで、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができる。(このグラフはベースモデルのスケールアップのみを示している。"unobblings "は描かれていない)。
この作品では、単純に「OOMを数える」(OOM = order of magnitude、10x = 1 order of magnitude)ことにします。1)計算、2)アルゴリズム効率(「効果的な計算」の成長として考えることができるアルゴリズムの進歩)、3)「アンホブリング」(モデルがデフォルトで足かせとなっている明らかな方法を修正し、潜在的な能力を引き出し、ツールを与えることで、有用性を段階的に変化させること)の傾向を見ます。GPT-4以前の4年間と、GPT-4後の2027年末までの4年間に期待されるそれぞれの成長を追跡する。ディープラーニングが効率的な計算のすべてのOOMで一貫して向上していることを考えると、将来の進歩を予測するためにこれを使うことができる。
世間では、GPT-4のリリースから1年間、次世代モデルがオーブンに入ったままであったため、ディープラーニングは停滞し、壁にぶつかっていると宣言する人もいた。しかし、OOMをカウントすることで、私たちは実際に何を期待すべきかを垣間見ることができる。
結果は非常にシンプルだ。GPT-2からGPT-4への移行は、時々まとまりのある文章を並べることに感動的だったモデルから、高校入試のエースになるモデルへの移行であり、一度だけの進歩ではない。私たちはOOMsを極めて急速に克服しており、その数値は、4年以上かけてGPT-2からGPT-4への質的なジャンプをさらに～100,000倍の効果的なコンピュート・スケールアップが期待できることを示している。さらに、決定的なことは、それは単にチャットボットの改良を意味しないということだ。"unhobbling "利益に関する多くの明らかな低空飛行の果実を選ぶことで、チャットボットからエージェントへ、ツールからドロップイン・リモートワーカーの代替のようなものへと我々を導いてくれるはずだ。
推論は単純だが、その意味するところは注目に値する。このような別のジャンプは、私たちをAGIに、博士号や同僚として私たちのそばで働くことができる専門家と同じくらい賢いモデルに連れて行く可能性が非常に高い。おそらく最も重要なことは、これらのAIシステムがAI研究そのものを自動化することができれば、次回のテーマである強烈なフィードバック・ループが動き出すということである。
現在でも、このようなことを計算に入れている人はほとんどいない。しかし、AIに関する状況認識は、一歩下がってトレンドを見てみれば、実はそれほど難しいことではない。AIの能力に驚き続けるなら、OOMを数え始めればいい。
続き I.GPT-4からAGIへ：OOMを数える (2) https://anond.hatelabo.jp/20240605204240
社会人4年目に入ったが年収400万とかどうやったらいけるんだよ。
勤務地：関東
残業：10h/月
手取り：15万円
GAFAを出すまでもなくCSのレベルはアメリカがはるかに上であって
なんでしつこく絡んでくるの？
俺はエンジニアだけど君は違うじゃん
そりゃ勝負にならんよ
この手の「エンジニア」という肩書きに異常にプライド持ってる奴って元増田が言ってる典型的なタイプだよなあ。
エンジニアエンジニア言う割にパソコンカタカタしかできないしな。
俺も一応「エンジニア」だけど、こういうのと一緒にして欲しくないわほんとに。
エンジニアじゃないAI語って人様を煽ってる君はMLの基礎の基礎さえ知らんけど
煽った相手の俺はエンジニアだからちゃんとやってるので勝負にもならないって話
さいならー
ここ1年で初めてはてなブックマーク日毎の総合人気エントリ入りしたドメインからのホットエントリ、ブクマ数順トップ30
| ブクマ数 | タイトル | ドメイン |
|---|---|---|
| 1884 | わずか40秒の運動で身体に起こる劇的変化 – 早稲田大学 研究活動 | www.waseda.jp |
| 1789 | 仕事の進め方がグダグダの会社はどうすればいいのか、「プロジェクトマネジメントの基本が全部わかる本」の著者に聞いてみた | agend.jp |
| 1662 | 取調べを受けることになったら ー取調べを受ける心がまえについてー - しんゆう法律事務所 | shin-yu-lawoffice.com |
| 1514 | 1on1ミーティングガイド (1on1ガイド) | guide.1on1guide.org |
| 1191 | 知れば写真が上手くなる！基本・応用の構図15選と構図を使いこなすコツ ｜ Adobe | www.adobe.com |
| 1153 | プロダクトマネジメントクライテリア | productmanagement-criteria.com |
| 1090 | 自宅で美味しいコーヒーを飲むためにどういう順序でお金を使うべきか | hachibeechan.hateblo.jp |
| 1043 | 最近ローカルLLMがアツいらしい | soysoftware.sakura.ne.jp |
| 974 | 表記揺れ検出ツール「テキストゆれないくん」 - inzkyk.xyz | inzkyk.xyz |
| 958 | 地政学リスクの全体像の整理 ｜ 三菱UFJリサーチ＆コンサルティング | www.murc.jp |
| 711 | 自炊するな。ガチでやめろ。人生終わる。 | not-miso-inside.net |
| 706 | デジタル庁デザインシステムβ版 | design.digital.go.jp |
| 681 | 和歌山市役所の現実 | wakayamajisatu.jimdofree.com |
| 613 | ひとり会社の起業について学んだ10のこと - GoTheDistance | gothedistance.hatenadiary.jp |
| 593 | 重要な局面を迎える中国のアニメ調スマホゲーム。大衆化の過程でぶつかった壁。「『有男不玩』運動」とは | kultur.jp |
| 583 | ガチめのインターネット老人会クイズ | tters.jp |
| 548 | Magic UI | magicui.design |
| 530 | 会議改善に関するガイドラインを策定しました｜柏崎市公式ホームページ | www.city.kashiwazaki.lg.jp |
| 494 | 押井守版『攻殻機動隊』について原作者（士郎正宗）はどう思っているのか？ - ひたすら映画を観まくるブログ | type-r.hatenablog.com |
| 490 | 下戸がノンアルコールビールを飲んで「おつまみ」の概念を理解した話 - ココロ社 | kokorosha.hatenablog.com |
| 487 | 「ごめんなさい」などと言わずに「おわびします」だけできちんと謝ったことになるのでしょうか - ことばの疑問 - ことば研究館 | kotobaken.jp |
| 476 | Xユーザーの株式会社アミューズ 法務部さん: 「滝沢ガレソ氏によるXでの投稿に関連して、アミューズ所属の星野源の名前を挙げての憶測が拡散され当社にも多くのお問合せが寄せられています。 星野源において当該投稿にある事実は一切なく、また当社が記事をもみ消した事実も一切ありません。 虚偽の情報の拡散、発信には法的措置を検討いたします。 https://t.co/qyUQpeg0xj」 / Twitter | x.com |
| 464 | 中国で売られるスマホには「消しゴムマジックで消せない場所」があるって本当？実際に試してみた - はやぽんログ！ | www.hayaponlog.site |
| 453 | 灰仭巫覡 - 大暮維人 / 【一番】 ｜ マガポケ | pocket.shonenmagazine.com |
| 452 | ウェブサイト制作では、游ゴシックはおすすめしない理由 | community.creators-synergy-cafe.com |
| 449 | エンジニア3年目までに読んで良かった書籍 - Yuki Watanabe's Blog | yuki0920.hatenablog.jp |
| 441 | はてな古参度チェッククイズ | tters.jp |
| 437 | NHKはアニメのクレジットに下請け会社の名前を出す事が出来ない - Fushihara’s blog | fushihara.hatenadiary.jp |
| 437 | 地磁気の大きな乱れが観測されています ｜ 気象庁 | www.jma.go.jp |
| 435 | 2023年、AIの影響で『絵に求められる事』が激変してきている話。｜さいとう なおき｜pixivFANBOX | naoki.fanbox.cc |
兄2人ジャンルは違うけどIT業界でエンジニアしてて私は美容師
兄2人は大卒、私は専門卒なのもあって実家に帰るとマウント取ってバカにされるし親もそれとなく「出来の悪い子」枠で扱ってるのが分かる
おしゃれな仕事に就くのが子供の頃から夢で、美容師は好きでなった職業だから自分の仕事や経歴を恥じたり卑下する気持ちはさらさらないけど
兄や親の態度見てると逆にエンジニアとかいう陰気でパソコンばっかり弄ってきたオタクの行き着く先みたいな職業こそさっさとAIに仕事奪われればいいのにな、ぐらいの悪口は言いたくなる
民事訴訟法８２条１項２項を制御しているファンクターは、民訴法の目的ではなく、憲法２５条の福祉国家の精神に由来していてなおかつ、民事手続の要点だけに絞った補完規定なので
その辺で、finalvent説によれば、コンメンタールを読めば精緻に整理されたものが読めるので、コンメンタールを読めばいいというようなことを言われた。finalbent, ボツネタ、養老孟司といえば、
平成１７年より前に大量に活躍していた文筆家で、 Finalventは文筆家ではなくプログラマーエンジニアで、Windowsの本を書いてその後にブログで文筆家に転向したが、今はどうなっているのか
確認する手段がない。Twitterには、宮崎県知事、なども書き込みをしているのは理解できるが、記載内容の趣旨が分からないし、Twitterにいる者を巡査などが自転車が外観などから見ても
どこに住んでいるのか確定することは困難であろうと思う。Finalventは、２００５年より前にブログで晒していた変態を削除することなく現在でも残存させているのは偉いと思うが、社会を検索して
発見したことはない。またそれに似た者が警察官の服を着て舟渡の堤防にいたこともあるが去年の話で何も申し立てなかったので本人かどうか分からなかった。
