  |
はてなキーワード: 技術とは
石村智にテクニックがないから熊谷が流行ってるんだろ。もともと、警察の仕事は、補題も計算も技術だが、大嶋には何も残っていない。 一番警察の技術がないのは、志村
あそこは頭が終わっている。
大嶋（巡査部長）は、交番に立てかけている木製の棒は、あれを使ったら骨が折れるぜ、と自慢げにいうが、交番に設置されている道具は、 盾、棒、その他が観察されるが
鉄製の盾は、暴力団が隆盛だった頃に、暴力団から発砲される球を止めるのに使っていたし、現在では、自作自演があったとしてもほとんど使う余地がない。
理由として、近年では、少年による自作自演は多いが、暴力団は、拘置所や刑務所に移動してしまい、暴力団がその辺に住んでいて暴力団がやるということはほとんどないからである。
暴力団がいない理由として、高砂の拘置支所で寝ていたり、判決を受けて地方の刑務所に行ってしまい、自作自演に加担する者がいないからである。
なお、交番に置いている棒があればなんでもできるかどうかについては、専門家でないと分からない。AMGM不等式と超対称性チャージの有効であることが技術として知られているが、
平成２２年ごろの町子は富美山でぼーっとしていたから、平成２３年９月からお前が甚勝始めてからも寝ているだけで、お前の政策についていくだけの手段の整備など
井上修二が、平成１９年１０月１３日頃に教員を止めて、平成２４年６月２５日に刑事法学者の団藤先生が亡くなるまでの間になにをしていたかを明らかにする技術と道具の整備を
探求しなければならない。もっともいいことは、キラキラネームが流行っていた当時の状況をそのまま動画に記録し、それを人間の眼力で直接見ることが出来るようにしておけばよかったが
それをしなかった。
完全無欠とは何か・・・ 立花の怒号が１分、１０分も継続するとその間に横やりを入る可能性があるが、立花の恫喝をトラメガで放つ場合、１５秒程度でその恫喝が周辺の者の
耳に入るから完全無欠だった時代があった。しかし、最近では、これを放つと通報するバカが増加している状況であり、かつてのような瞬殺力や圧倒力は
なくなっている。
志村の刑事組織犯罪対策課の佐藤がうれしそうな顔をして、もの、であるといっていたが、ものじゃねえから全然面白くないし、何言ってるのか分からなかったな。
法学は技術先にありきだろ。 品田幸男も、とにかく、ものであると言いたがるが、 法学は、 技術とものを一体として研究する学部だからな。
呉八段は入門して益々強く、日本の碁打はナデ切りのウキメを見せられている。
呉八段が最近しきりに読売の新聞碁をうち、バクダイな料金を要求するのも、ジコーサマの兵タン資金を一手に引きうけているせいらしい。
僕も読売のキカクで呉清源と一局対局した。そのとき読売の曰く、呉清源の対局料がバカ高くて、それだけで文化部の金が大半食われる始末だから、
安吾氏は対局料もベン当代も電車チンも全部タダにして下され、というわけで、つまり私も遠廻しにジコーサマへ献金した形になっているのである。南無テンニ照妙々々。
然し、そこには、勝負の世界の悲痛な性格が、にじみでゝもいるのだ。
文化の高まるにしたがって、人間は迷信的になるものだ、ということを皆さんは理解されるであろうか。
角力トリのある人々は目に一丁字もないかも知れぬが、彼らは、否、すぐれた力士は高度の文化人である。
なぜなら、角力の技術に通達し、技術によって時代に通じているからだ。
角力の攻撃の速度も、仕掛けの速度や呼吸も、防禦の法も、時代の文化に相応しているものであるから、
角力技の深奥に通じる彼らは、時代の最も高度の技術専門家の一人であり、文化人でもあるのである。
目に一丁字もないことは問題ではない。
高度の文化人、複雑な心理家は、きわめて迷信に通じ易い崖を歩いているものだ。
すぐれた魂ほど、大きく悩む。大きく、もだえる。
大力士双葉山、大碁家呉八段、この独創的な二人の天才がジコーサマに入門したことには、むしろ悲痛な天才の苦悶があったと私は思う。
ジコーサマの滑稽な性格によって、二人の天才の魂の苦悩を笑殺することは、大いなるマチガイである。
https://www.aozora.gr.jp/cards/001095/files/43137_30135.html
もう昨日は即寝る約束をしたので、
即寝たわおかげで爽快な快調を迎える超朝だったわ。
23時前に就寝はさすがに良い子すぎるの。
そんななか
私にまた巻き起こった問題があってこれはちゃんと真面目に対処しなくてはいけない案件説濃厚だったので、
取り急ぎ私は税務署に足を運んだの。
そうよ、
その案件だったわ。
嘆きのインボイスね。
これは真面目に対処しないとすごく怒られそうなので、
一旦税務署に予約もなしで丸腰で、
もしかしてこれのことですか？って私はその卓越したアイティー技術を持ってしてタブレットでそのピーディーエフを表示させてみてもらったの。
もちろん
平面のピーディーエフを立体にして縦にしてみられるような近未来サーバーチックなエスエフでもよくありそうな
両手を広げるジェスチャーで
そんで担当で来てもらった係の人に
あ！それですねーなんて話をしながら、
再提出をしなくてはいけなくなって分からなかったら予約してきて下さいね、
なんつって言われて、
インボイス怖いわーって思ったわ。
未だによく分からないのよね。
なんか数百円の還付があるからみたいな感じで、
還付だったらいいかーって無視を決め込んでいたのも悪かったのかも知れないわ。
10月11月12月の期間の消費税の計上のデータってどう作るのよ？って
それを匠に操って操作してその10月11月12月の期間の金額は瞬時に出せるんだけど
これをその部分の期間のみの電子データ化して電子送信するにはどうすればいいの？って
そこが分からないので
あればインボイス学園に通ってインボイス学園の校歌が歌えるようなほどまでに
その制度を学びたいところだわ。
結局よく分かんないままやってる人は多いんじゃない？
そう思うのは私だけ？
でもさ、
税務署の人っていつが一番忙しいか確定申告の前とか前後とかは忙しそうだけど、
あとの普段の季節のシーズンは忙しさどのぐらい忙しいのかしら？
さっぱり検討がつかなくって、
私は何も名乗らずになんで私の情報が分かるのかしら？
私が本当に個の財務処理番号の人かどうかとかはどうでもよいみたいで、
いまインターネッツとかで本人確認が厳密に厳しくなってきている中
そして訊かれもしなかったけど、
そこがなんかアンシステマチックというか。
私が誰であろうとこの対象の税務処理をしてくれる人が来てくれればいいのスタンスなのかもね。
まあそもそもとして、
本人しかみない税務署からのお手紙を持って持参してきてるんだから
その時点でもう本人認証はしてオーケーな認識なのかもしれないわね。
あと
係の人につないでもらうときに
整理券を発行して待っているんだけど、
どの案件か何も該当するものが無いボタンの人の整理券発行があって、
ほぼほとんどの人が特殊な目的以外の私みたいなこう言った目的で来庁しているのかしら？って思ったし、
なんか税務署の人たちは全員賢な人のように見えて、
私がこのポンコツなインボイスっぷりを見てやれやれだぜ！って思われてるかも知れないし、
きっと
もういいぜ！とも思われてるかも知れないわ。
つーかサンドウィッチマンかよ！って思わざるを得ないけれど
そう呆れられて見られても仕方ないわよね。
なんか忙しいところ私みたいなポンコツインボイスにお付き合い頂いてありがとうございましたっていいまくりまくりすてぃーって心の中でそう思ったわ。
まだまだ私のポンコツなインボイスの旅はマルコが三千里を旅して肩にサルみたいな動物を肩に乗せて、
そのもの語りは全くイメージしかタイトルでしか知らないんだけど
またはタニコーの五徳の如く
私はちゃんと真面目にそれに取り組まなければいけないデータ提出をしなくてはいけないのよ。
もういいぜ！
サンドウィッチマンかよ！ってね。
うふふ。
あさはギリギリまで寝ているわけでは無いけれど、
ましてや食欲が無いわけでも無いけれど
これだけゴクゴク飲んでいれば大丈夫よきっと！
それが一晩寝かせてスッキリとした雑味のないグリーンな水出し緑茶ウォーラーを堪能したところよ。
水出しだと雑味が無いような気がして
スッキリとした味わいなきがするわ。
すいすいすいようび～
今日も頑張りましょう！
昇進できないならいろんな職ちょっとずつ齧っていくのもアリだよなあ
技術高めるの趣味だから、いろんな技術職人生かけて数年ずつマスターしていくのもありだよなあとか思ってる
昇進したら現場から離れるわけだし現場で手使いたかったらどっちかというならそっちルートの方が人生楽しいよな
繰り返しになるが、非常に賢いChatGPTを想像するだけではいけない。趣味的な進歩ではなく、リモートワーカーや、推論や計画、エラー訂正ができ、あなたやあなたの会社のことを何でも知っていて、何週間も単独で問題に取り組めるような、非常に賢いエージェントのようなものになるはずだ。
私たちは2027年までにAGIを実現しようとしている。これらのAIシステムは、基本的にすべての認知的な仕事（リモートでできるすべての仕事を考える）を自動化できるようになるだろう。
はっきり言って、エラーバーは大きい。データの壁を突破するために必要なアルゴリズムのブレークスルーが予想以上に困難であることが判明した場合、データが足りなくなり、進歩が停滞する可能性がある。もしかしたら、ホッブリングはそこまで進まず、専門家の同僚ではなく、単なる専門家のチャットボットに留まってしまうかもしれない。もしかしたら10年来のトレンドラインが崩れるかもしれないし、スケーリング・ディープラーニングが今度こそ本当に壁にぶつかるかもしれない。(あるいは、アルゴリズムのブレークスルーが、テスト時間の計算オーバーハングを解放する単純なアンホブリングであっても、パラダイムシフトとなり、事態をさらに加速させ、AGIをさらに早期に実現させるかもしれない)。
いずれにせよ、私たちはOOMsを駆け抜けているのであり、2027年までにAGI（真のAGI）が誕生する可能性を極めて真剣に考えるのに、難解な信念は必要なく、単に直線のトレンド外挿が必要なだけである。
最近、多くの人がAGIを単に優れたチャットボットなどとして下方定義しているように思える。私が言いたいのは、私や私の友人の仕事を完全に自動化し、AI研究者やエンジニアの仕事を完全にこなせるようなAIシステムのことだ。おそらく、ロボット工学のように、デフォルトで理解するのに時間がかかる分野もあるだろう。また、医療や法律などの社会的な普及は、社会の選択や規制によって容易に遅れる可能性がある。しかし、ひとたびAI研究そのものを自動化するモデルができれば、それだけで十分であり、強烈なフィードバック・ループを始動させるのに十分であり、完全自動化に向けて残されたすべてのボトルネックを自動化されたAIエンジニア自身が解決することで、非常に迅速にさらなる進歩を遂げることができるだろう。特に、数百万人の自動化された研究者たちによって、アルゴリズムのさらなる進歩のための10年間が1年以内に圧縮される可能性は非常に高い。AGIは、まもなく実現する超知能のほんの一端に過ぎない。(詳しくは次の記事で）。
いずれにせよ、目まぐるしい進歩のペースが衰えることはないだろう。トレンドラインは無邪気に見えるが、その意味するところは強烈である。その前の世代がそうであったように、新世代のモデルが登場するたびに、ほとんどの見物人は唖然とするだろう。博士号を持っていれば何日もかかるような信じられないほど難しい科学的問題を、間もなくモデルが解決し、あなたのコンピュータのまわりを飛び回り、あなたの仕事をこなし、何百万行ものコードからなるコードベースをゼロから書き上げ、これらのモデルによって生み出される経済的価値が1年か2年ごとに10倍になるとき、彼らは信じられないだろう。SF小説は忘れて、OOMを数えよう。AGIはもはや遠い空想ではない。単純なディープラーニング技術をスケールアップすることがうまくいき、モデルは学習したがり、2027年末までにさらに100,000倍を超えようとしている。私たちよりも賢くなる日もそう遠くはないだろう。
https://situational-awareness.ai/wp-content/uploads/2024/06/gan_progress-1.jpeg
GPT-4はほんの始まりに過ぎない。GANの進歩に見られるように）ディープラーニングの進歩の速さを過小評価するような間違いを犯さないでほしい。
続き I.GPT-4からAGIへ：OOMを数える(11) https://anond.hatelabo.jp/20240605212014
X (twitter) で SITUATIONAL AWARENESS: The Decade Ahead https://situational-awareness.ai/ というのが回ってきて非常に示唆に富むものだったので、DeepL (無料版 API経由) で訳してみた。
この1年で、街の話題は100億ドルのコンピュート・クラスターから1000億ドルのクラスター、そして1兆ドルのクラスターへと移り変わってきた。半年ごとに、役員室の計画にまたゼロが追加される。その裏では、残りの10年間に利用可能なすべての電力契約と、調達可能なすべての電圧変圧器を確保しようとする熾烈な争いが繰り広げられている。アメリカの大企業は、アメリカの産業力を結集させるために、何兆ドルもの資金を注ぎ込む準備を整えている。ペンシルベニア州のシェールフィールドからネバダ州の太陽光発電所まで、何億ものGPUが稼働する。
AGI競争が始まったのだ。私たちは思考し、推論できるマシンを作りつつある。2025年から26年にかけて、これらのマシンは多くの大学卒業生を凌駕するだろう。10年後までには、これらのマシンは私やあなたよりも賢くなり、本当の意味での超知性を手に入れるだろう。その過程で、この半世紀には見られなかったような国家安全保障の力が解き放たれ、やがて「プロジェクト」が始動する。運が良ければ、中国共産党との全面的な競争になり、運が悪ければ全面戦争になる。
今、誰もがAIについて話しているが、何が自分たちを襲おうとしているのか、かすかな光明を感じている人はほとんどいない。Nvidiaのアナリストは、まだ2024年がピークに近いと考えている。主流派の評論家たちは、「次の言葉を予測するだけだ」という故意の盲目に陥っている。彼らが見ているのは誇大広告といつも通りのビジネスだけで、せいぜいインターネット規模の新たな技術革新が起こるのを楽しむ程度なのだ。
やがて世界は目を覚ますだろう。しかし、今現在、状況認識を持っているのはおそらく数百人で、そのほとんどはサンフランシスコとAI研究所にいる。運命の不思議な力によって、私はその中に身を置くことになった。数年前、このような人々はクレイジーだと揶揄されたが、彼らはトレンドラインを信頼し、過去数年間のAIの進歩を正しく予測することができた。この人たちが今後数年についても正しいかどうかはまだわからない。しかし、彼らは非常に賢い人々であり、私がこれまでに会った中で最も賢い人々である。おそらく、彼らは歴史の中で奇妙な脚注となるか、あるいはシラードやオッペンハイマー、テラーのように歴史に名を残すだろう。もし彼らが未来を正しく見ているとしたら、私たちはとんでもないことになる。
各エッセイはそれぞれ独立したものですが、シリーズ全体として読むことを強くお勧めします。全エッセイのPDF版はこちら。
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは～未就学児から～賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生サイズの質的なジャンプが起こると予想される。
AIの進歩は人間レベルでは止まらない。何億ものAGIがAI研究を自動化し、10年に及ぶアルゴリズムの進歩（5以上のOOM）を1年以下に圧縮することができる。私たちは、人間レベルから超人的なAIシステムへと急速に進化することになる。超知能の威力と危険性は劇的なものとなるだろう。
驚異的な技術資本の加速が始まっている。AIの収益が急増するにつれ、10年末までに何兆ドルもの資金がGPU、データセンター、電力の増強に投入されるだろう。米国の電力生産を数十％増加させるなど、産業界の動員は激しくなるだろう。
米国の主要なAI研究所は、セキュリティを後回しに扱っている。現在、彼らは基本的にAGIの重要な機密を銀の皿に載せて中国共産党に渡している。AGIの秘密とウェイトを国家機関の脅威から守るには膨大な努力が必要であり、我々はその軌道に乗っていない。
我々よりもはるかに賢いAIシステムを確実に制御することは、未解決の技術的問題である。解決可能な問題ではあるが、急速な知能の爆発が起きれば、物事は簡単にレールから外れてしまう。これを管理することは非常に緊張を強いられるだろう。
スーパーインテリジェンスは、経済的にも軍事的にも決定的な優位性をもたらすだろう。中国はまだゲームから抜け出してはいない。AGIをめぐる競争では、自由世界の存亡がかかっている。我々は権威主義的な大国に対する優位性を維持できるのか？そして、その過程で自滅を避けることができるのだろうか？
AGIへの競争が激化するにつれ、国家安全保障が関与してくる。アメリカ政府は眠りから覚め、27～28年までに何らかの形で政府によるAGIプロジェクトが立ち上がるだろう。どんな新興企業も超知能を扱うことはできない。SCIFのどこかで、終盤戦が始まるだろう。
もし我々が正しかったら？
――――――――
私はかつてOpenAIで働いていたが、これはすべて一般に公開されている情報、私自身のアイデア、一般的な現場知識、あるいはSFゴシップに基づいている。
Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel、その他多くの方々の有益な議論に感謝する。初期の草稿にフィードバックをくれた多くの友人に感謝する。グラフィックを手伝ってくれたジョー・ローナン、出版を手伝ってくれたニック・ウィテカーに感謝する。
続き I.GPT-4からAGIへ：OOMを数える(1) https://anond.hatelabo.jp/20240605203849
今後数年間の野心的なアンホブリングはどのようなものになるのでしょうか？私が考えるに、3つの重要な要素がある：
GPT-4は、多くの人の仕事の大部分をこなせるだけの生の賢さを持っているが、それは5分前に現れたばかりの賢い新入社員のようなものだ：関連するコンテキストを持っておらず、会社のドキュメントやSlackの履歴を読んだり、チームのメンバーと会話したり、会社内部のコードベースを理解するのに時間を費やしたりしていない。賢い新入社員は、着任して5分後にはそれほど役に立たないが、1ヶ月後にはかなり役に立つ！例えば、非常に長いコンテクストを通じて、新しい人間の同僚を雇うようにモデルを「オンボード」することは可能なはずだ。これだけでも、大きなアンロックになるだろう。
2.テスト時間の計算オーバーハング（より長いホライズンの問題に対する推論／エラー訂正／システムII）
今のところ、モデルは基本的に短いタスクしかこなせない。しかし、これでは非常に限界がある。5分どころか、数時間、数日、数週間、数ヶ月かかるのだ。
難しい問題について5分間しか考えることができない科学者は、科学的なブレークスルーを起こすことはできない。ソフトウェア・エンジニアは、より大きな仕事を与えられ、計画を立て、コードベースや技術ツールの関連部分を理解し、さまざまなモジュールを書いて段階的にテストし、エラーをデバッグし、可能性のある解決策を検索し、最終的には数週間の仕事の集大成である大規模なプル・リクエストを提出する。などなど。
要するに、テスト時間の計算オーバーハングが大きいのだ。GPT-4の各トークンは、問題を考えるときの内部モノローグの言葉だと考えてください。各GPT-4トークンは非常に賢いのですが、現在のところ、思考の連鎖のために～数百トークンのオーダーしか効果的に使うことができません（あたかも問題やプロジェクトに数分しか内部独白／思考を費やせないかのように）。
もし数百万トークンを使って、本当に難しい問題や大きなプロジェクトについて考え、取り組むことができるとしたらどうだろう？
| トークンの数 | 私が何かに取り組むのに相当する時間... | |
| 100s | 数分 | ChatGPT (私たちはここにいる) |
| 1000s | 30分 | +1 OOMsテスト時間計算 |
| 10,000 回 | 半日 | +2 OOMs |
| 100,000ドル | 1週間 | +3 OOMs |
| 数百万回 | 複数月 | +4 OOMs |
人間が〜100トークン/分で考え、40時間/週働くと仮定して、「モデルが考える時間」をトークンで換算すると、与えられた問題/プロジェクトにおける人間の時間になる。
仮に「トークンあたり」の知能が同じだったとしても、頭のいい人が問題に費やす時間が数分なのか数ヶ月なのかの違いになる。あなたのことは知らないが、私が数ヶ月でできることと数分でできることは、はるかに、はるかに、はるかに多い。もしモデルに「数分ではなく、数カ月に相当する時間、何かを考え、取り組むことができる」という能力を与えることができれば、その能力は飛躍的に向上するだろう。ここには膨大なオーバーハングがある。
今のところ、モデルにはまだこれができない。最近のロング・コンテキストの進歩をもってしても、このロング・コンテキストのほとんどはトークンの消費にしか機能せず、トークンの生産には機能しない。しばらくすると、このモデルはレールから外れたり、行き詰まったりする。しばらくの間、離れて単独で問題やプロジェクトに取り組むことはまだできない。
しかし、テスト時間の計算を解除することは、単に比較的小さな「ホブリングしない」アルゴリズムの勝利の問題かもしれない。おそらく、少量のRLは、モデルがエラー訂正（「うーん、これは正しくないようだ、再確認してみよう」）を学習したり、計画を立てたり、可能性のある解を探索したりするのに役立つだろう。ある意味、モデルはすでに生の能力のほとんどを持っており、それをまとめるために、さらにいくつかのスキルを学習する必要があるだけなのだ。
要するに、私たちはモデルに、困難で見通しの長いプロジェクトを推論させるシステムIIのアウターループのようなものを教えればいいのだ。
この外側のループを教えることに成功すれば、2、3段落の短いチャットボットの答えの代わりに、モデルが問題を考え、ツールを使い、異なるアプローチを試し、研究を行い、仕事を修正し、他の人と調整し、大きなプロジェクトを一人で完成させるような、何百万もの言葉のストリーム（あなたが読むよりも早く入ってくる）を想像してみてほしい。
続き I.GPT-4からAGIへ：OOMを数える(9) https://anond.hatelabo.jp/20240605210357
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
「魔法」
よく考えると"実際には存在しないこと"がその要件である概念。
実際に存在する魔法のような現象は再現性が無いなら偶然か奇跡だし、再現性があればあっという間に解析されてただの技術になる。
年齢 26歳(機械系院卒)
顔 中の上
体型 169cm65~68キロのガッチリ ガーボンタデービスとシルエットが似ている
前職は技術総合職だったけど専業主婦と結婚する前提の制度設計がムカつき転職。
現在は一人暮らしで家事はしっかりやる(掃除だけ週1)。食事は自炊してるけどカロリー管理のために毎日同じもの食べてる。
需要あるか？
https://www.mof.go.jp/faq/currency/07an.htm
これによると、この選定基準により
とのこと
たとえば樋口一葉以前は年配の男性が多かった、理由は「シワやヒゲがあるから」
絵の細密性、情報度が増し、偽造が難しくなるからヒゲやシワがあるほうが好ましかった
若くして亡くなった樋口一葉がお札の顔に選ばれたのは技術の進歩があったからとのこと
さらに最近の紙幣に関しては政治家は紙幣の顔にはなれないあるいはなりづらいと聞く
これからすると、血筋で天皇の地位についていて象徴という位置づけ、政治利用NG、「紙幣に使う」とややこしい活動家が出てきそうな天皇は無理なんじゃない
VR機能が拡張して、すごく臨場感のあるゲーム体験をしながら気づかないうちにジワリジワリと死んでいくのとか楽しそうじゃない？
AI関連でも技術の話なら専門用語でマウント取り合う程度の知能バトルは発生するんだな…。利用の話になると「俺が不快だから全部違法犯罪！異論する奴は全員犯罪者だ！うんこしねー！」みたいな低レベルな感情論しかでてこないのに…。
昔乾電池で使っていたものもどんどんバッテリー内蔵タイプになっていくし今後ますますそうなっていくだろう。
防災グッズみたいな特殊な状況下を想定してるもの以外はどんどんバッテリーを内蔵していくんだろう。
俺は乾電池で使える物が好きだったけど、新しい製品に買い替えるタイミングで徐々に充電式のものが増えていった。
バッテリー式のものが増えれば当然それを充電する機器も必要になってくる。やれPD対応だだ急速充電だ非接触だポートは何口が最適だ、などぶつぶつ言いながら充電ステーションの最適化に悩む日々を過ごすようになった。
PCキーボード、マウス、スマートウォッチ、電動歯ブラシ、電動ひげ剃り、イヤフォン、ヘッドフォン、ポータブルスピーカー、カメラのバッテリー複数
Kindle、Gopro、キャンプグッズの一部（LEDランタンとか）、電動エアーダスターなど
毎日のように充電してるのはスマホとヘッドセットくらいだけど、それらはあまり問題ではない。
なんせ毎日のように充電する必要があるんで、寝る前に充電するとか風呂入る時に充電するとかルーティン化しやすく充電忘れが少ないからだ。
やっかいなのがその他の充電サイクルが長めのやつら。
例えばキーボードとマウス。無線化してるのでどちらも充電が必要なんだがなんとなく充電を忘れてしまうことが多い。
そのくせ使いたい時にすぐ使えないとけっこう辛い。
週末に一度必ず充電するみたいなルーティンを作れればいいんだが、週末はPC自体使う頻度が下がるし行動にもバラつきが出るので忘れてしまうこともけっこう多い。
俺は趣味で写真を撮るんだけどカメラのバッテリーもたまにやらかす。
カメラを持ち出す時はだいたい最短でも前の日には分かってるので、余裕をもって充電しておく事は可能なんだけどうっかり忘れてしまうことがある。
今日は写真撮るに行くぞって日の朝、バッテリーの充電忘れてたことに気づいた時は本当に自分が嫌になる。
そもそもメーカー毎にバッテリー形状が全然違ってたり、機種によってはバッテリーの持ちが悪くて予備バッテリー必須だったりもしてなんかもうめんどくさい。
もちろんいざとなればケーブルさして給電しながら使えばいいんだが、こういった小さなストレスが日々積み重なっていく。
せっかく充電で使えるようになってるんだからケーブル繋ぎながら使うということはそもそもしたくない。なんか全然スマートじゃないし悔しい気持ちになる。
便利になっているのに、せっかくスマートに使えるようになっているのに、俺だけがどんくさいまま。
なんかもういいよ充電切れてたから俺も電池切れすねってふて寝したくなる。
たぶん自分はちょっと神経質で充電するものと相性が悪いんだろう。
女の子に多い気がするがスマホ残り15%しかない状態で平気で遊びに出るのとかよく平気だなと思う。
ちなみに俺は計画的に行動するのも苦手だ。充電という行為は「約束」という感じがある。
使う時を想定して前もって充電しておくというのと、切れた時に電池交換すればいいというのはずいぶん違って感じる。
前者は能動的にならなければいけないが、乾電池の場合（電池そのものは用意しておかないといけないけど）どちらかというと受け身でいられるのだ。
電池を消耗してるという感覚すらなく、いざ電池切れた時も充電を待つ必要なんてなく電池を交換すればいいだけだったからなんにも考えなかった。
電力に対して受け身でいられたし、ストレスになるとすればせいぜい交換しようとしたら電池がなかった時くらい。俺はストックはあまり切らさないタイプだからこれはほぼ問題にならない。
エネループ教になったこともあった。乾電池型の二次電池、充電しないといけないのは同じだが、形状が乾電池のままなので充電作業もシンプルになりアレはアレで良かった。
そしてなによりいざというとき多少持ちが悪いとしても乾電池も使えるという安心感もあった。
しかしこれも製品そのものがバッテリー内蔵型のものが増えたことで使わなくなっていった。
バッテリー内蔵式ならほとんどの場合とても軽くなるし、長く使うものはランニングコストも低くなるだろう。
そしてこの先技術がもっと進めば非接触型で早い給電も可能になっていくだろう。
あるいは俺が知らないだけでもうそういう時代になりつつあるのかもしれない。
ほとんど意識することなく、机の上や特定の場所に置いとくだけで最適なバランスで勝手に充電しといてくれるみたいなのもすぐ当たり前になっていくだろう。
今における充電問題はその途上にあり、便利なのだがなんかダルい事が多いという歯がゆい時代なのだろうか。
充電器をあれこれ用意していちいちケーブルで繋いで手動で充電してたんだよっていうことが「いやよくそんなめんどくさいことしてましたね」って言われるようになるんだろうな。
それまでは俺は日々充電の事を気にしながら生きていくしかないのだ。
そんな事を考えながら今ようやく充電が終わったのでこれで出かけられる。
