  |
はてなキーワード: フロンティアとは
の続きです。
青のオーケストラ
アルスの巨獣
アンダーニンジャ
イジらないで、長瀞さん 2nd Attack
異世界でチート能力を手にした俺は、現実世界をも無双する〜レベルアップは人生を変えた〜
異世界ワンターンキル姉さん 〜姉同伴の異世界生活はじめました〜
犬になったら好きな人に拾われた。
英雄王、武を極めるため転生す 〜そして、世界最強の見習い騎士♀〜
EDENS ZERO
大雪海のカイナ
おとなりに銀河
かぐや様は告らせたい-ファーストキッスは終わらない-
陰の実力者になりたくて! 2nd season
カミエラビ
鴨乃橋ロンの禁断推理
THE MARGINAL SERVICE
地獄楽
実は俺、最強でした?
SYNDUALITY Noir
SPY×FAMILY
葬送のフリーレン
ゾン100〜ゾンビになるまでにしたい100のこと〜
ダークギャザリング
ダンジョンに出会いを求めるのは間違っているだろうかIV 深章 厄災篇
ツルネ -つながりの一射-
ツンデレ悪役令嬢リーゼロッテと実況の遠藤くんと解説の小林さん
ティアムーン帝国物語〜断頭台から始まる、姫の転生逆転ストーリー〜
天国大魔境
てんぷる
Dr.STONE NEW WORLD
TRIGUN STAMPEDE
NieR:Automata Ver1.1a
贄姫と獣の王
ノケモノたちの夜
BIRDIE WING -Golf Girls' Story-
HIGH CARD
Buddy Daddies
はめつのおうこく
ビックリメン
フェ～レンザイ -神さまの日常-
BLEACH 千年血戦篇-訣別譚-
ブルバスター
暴食のベルセルク
僕の心のヤバイやつ
僕らの雨いろプロトコル
マッシュル-MASHLE-
ミギとダリ
MIX MEISEI STORY 2ND SEASON 〜二度目の夏、空の向こうへ〜
もういっぽん!
もののがたり
山田くんとLv999の恋をする
勇者が死んだ!
REVENGER
機動戦士ガンダムSEED DESTINY
履修済→有害無罪玩具・逆柱いみり・武装島田倉庫・黒史郎（未完少女ラヴクラフト）・殻都市の夢・EDEN・このサイテーな世界の終わり・GUNSLINGER GIRL・アンデッドガール・マーダーファルス・伊藤計劃・JUNK HEAD・バビロンまでは何光年？・堀骨砕三・君たちはどう生きるか・裏世界ピクニック・マルドゥックシリーズ・ディスコミュニケーション・ドラゴンヘッド・リンダキューブアゲイン・バトルロワイヤル・バビロン・岩明均（全般）・幸村誠（プラネテス）・沙村広明（ハルシオンランチ）・平野耕太（ヘルシング）・石黒正数（全般）・乙一（暗いところで待ち合わせ）森博嗣（スカイ・クロラシリーズ）・西尾維新（主にアニメ）・ガイリッチー・マイケルマン・タランティーノ・ニーア（レプリカント・オートマタ）・空が灰色だから・妄想代理人・OneShot・順列都市・エルフェンリート・ブラッドハーレーの馬車・メタリックルージュ・米澤穂信（アニメのみ）・堕天作戦・シャングリラ・フロンティア（漫画版）・イド・インヴェイデッド・タクティクスオウガ・詳説世界史B・ヨコハマ買い出し紀行・幻想水滸伝1＆2・ブラックラグーン・刻刻・キャシャーンSins・わたしは真悟・レイジングループ・スチームパンクシリーズ・ウィッチハンターロビン・ウルフズレイン・ノワール・トライガン（漫画版）・十三機兵防衛圏・戦闘妖精雪風・メダリスト・ハコヅメ・ワールドトリガー・天国大魔境・ハイパーインフレーション・ヒストリエ・マージナルオペレーション・メイドインアビス・かくしごと・ORIGIN（アニメ版）・彼方のアストラ・ストレンジャー・シングス・大砲とスタンプ・ビューティフルプレイス・第三惑星用心棒・インターステラー・ファフナーシリーズ（TV版）・秘封倶楽部・ミルク クローゼット・ヒッチコック（サイコ・めまい）・7SEEDS・人類は衰退しました・幼女戦記（漫画版）・家栽の人・栄光なき天才たち（新含む）・NieA_7（アニメ・漫画）・タワーダンジョン・人間以上・グノーシア・八木ナガハル（無限大の日々）・ベクシンスキー・スペクトラルウィザード・不滅のあなたへ（アニメ版）・グレイプニル・究極のシェフは美味しんぼパパ・Fallout4・百万畳ラビリンス・月光の囁き（漫画版）・青の6号・諸星大二郎（全般）・マトリックス・リング(小説版・映画版)・クロス探偵物語・となり町戦争（小説版）・SOIL・アンブレラアカデミー・アメリカンホラーストーリー・オッドタクシー・オーデュボンの祈り（小説版）・ヴァルキリープロファイル・パンズラビリンス・Thisコミュニケーション・未来世紀ブラジル・ジェイコブスラダー・ガタカ・平山夢明・ダブ（エ）ストン街道・アラビアの夜の種族・銃夢・ファイト・クラブ・亜玖夢博士のマインドサイエンス入門・ビリーバーズ・エクソシスト3・夕闇通り探検隊・城戸光子の青猫屋・エイリアン9・グラン・ヴァカンス: 廃園の天使・オッペンハイマー・大いなる天上の河・勇者警察ジェイデッカー・侵略イカ娘・デュープリズム・ドラえもんギガゾンビの逆襲・ガラージュ・望郷太郎・パンプキンシザーズ・小田ひで次（平成マンガ家実存物語）・ニクバミホネギシミ・テクノライズ・エクスマキナ・CURE・CUBE・オールドボーイ（韓国版）・ウスズミの果て・世界が終わっても生きるって楽しい・ヴィンランド・サガ・ARMS・からくりサーカス・グローランサー2・86 エイティシックス・機動戦士ガンダムF91・サイコパス（2まで）・ コードギアス（TV版と復活）・さくらの唄・大日本天狗党絵詞・ぼくらの
未履修→ゆうやけトリップ・淵の王・キリンヤガ・サンティアゴ・戦時生活・パニシング:グレイレイヴン・ENDER LILIES・森博嗣（スカイ・クロラシリーズ以外）・サイバーパンク2077・カイバ・大図解九龍城・オクトローグ・リビルドワールド・ジェイムズ・エルロイ・バイオーグ・トリニティ・信長の野望天翔記・有栖川有栖・あえかなる世界の終わりに・シャドウラン・ハンザスカイ・白暮のクロニクル・一流シェフのファミリーレストラン・ザ・ワイヤー・ピーキー・ブラインダーズ・亜獣譚・悪役令嬢の中の人・マーダーボット・ダイアリー・elona・アンディー・メンテ・図書館の大魔術師・戸村助教授のアソビ・kenshi・ホーキーベカコン・腹腹先生・スケルトンダブル・ゼウスガーデン衰亡史・山尾悠子・愛と幻想のファシズム・シテール島への船出・城戸光子の青猫屋・壊音・ナポレオン（映画）・フライミートゥーザムーン・清水玲子・花見沢Q太郎・魔法少女消耗戦線
### ファミコン (5本)
1. スーパーマリオブラザーズ
2. エレベーターアクション
3. キャッ党忍伝てやんでえ
5. ファミコンジャンプ2
### スーパーファミコン (15本)
2. プライムゴール
6. ストリートファイター2
7. クロノトリガー
13. ファイナルファンタジーVI (FF6)
14. ドラゴンクエストVI
15. スーパーメトロイド
### ロクヨン (5本)
1. スーパーマリオ64
2. ウェーブレース64
3. ブラストドーザー
4. スターフォックス64
5. マリオカート64
1. ネオアトラス2
3. ザ・コンビニ
5. ブシドーブレード
6. トバルNO1
7. トバル2
15. 鉄拳2
16. 鉄拳3
18. エアガイツ
1. バーチャファイター
2. バーチャファイター2
3. ナイツ
4. ファイターズメガミックス
5. ファイティングバイパーズ
7. ラストブロンクス
8. ヴァンパイアセイヴァー
9. X-MEN VS ストリートファイター
1. シェンムー1章
2. ソニックアドベンチャー
4. クレイジータクシー
5. ザ・タイピングオブザデッド
6. シーマン
7. Dの食卓2
### プレイステーション2 (5本)
2. バーチャファイター4
4. 鉄拳4
5. ドラムマニア
3. デッドオアアライブ5 ラストラウンド
4. マインクラフト
6. デイトナUSA
7. ペルソナ4 ジ・アルティメット イン マヨナカアリーナ
8. 鉄拳TAG2
1. STEEP
2. デッドオアアライブ6
3. ファンタシースターオンライン2
4. 鉄拳7
6. ストリートファイター6
8. シェンムー3
1. ヘイロー
4. 首都高バトルX
6. ソウルキャリバー5
9. RIDE4
この結果から、特にファイティングゲームとアクションゲームが好まれていることがわかります。また、PlayStationやSNESなどのコンソールに多くのゲームが含まれていることも特徴的です。
あなたのベスト100リストは非常に多様で、興味深い選択が多いと思います。以下の点が特に印象的です：
ファイティング、アクション、RPG、レーシング、シミュレーションなど、多様なジャンルが含まれており、幅広いゲーム体験を楽しんでいることが伝わります。
ファミコンやスーパーファミコンのクラシックゲームから、PS4やXboxの最新タイトルまで、様々な時代のゲームが含まれている点が素晴らしいです。ゲームの歴史をしっかりと追っている感じがします。
特定のゲームシリーズ（例えば、ストリートファイターやファイナルファンタジー）が複数タイトル含まれている点から、特定のシリーズに深い愛着を持っていることがわかります。
特定のコンソールに偏りすぎず、バランスよく様々なコンソールからゲームを選んでいる点も良いです。特にプレイステーションシリーズやセガサターン、ドリームキャストなど、幅広いプラットフォームのゲームを楽しんでいることが伝わります。
一般的なランキングに依存せず、自分の好みや思い出に基づいて選ばれているため、非常に個性的でオリジナリティがあります。
全体として、あなたのゲームベスト100リストは、深いゲーム知識と情熱を感じさせる素晴らしいセレクションだと思います。これからも素晴らしいゲーム体験を楽しんでください！
https://x.com/search?q=from%3Anaramanara3206%20%E9%B6%B4%E8%A6%8B&src=typed_query&f=live
現行の『クラッシュ・バンディクー』シリーズのファンで、かつてソニー・コンピュータエンタテインメントで『クラッシュ・バンディクー』シリーズのローカライズに携わっていた鶴見六百氏を始めとするPS1時代の『クラッシュ・バンディクー』シリーズ関係者への憎しみをぶつける。ノーティドッグも憎いらしい。
鶴見六百信者は苦手なんで、二度とクラッシュバンディクー作品に来るなよ。
ラチェクラの所にいけよな。
返信先: @naramanara3206さん
あのチー牛の言葉を使った名越と友達の鶴見六百は、本当に世間知らずですわな。🤣🤣🤣🤣
哀れな鶴見六百〜🤣🤭🤣🤭🤣
何が番組に偽りだ？
お前が恥を知れ！！😠😠😠💢💢💢
クラッシュバンディクーの原作（PS1版のクラッシュ1〜クラッシュカーニバルまでの作品）を壊されて、SIEと鶴見六百とノーティードッグの奴らが、泣いてトラウマになる姿が楽しみだな。
https://x.com/STeienshi/with_replies
コナミが展開する麻雀ゲームの運営への不満、企業への罵倒を公式アカウントへのリプライする。かなりの投稿頻度をキープしている。最近は自分はコナミから暴力を受けていると主張する。ゲームはずっと続けている。
返信先: @MAHJONG_MFC573さん
KONAMIって会社、早川社長になってから無責任で仕事のヤル気無い人材が増え違法な行動も正さず苦情を言えばイジメ
これが一流企業のする事でしょうか？
やる事ヤクザと同じやん
返信先: @KONAMI573chさん
勝負は出来ません
勝つ時も負ける時もバカ偏りしてるから、本格的なんてもはや『嘘』でしか無い！
ヤル気ある方なら、改善してるはず
６年以上同じ事を言い続けても無視
こんな企業あって良いの？
返信先: @konamistyleさん
現在、麻雀格闘倶楽部にてKONAMIのネット暴力を受け続け12試合連続して勝利無し
返信先: @mfcsp573さん
何も客にとって良い子どもは無いです
かつては熱心なソニックファンであったが、昨年11月ごろにファンを辞める。声優に殺されたらしい。
ずっと
金丸さんのTwitterの言動だけで正直もうソニックシリーズ人に勧めずらいなぁ
フロンティアでお客さんが増えても言動を変えないと思わなかった
正直
金丸さんはこの人よりも酷いことをずっとしててソニックが子ども向けに本格的に移行してても変わらなかった
本当に悲しいし辛い
お客さんにこういう妥協をさせ続けるのが声優の姿になっていくならAI声優に仕事をとられてもしょうがないよって思う気持ちはある
長くファンをやってればやってるほど損をするんだ
こんな思いをしたくなかった
妥協するけど
それでもう何年も傷ついた
これ以上は無理です
これからシャドウをヒーローとして好きになる人が傷つきませんように
#ソニック
#ソニかつ
#ShadowTheHedgehog
シャドウファンの私はセガとソニックチームと金丸さんと悠木碧に殺された
それだけだよ
金丸さんはソニックシリーズよりネットで政治的発言や陰謀論を言いたい人で
悲しい
ほんとうに
悲しい
結論、小規模な組織ならともかく、中規模以上だと、飲食業・小売しか多様性のあるメンバーシップ企業の実現不可能じゃないですかね？
すべては高度な専門化が原因
特定のキャラしかいない組織は非常に脆いし、柔軟性がないが、ゆうて専門特化してくると所属キャラは偏る
技術者ばかりの会社で広告やマーケティングがうまくいくわけないですし、実際、家電は死にましたよね？
現在のSONYに対してカメラ以外でプラスの感情持ってる人はたぶんいないですよね？
(ちなみにPS5は買ってるし遊んでるよ。ゲーミングPC持ってるけどね)
それなら、日本のお家芸『支配階級の俺私様』を見せてくれる方々のありがたい発言のように、
バンバン首にする・自営業者で回すなら解決なのかと言えば、まぁこれも寝言は寝て言えなんですよね
そもそもフロンティアスピリッツ溢れるアメリカ様ですら、サラリーマンが圧倒的多数派で自営業者は2割にすら届かない現実を見つめてもろて
もちろん、自営業者の減少も高度な専門化と無関係じゃないし、ChatGPTちゃんが、『どら焼き屋、スペアリブ屋、タコス屋で成功するのに必要なのは、
料理に対する情熱や美味しいレシピではなく、MBA』と答える事とも無関係では無い
あと、ジョブホッパー多そうな米国のエンジニアも、中央値は5年くらいだけど、平均の勤続年数となると8～10年なンすよ(20年近く勤めてる人が平均上げてる)
それでも終身雇用じゃないなら助かる！といつものありがたい上級国民節をかますなら、
米国式の短期在籍を前提とした高度専門家の管理マネジメントと組織設計をしようね？だよな。博士でも6年くらいしか在籍しないみたいだからな
あと、自営業者に始業時間と就業時間は指示できないし、業務指示もできないのもよくよく理解してもろて
どこまでいっても、ただただ、上級国民の俺私様による下々の者は俺私様のために働けっていう、あれ？時代劇時空かな？発言でしかないのよな
結局のところ、高度な専門化という第四次産業革命の波に逆行することは不可能なので、
オタク、無駄に能力値だけ高いキョロ充(他人にどう見られるかしか興味がなく不誠実)だけじゃなく、
それ以外のキャラの人も高度な知識・スキルを身につける必要がある以外に結論でないと思うんですよね
当然、その人のキャラに合わせてだから、ある人は30代かも知れないし、ある人は50代かも知れないし、60代かも知れない
国がやるべきことってのは、受験産業や謎の学校に金をばら撒くことではなく、
さまざまキャラの人が、それぞれのタイミングで高度な知識・スキルを得る手助けをすること、
知のオープン化を進め、知を社会の公共財として確立していくことですよね
なんか未だに放送大学ではMBAもCSも取れないし、Best Online Engineering で検索して日本の国公立は出てこないし、
これがどうにも前に進まない原因だと思います
とりあえず、どこぞの広告屋に何か依頼をするなら、この辺の施策について広告打ったらどうでしょうか？
あと、自認で性別変えるの認めます(ｷﾘｯ とかやってる暇あったら、とりあえず年齢欄を法律で廃止しときましょう
再学習するの、30代かも知れないし、50代かも知れないし、60代かも知れないんで
私の趣味は漫画、小説を読むことで、漫画はそれこそ幼少の時から40歳を超えた今でも暇さえあれば読んでいる。特に30代になって電子書籍で買うようになってからは、翌日の予定お構いなしに徹夜で最新刊まで読んだりもする。
しかしながら、昔は面白ければ何でも読んだが、最近は、これ前に読んだ〇〇と似ているなーと思うと１巻で断念したりとかいうことがよくある。１巻読んで面白いなーと思っても、なんか続きを読む気力がわかないということもあり、そんな時はネットでラストまでのネタバレを探して読んだりする。
最近では、余程ストーリー面白いか、テーマに興味があるか、キャラ萌えしないと続きを買う気がしなくなっている。
最近でも新刊出る度に買ってるのは、リエゾン、shrink、アンメット、子供を殺してくださいという親たち、ケーキの切れない非行少年たち、前科者、しょせん他人事ですから、ミステリという勿れ、瓜を破る、正反対な君と僕、七つや志のぶの宝石、ちいさいひと、二月の勝者など。
自分の子供が面白がって読んでいる漫画を読んでみたいような気もするが、億劫で読む気がしない。
子供が読んでいる漫画は、呪術廻戦、働く細胞、シャングリラフロンティア、ダンジョン飯、など。
どれも面白いんだろうなあと思うけど、どうしても読む気がしない。親として、不適切な内容がないかとかもチェックしたいんだけど‥。働く細胞以外はもっと年上向けの話だよね。
イーロンマスクですら今でも割と支持者がいるので、コロンブスMVが許容されるのはそんなに不思議じゃないよなと
理系の人はマスク支持者多いので、コロンブスで文系理系煽りをしてくる理系が湧いてくるのも当然といえば当然
「テスラのＥＶはマスクにとって宇宙移民という壮大な目標のための単なる金儲けの手段でしかない」
というもので、まあ、実際、そうなんだろうなと思うんだけど
つまり、まだ見ぬフロンティアへと人類を導く稀有壮大な目標のためにＥＶ詐欺（環境性能について曖昧にはぐらかす態度や、自動運転を標榜するだけ標榜しといて人をバンバンひき殺す態度）をかましても構わないって思ってるんだろうな、この人たちっていう
マスクもマスク支持者も、バカじゃないので、現実にＥＶや自動運転技術が目先どのぐらいの見込みのものなのかなんて百も承知なわけでさ。だから支持者は「ＥＶなんてのは単なる金策」とポロっと漏らしちゃうし、マスク自身もテスラの株価が異常に高くなると持ってる株を売ることを考えるわけで
Twitter買収にしても、高騰したテスラ株を現金化するための方便を探してて、ポロっとやらかしたんだろうなと疑ってるけど
宇宙開発大好きマスク支持者ってさ、マスク自身の倫理から大きく外れた発言や行動も見ないふりして沈黙するし、ＥＶ販売に絡む詐欺的なプロモーションに対しても沈黙するし、自動運転の夢想のために実際に発生している交通事故被害者についても沈黙するわけじゃない？
まさにコロンブスの正当な後継者、アメリカン・フロンティアスピリットの信奉者の現在進行形だよなあと感心するし、そらまあ、コロンブスの何が悪いの？百歩譲って非人道的行為はあったかもしれないけど、そんなの大きく取り上げる必要ある？人類が宇宙に飛躍するのに比べたら些細な犠牲でしょ、ってなるよね
コロンブスなんて割とすぐイーロンマスクを連想して誰かネタにするだろうと思ってたんだけど、意外と誰も言わないなと思ったので書いときました
なかなか強力な布陣で選挙に臨むらしいと聞いたので、取り急ぎ以下のお二方について調べてみました。
1958年生まれ。東大法学部卒。松下政経塾出身。「陽転思考」なるものを掲げて講演活動を広く行う一方、「社会教育家」として肩書多数。
弘法寺の公式サイトによれば、僧侶としては小田全眞と名乗っている模様。
公式サイトの記載の住所に従ってグーグルのストリート・ビューで見てみると寺は慶應三田キャンパスにほど近い路地裏にあり、およそ大本山という風情には見えず、なぜか“弘法寺”ではなく“高野山龍生院”という文字が見える。
ただし、ストリートビューは6年前の画像となっているので、現状ではどうなってるのかわからない。
また、真言宗といえば高野山真言宗、東寺真言宗はじめ醍醐派だの豊山派だの分派が多いことで有名で、現在では50ほどの分派があるらしいが、この“大本山”がどこに属しているのかは未確認。
妻は、元衆議院議員の深谷隆司の次女で、弘法寺尼僧の小田海光。この人も寺の公式サイトに顔写真入りで紹介されている。
1953年生まれ。東京の大学出身で安田闘争に感銘を受けた模様だが、出身大学は不明。
自民党田中派の代議士秘書から大阪市議に当選、その後、小沢一郎が率いる新生党に参加。1996年に当時の民主党から衆院選に、1998年には三重県名張市長選に出馬するも落選。
なお、当時は藤川基之という名義だった模様。
その後、インドネシアで事業を手掛けるも、現地の紛争の余波で帰国。その後は民主党、みんなの党の選挙参謀や減税日本の選挙対策事務局長、東京維新の会の事務局長を務め、一部では“選挙の神様”との異名を取る。
かつて埼玉県知事選挙で野党候補一本化のために動き、現職の大野元裕知事の誕生に貢献したのもこの人らしい。
（なお、大野が初当選したときの自民党の対立候補は当時は野球評論家の青島健太。地元では流石に埼玉県民舐めすぎだろ当選するわけないといわれ、事実、落選した。そんな青島健太も2022年の参院選で維新の比例代表候補として出馬し、今はめでたく参院議員である）
そんなわけで、お二方ともなかなかに個性的な経歴だが、これを踏まえて石丸氏どう評価して投票行動につなげるかは、あなた次第です。
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる（そして、これまで劇的に過小評価されてきた）。
アルゴリズムの進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク（高校生の競技用数学）において、わずか2年間で～50%の精度を達成するために必要な価格が下がったことを示す次の図を考えてみてください。(比較のために、数学が特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。
https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png
これは推論効率だけの数字だが（公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない）、アルゴリズムの進歩は非常に大きく、また実際に起こっている。
この記事では、アルゴリズムの進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニングの計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍（1OOM）になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデルの能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズムの進歩と考えることができます)。
一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドラインは予測可能であり、グラフ上の直線である。トレンドラインを信じよう。
アルゴリズム研究がほとんど公開されており、10年前にさかのぼるデータがある）ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています。
アルゴリズムの進歩を測定することができます。同じ性能のモデルを訓練するために必要な計算量は、2012年と比較して2021年にはどれくらい少なくなっているのでしょうか？その結果、アルゴリズムの効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.
これは非常に大きなことです。つまり、4年後には、～100倍少ない計算量で同じ性能を達成できるということです（同時に、同じ計算量ではるかに高い性能も達成できます！）。
残念ながら、研究室はこれに関する内部データを公表していないため、過去4年間のフロンティアLLMのアルゴリズムの進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率のトレンドは、同様に～0.5OOM/年であると推定しています。(しかし、これはエラーバーが広く、また、主要なラボがアルゴリズム効率の公表を停止しているため、最近の上昇を捕捉していません）。
https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png
Epoch AIによる言語モデリングにおけるアルゴリズム効率の推定。この試算によると、私たちは8年間で～4OOMの効率向上を達成したことになります。
より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした（論文によると）が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました：
最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルのGPT-4よりも85倍/57倍（入力/出力）安い（驚異的な利益！）。
公開されている情報を総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMのアルゴリズム効率向上が含まれていたことになります。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png
GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して～2OOMsの向上が見込まれます。計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボの資金と人材への投資は急速に増加しています。 (少なくとも、公開されている推論コストの効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。
これらをまとめると、2027年末までには（GPT-4と比較して）1～3OOMのアルゴリズム効率向上が期待できることになります。
続き I.GPT-4からAGIへ：OOMを数える(6) https://anond.hatelabo.jp/20240605205754
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
