  |
はてなキーワード: ムーアの法則とは
私は以前、AGIへの短期的なタイムラインには懐疑的だった。その理由のひとつは、この10年を優遇し、AGI確率の質量を集中させるのは不合理に思えたからである（「我々は特別だ」と考えるのは古典的な誤謬のように思えた）。私は、AGIを手に入れるために何が必要なのかについて不確実であるべきであり、その結果、AGIを手に入れる可能性のある時期について、もっと「しみじみとした」確率分布になるはずだと考えた。
しかし、私は考えを変えました。決定的に重要なのは、AGIを得るために何が必要かという不確実性は、年単位ではなく、OOM（有効計算量）単位であるべきだということです。
私たちはこの10年でOOMsを駆け抜けようとしている。かつての全盛期でさえ、ムーアの法則は1～1.5OOM/10年に過ぎなかった。私の予想では、4年で～5OOM、10年で～10OOMを超えるだろう。
https://situational-awareness.ai/wp-content/uploads/2024/06/this_decade_or_bust-1200x925.png
要するに、私たちはこの10年で1回限りの利益を得るための大規模なスケールアップの真っ只中にいるのであり、OOMsを通過する進歩はその後何倍も遅くなるだろう。もしこのスケールアップが今後5～10年でAGIに到達できなければ、AGIはまだまだ先の話になるかもしれない。
つまり、今後10年間で、その後数十年間よりも多くのOOMを経験することになる。それで十分かもしれないし、すぐにAGIが実現するかもしれない。AGIを達成するのがどれほど難しいかによって、AGI達成までの時間の中央値について、あなたと私の意見が食い違うのは当然です。しかし、私たちが今どのようにOOMを駆け抜けているかを考えると、あなたのAGI達成のモーダル・イヤーは、この10年かそこらの後半になるはずです。
マシュー・バーネット（Matthew Barnett）氏は、計算機と生物学的境界だけを考慮した、これに関連する素晴らしい視覚化を行っている。
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です
・～1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。
・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。
・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。
・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティングに活用しようという動きが続く。
・2006年 ディープラーニングの発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAIを模索する動きが始まる（第3次AIブームのおこり）
・2006年 CPU業界2位のAMDがGPU業界2位のATIを買収、チップセットにGPUを統合することで事実上自社製品をNVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPUを統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品の販売を終了し、データセンター向けGPGPUのTeslaシリーズ、ゲーム用外付けGPUのGeForceシリーズ、ARM系CPUと自社GPUを統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代のAIサーバ製品に直接つながる。GeForceシリーズはゲーマー向け需要や暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。
・2012年 ディープラーニングが画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。
・2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易＝デカい計算機を使えばAIの性能が上がる時代に突入。
・2018年 IBMがNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPC（ハイパフォーマンスコンピューティング）におけるGPUの地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。
・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル。
・2019年 NVIDIA CEOジェスン・ファン（革ジャンおぢ）が「ムーアの法則は終わった」と見解を表明。半導体のシングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負の時代に入る。
・2022年 NVIDIAがH100発表。Transformerモデルの学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセスで製造、SK Hynix製HBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoCで採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスとモバイル製品向けプロセスはクロックや電流量が異なり、HPC向けはN4が最新と言ってよい。
・2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。
・2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。
・2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard（Gemini）など商用化への動きが相次ぐ。各企業がNVIDIA H100の大量調達に動く。
・2024年 NVIDIAが時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成（予定）。
こうして見るとNVIDIAにとっての転換点は「ディープラーニングの発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセットの販売からコンピューティングユニットの販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAはゲーマー向け製品やモバイル向け製品を販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングやスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。
| 年 | 機種 | 演算性能 | ||
| 1980 | HITAC M-200H | 48 MFLOPS | ||
| 1985 | HITAC M-280D , S-810/10 | 630 MFLOPS | 13.125倍 | |
| 1994 | HITAC S-3800/180 | 8 GFLOPS | 12.698倍 | |
| 1999 | HITACHI SR8000 | 288 GFLOPS | 36倍 | |
| 2004 | NEC SX-6 タイプE | 2894 GFLOPS | 10.049倍 | |
| 2009 | HITACHI SR16000 モデルL2 | 72.7 TFLOPS | 25.121倍 | |
| 2015 | FUJITSU PRIMEHPC FX100 ,FUJITSU PRIMERGY CX2550M1 | 1268 TFLOPS | 17.442倍 | 2015年にムーアの法則が終わったと言われている。 |
| 2020 | FUJITSU PRIMERGY CX2550M5 | 2.81 PFLOPS | 2.216倍 | ←！！！！5年でたった2.2倍！そりゃ自作ＰＣも盛り上がらないよな・・・ |
ピーター・ムーアというアディダスやナイキのロゴを作った人から命名された法則。
ジャガイモとビールが合うように、ある食べ物には必ず合う飲み物があるという法則。
オープンワールドのゲームでは、アンカリングされた地点にファストトラベルできる機能があると便利だよいう意味。
「オデ…オデ…」と一人称をオデにするだけでゴーレムのように見えてしまう効果。
監獄にスタンフォードの本を配ったらみんな改心したという感動の実験。
蝶はよく見ると気持ち悪いのに、みんなに愛されている。
父母も火を見ると恐れるようなぐらいにネッツでカードを使うことを恐れている人々で、
私もその恐ろしさに戦々恐々なんだけど、
でも少しはインターネッツに慣れ親しんでいるつもりなので
代わりに買ってあげることにしたの。
私も初めて使うインターネッツのウエブのサイトで買おうとしたのね。
そしたら、
私全然限度額とか行ってないし、
困ってたんだけど事情をカード会社に電話して即解除してもらえたから良かったものの、
私もこんな事態初めての状況のことだったので、
そんで、
無事母の頼みたい、
世の中は便利なものねって思ったのよ。
それなら
移動中のレジャー先で冷たい飲み物とか冷たく冷やした飴玉とか飲んだり食べたりできるから
ドライブ快適ね！っておもったら
そうじゃなくて
どうやら釣った魚を保管する用の冷蔵庫だそうよ。
そんな冷蔵庫がいるぐらい釣れてるのかしら？って思っちゃうけど、
まんざらお魚って素人が売っても売るところがあること自体がビックリだし、
まさに松方弘樹の世界を釣る！的なビッグドリームかつビッグフィッシングだな！って思ったの。
そんで、
翌朝メールを開けてみたら
カード会社からカードを止めた緊急連絡の最終告知だからな！って
もちろん
私は心当たりがあるから開こうとしたらブロックされてよく見たら紛らわしいフィッシングメールで
手当たり次第にメールを送っておけば、
なにかしら
心当たりのある人に引っかかるだろうと言う
でも今はインターネッツの技術的革新がムーアの法則で1日1歩日進月歩いや秒進分歩だから
私がそんなおっちょこちょいなことを
つまり、
私自体がフィッシングサイトを開いて自らビッグフィッシングにならなかっただけの、
これって
効いたよね！早めのパブロン！って
なにやってんのよ！って惣流アスカラングレーが言うあんたバカって言われそうなほど
大手物流倉庫を運営している会社みたいな空目をしそうだったわよ。
だから
お届けは未定です！って
冷蔵庫でそんな人気商品あんの？って思わず二度見してしまいそうで
誰も昔そんなこと思っていなかったけど、
お刺身をそこに入れておいて、
出すときのスペースコロニーの船外活動を終えて戻ってきて減圧しているときのプシュって言う開けたときの音に
いてもたってもいられたかったわけだったのよ。
とりあえず、
うふふ。
本気味おにぎり！
道端に自生しているミントはやっぱりどうしても使う気にはなれないしね。
すいすいすいようび～
今日も頑張りましょう！
| 年 | 名前 | 性能(PFLOPS) | 性能比 | 消費電力(MW) | 性能/MW(PFLOPS) | 性能比 |
| 2002 | 初代地球シミュレータ | 0.0359 | 6 | 0.0059833 | ||
| 2011 | 京 | 10 | 278.5倍 | 12.7 | 0.7874 | 131.599倍 |
| 2020 | 富岳 | 415 | 41.5倍 | 28.3 | 14.6643 | 18.623倍 |
| 年 | 名前 | 性能(TFLOPS) | 性能比 |
| 2000 | PS2 | 0.0062 | |
| 2006 | PS3 | 0.23 | 37.1倍 |
| 2013 | PS4 | 1.843 | 8倍 |
| 2020 | PS5 | 10 | 5.42倍 |
ゲーム機だとこうなる
だんだん性能が伸びなくなってるよな
ブコメにワットパフォーマンスの話が出たのでスーパーコンピュータのWとか調べてワッパで比べてみた
だけどPSにかんしては、調べるとみんな言うこと違ってて
初期型PS2は50W、初期型PS3は380Wが有力みたいなんだけど、ただこれも電源にそれが乗ってた程度の話で
申し訳ないがあまりにも突っ込みどころが多すぎて突っ込みきれない。そのレスも分かってない感を上塗りしてるだけだ。
まず学習に必要な計算量と推論に必要な計算量は違うということを理解するべきだし、ムーアの法則が律速になってからここ10年で計算量がどれだけ増加したか・それは何故なのかを知るべきだし、意味も分からず教師データを学習モデルに突っ込んで精度が良いとか悪いとか言う前に統計学の基本を勉強するべき。つうか「機械学習までは勉強した」ってなんだよ。何を勉強したら「機械学習を勉強した」ことになるのか全く分からないので情報量がない。まともに勉強してたらこんな言い方は絶対にしない。
統計学の勉強には東大出版会の「自然科学の統計学」や竹村先生の「現代数理統計学」あたりを読むといいだろう。線形代数をある程度分かってる前提だが。
（年収270の人です）
機械学習や深層学習とかの、AI は無理だって。根拠は半導体のパフォーマンスが線形にしか伸びないのに、医療側の要求はムーアの法則を超えていく勢いだから、シリコンベースの人工知能開発だと微細化の限界が先に来てしまう。考えてみてくれ、CPU,GPU,TPU はチューリング機械なんだぞ。俺が AI のレン中に欺瞞を感じるのはだな、あまりに計算量を無視してプログラミングをして人工知能をやる馬鹿者たちしかいない現状よ。たとえば、富岳で人工知能開発ができたとして、ペイできる可能性あるか？人間のほうが安い可能性が高いと思うよ。それに教師あり学習でAIすると、元になった画像の著作権が問題になって、EU が揉めてるじゃん。やめようよ、理想の人工知能の開発なんて。
私の20数年のプログラム人生の殆どにおいて開発PCのメモリが4GBだった。これほど恐ろしい話は無い。
(中略)
中小企業は特例もあるが、PCの減価償却のシステムが日本のITを劣化させているのは間違いない。
そろそろ8GB以下は人権侵害ということで良いのではないだろうか。
ほんそれ。禿同！
全国津々浦々のSE・プログラマ諸氏は団結して、国会議員やら経産省？の官僚やらに圧力をかけて、
ある年度のPCメモリ容量を「最低8GB」とか定めて、次年度からは毎年√2倍（約2年で2倍のムーアの法則準拠）に増加させないと、そのプログラマを雇用しているまたは派遣を受けている企業には課徴金を払わせる！とかw
自粛要請に従わない店とかに50万とか払わせるんだから、最低メモリを守らない企業にも一人アタマ50万くらい払ってもらおう！
UFOって言っても、
私の大好きなと言っても毎日食べてるわけじゃなくて
背徳な罪悪感を感じながらそれをおつまみにしてお酒を飲むという地味な楽しみのために買いストックしてある
美味くて太くて大きいやつ！
一切置いて無くて
レギュラー味じゃない違う味のは置いてたんだけど、
でこのお店だけに無いのねって
違う日に今度はコンビニエンスストアに行ったの。
そしたらそこもレギュラー味のが置いてなくて、
違う味のは置いてあったんだけど、
そのコンビニエンスストアにも焼きそばUFOが置いてなかったのよ！
これって一大事じゃない？
特定の銘柄の商品だけが街からごっそりなくなるってことはまたあれよ、
「あるある大事典」か「ためしてガッテン」で取り上げられたに違いないわ！
それで取り上げられたモノなら
映画のニューヨーク東8番街の奇跡でも描かれていない謎だわ。
UFOだけに！ってそう思う。
そうたまにはジャンキーなフードを
スパ王ってのもあったじゃない。
ここ最近お店で見てないし、
思わず食べたら拳を空に突き立てて
我が生涯に一片の悔いなし！と言いたくなるでお馴染みの
これまたあれか！
やってくれたな！
それらが無くなっていくという現象。
牛さんがUFOに連れて行かれるキャトルミューティレーションの比じゃないわよね。
でもさ、
たまたまやってた大型ハドロン衝突型加速器チャンネルの番組を見ていたら、
その加速器の中で衝突して生まれたビッグバンによる宇宙の中に私たちは生きているのかしら？って
思わないにしても思う時ってあるんだけど
そういう時に限って誰かに耳打ちされそうな
もうツッコミどころのないような感じで使い古された
MMRのノリでまた
話は聞かせてもらった！なんだってー！って言っちゃいそうよ。
でもまあ、
大盛りはさすがに多すぎて食べきれないので、
レギュラーサイズにしても夜食べるには罪悪感の罪と罰を上下巻を重しにして3分待っていそうな感じもするけど、
夜中食べようとしても罪悪感の塊の罪と罰の上巻だけでフタをするには十分なぐらい、
カップラーメンでも食べるんですか？分かります！って言ってくれるじゃない。
一体Siriに何通りの3分タイマーのツッコミを用意してるのかしら？って思うの。
でね、
最新の強まったIT技術はこんなくだらないことにリソースというかエネルギーを費やしているかと思うと、
街からUFOがなくなったぐらいで泣いている私をそっと慰めてくれるわ。
ごめんもう涙拭くね。
そう言って涙がこぼれないように夜空を見上げると
あ！流れ星！
よく聞き取れません！あれはUFOです。
ってやかましーわい！って
UFOの湯切りの速さのグラフを重ねたらピッタリと合致するぐらい
あれはやっぱり
アキレスと矢と亀の話しにもよくにた
限りなく湯切り時間はゼロに近くなるのに麺はそれを追い越すことが出来ないというか
かつて人類が繰り返していた
まさに麺が湯切りを追い越した瞬間でもあるわけで、
やはりそこにはホーキング博士も相川七瀬さんばりに夢見る少女でいたかったはずだし、
テレビが嫌だから対抗してユーチューブで頑張る！って言っておきながら
テレビにめちゃ出ちゃってるユーチューバーを切なくブラウン管で眺める切なさも感じてしまうわ。
また街でUFO見かけたら教えるわね！
うふふ。
朝の活力の元気の源よね！
美味しいわ～。
すいすいすいようび～
今日も頑張りましょう！
統計的機械学習の流行り始めのとき、これからは個人のデータを学習させて、パーソナライズされるんだと言われていた。
ワークステーションからパソコン、そしてスマホへと変わっていき、パーソナライズの流れが続くという話だった。
でも実際違っていたんじゃないか。
機械学習の学習に数億かかり、ムーアの法則を超えて計算量が増えている。
お金がかかり過ぎて、お金を出す多数の人を相手にしないといけなくなっている。
プログラマーの人達は、自作キーボードを作ったり、エディタをカスタマイズしたりするのに、他人にはUIを押し付けることを続けている。
半導体について少し調べてみた。
ムーアの法則は堅調に保ってるらしいが、2025年から先が自分の調査では見えなかった。
２年で２倍のペースなので、現状のスパコンやらとかが能力伸ばせるのがあと４倍程度ってことなのだろうか。
GPT-3などの明るい新技術が出る一方で、マシン能力の打ち止めのため、夢のシンギュラリティが来ないんじゃないかと心配になってる。
シンギュラリティによって人類が救われることだけが生きてる希望なので、このあたりがはっきりしないのはすごくストレス。
物理の数値シミュレーションソフトとか動かしてみると、全然終わらない。数秒のシミュレーションでも3Dにした瞬間１ヶ月とかかかったりする。
いろいろな物理シミュレーションの限界がスパコンの処理能力で決まっちゃうんだけど。
シミュレーションアルゴリズム自体の効率も結構上がってはいるけど、機械学習みたいなチートを使ったとしてもまだ足りないわけで。
2025年まで５年あるので、ブレイクスルーが出てくる可能性はあるんだろうけど。どうなんだろう。
個人的には現状の１０００倍（2^10）くらいは欲しいので、あと１０回くらいはムーアの法則やって欲しい。
シンギュラリティとかで、収穫加速とか言ってたのに、その辺どうなんだろう。
それとも、量子コンピューターがどんどんよくなったり、光量子コンピューターが実用レベルになるのか？
2025年までの5年が勝負に感じるんだけど、どうなんだろうか。
AWSのサーバーがとんでもない量のエネルギーを食ったり、世界のITによる消費電力がヤバイらしく、パワー半導体などで消費電力が下がるか、エネルギー技術で蓄電や新発電がうまくいけばメモリーを積みまくれるとかになって解決とかしないのだろうか。
それとも、演算能力より先にIOTで自動運転やら生活が便利になってIT以外の労働力がITに流れるようになってITの発展がより強くなっていくのか。
（調べた内容）
NANDメモリー ⇨ 多層化により発展中、現在２００層つめるのが確定のうちの１００層くらい積んでる。2年で２倍の容量増加で現状1T程度だから2022年に２Tまではいくが、そこから先が不明
DRAM ⇨ 微細化により発展中。現在２０nmを切ったくらいで、2021年に14nmくらい行きそう。3dにすることでさらに伸び代があるが、2024年くらいから先の見通しは見つかってない？ RRAM,MRAMなど次世代も商品化されてるものなどあるが2025年までは少なくともDRAMが支配的。
GPU ⇨1.5年で4倍の機械学習効率の上昇など、目覚ましい発展中
