はてなキーワード: ムーアの法則とは
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です
・~1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。
・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。
・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。
・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティングに活用しようという動きが続く。
・2006年 ディープラーニングの発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAIを模索する動きが始まる(第3次AIブームのおこり)
・2006年 CPU業界2位のAMDがGPU業界2位のATIを買収、チップセットにGPUを統合することで事実上自社製品をNVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPUを統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品の販売を終了し、データセンター向けGPGPUのTeslaシリーズ、ゲーム用外付けGPUのGeForceシリーズ、ARM系CPUと自社GPUを統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代のAIサーバ製品に直接つながる。GeForceシリーズはゲーマー向け需要や暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。
・2012年 ディープラーニングが画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。
・2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易=デカい計算機を使えばAIの性能が上がる時代に突入。
・2018年 IBMがNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPC(ハイパフォーマンスコンピューティング)におけるGPUの地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。
・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル。
・2019年 NVIDIA CEOジェスン・ファン(革ジャンおぢ)が「ムーアの法則は終わった」と見解を表明。半導体のシングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負の時代に入る。
・2022年 NVIDIAがH100発表。Transformerモデルの学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセスで製造、SK Hynix製HBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoCで採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスとモバイル製品向けプロセスはクロックや電流量が異なり、HPC向けはN4が最新と言ってよい。
・2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。
・2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。
・2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard(Gemini)など商用化への動きが相次ぐ。各企業がNVIDIA H100の大量調達に動く。
・2024年 NVIDIAが時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成(予定)。
こうして見るとNVIDIAにとっての転換点は「ディープラーニングの発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセットの販売からコンピューティングユニットの販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAはゲーマー向け製品やモバイル向け製品を販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングやスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。
年 | 機種 | 演算性能 | ||
1980 | HITAC M-200H | 48 MFLOPS | ||
1985 | HITAC M-280D , S-810/10 | 630 MFLOPS | 13.125倍 | |
1994 | HITAC S-3800/180 | 8 GFLOPS | 12.698倍 | |
1999 | HITACHI SR8000 | 288 GFLOPS | 36倍 | |
2004 | NEC SX-6 タイプE | 2894 GFLOPS | 10.049倍 | |
2009 | HITACHI SR16000 モデルL2 | 72.7 TFLOPS | 25.121倍 | |
2015 | FUJITSU PRIMEHPC FX100 ,FUJITSU PRIMERGY CX2550M1 | 1268 TFLOPS | 17.442倍 | 2015年にムーアの法則が終わったと言われている。 |
2020 | FUJITSU PRIMERGY CX2550M5 | 2.81 PFLOPS | 2.216倍 | ←!!!!5年でたった2.2倍!そりゃ自作PCも盛り上がらないよな・・・ |
ピーター・ムーアというアディダスやナイキのロゴを作った人から命名された法則。
ジャガイモとビールが合うように、ある食べ物には必ず合う飲み物があるという法則。
オープンワールドのゲームでは、アンカリングされた地点にファストトラベルできる機能があると便利だよいう意味。
「オデ…オデ…」と一人称をオデにするだけでゴーレムのように見えてしまう効果。
監獄にスタンフォードの本を配ったらみんな改心したという感動の実験。
蝶はよく見ると気持ち悪いのに、みんなに愛されている。
父母も火を見ると恐れるようなぐらいにネッツでカードを使うことを恐れている人々で、
私もその恐ろしさに戦々恐々なんだけど、
でも少しはインターネッツに慣れ親しんでいるつもりなので
代わりに買ってあげることにしたの。
私も初めて使うインターネッツのウエブのサイトで買おうとしたのね。
そしたら、
私全然限度額とか行ってないし、
困ってたんだけど事情をカード会社に電話して即解除してもらえたから良かったものの、
私もこんな事態初めての状況のことだったので、
そんで、
無事母の頼みたい、
世の中は便利なものねって思ったのよ。
それなら
移動中のレジャー先で冷たい飲み物とか冷たく冷やした飴玉とか飲んだり食べたりできるから
ドライブ快適ね!っておもったら
そうじゃなくて
どうやら釣った魚を保管する用の冷蔵庫だそうよ。
そんな冷蔵庫がいるぐらい釣れてるのかしら?って思っちゃうけど、
まんざらお魚って素人が売っても売るところがあること自体がビックリだし、
まさに松方弘樹の世界を釣る!的なビッグドリームかつビッグフィッシングだな!って思ったの。
そんで、
翌朝メールを開けてみたら
カード会社からカードを止めた緊急連絡の最終告知だからな!って
もちろん
私は心当たりがあるから開こうとしたらブロックされてよく見たら紛らわしいフィッシングメールで
手当たり次第にメールを送っておけば、
なにかしら
心当たりのある人に引っかかるだろうと言う
でも今はインターネッツの技術的革新がムーアの法則で1日1歩日進月歩いや秒進分歩だから
私がそんなおっちょこちょいなことを
つまり、
私自体がフィッシングサイトを開いて自らビッグフィッシングにならなかっただけの、
これって
効いたよね!早めのパブロン!って
なにやってんのよ!って惣流アスカラングレーが言うあんたバカって言われそうなほど
大手物流倉庫を運営している会社みたいな空目をしそうだったわよ。
だから
お届けは未定です!って
冷蔵庫でそんな人気商品あんの?って思わず二度見してしまいそうで
誰も昔そんなこと思っていなかったけど、
お刺身をそこに入れておいて、
出すときのスペースコロニーの船外活動を終えて戻ってきて減圧しているときのプシュって言う開けたときの音に
いてもたってもいられたかったわけだったのよ。
とりあえず、
うふふ。
本気味おにぎり!
道端に自生しているミントはやっぱりどうしても使う気にはなれないしね。
すいすいすいようび~
今日も頑張りましょう!
年 | 名前 | 性能(PFLOPS) | 性能比 | 消費電力(MW) | 性能/MW(PFLOPS) | 性能比 |
2002 | 初代地球シミュレータ | 0.0359 | 6 | 0.0059833 | ||
2011 | 京 | 10 | 278.5倍 | 12.7 | 0.7874 | 131.599倍 |
2020 | 富岳 | 415 | 41.5倍 | 28.3 | 14.6643 | 18.623倍 |
年 | 名前 | 性能(TFLOPS) | 性能比 |
2000 | PS2 | 0.0062 | |
2006 | PS3 | 0.23 | 37.1倍 |
2013 | PS4 | 1.843 | 8倍 |
2020 | PS5 | 10 | 5.42倍 |
ゲーム機だとこうなる
だんだん性能が伸びなくなってるよな
ブコメにワットパフォーマンスの話が出たのでスーパーコンピュータのWとか調べてワッパで比べてみた
だけどPSにかんしては、調べるとみんな言うこと違ってて
申し訳ないがあまりにも突っ込みどころが多すぎて突っ込みきれない。そのレスも分かってない感を上塗りしてるだけだ。
まず学習に必要な計算量と推論に必要な計算量は違うということを理解するべきだし、ムーアの法則が律速になってからここ10年で計算量がどれだけ増加したか・それは何故なのかを知るべきだし、意味も分からず教師データを学習モデルに突っ込んで精度が良いとか悪いとか言う前に統計学の基本を勉強するべき。つうか「機械学習までは勉強した」ってなんだよ。何を勉強したら「機械学習を勉強した」ことになるのか全く分からないので情報量がない。まともに勉強してたらこんな言い方は絶対にしない。
統計学の勉強には東大出版会の「自然科学の統計学」や竹村先生の「現代数理統計学」あたりを読むといいだろう。線形代数をある程度分かってる前提だが。
(年収270の人です)
機械学習や深層学習とかの、AI は無理だって。根拠は半導体のパフォーマンスが線形にしか伸びないのに、医療側の要求はムーアの法則を超えていく勢いだから、シリコンベースの人工知能開発だと微細化の限界が先に来てしまう。考えてみてくれ、CPU,GPU,TPU はチューリング機械なんだぞ。俺が AI のレン中に欺瞞を感じるのはだな、あまりに計算量を無視してプログラミングをして人工知能をやる馬鹿者たちしかいない現状よ。たとえば、富岳で人工知能開発ができたとして、ペイできる可能性あるか?人間のほうが安い可能性が高いと思うよ。それに教師あり学習でAIすると、元になった画像の著作権が問題になって、EU が揉めてるじゃん。やめようよ、理想の人工知能の開発なんて。
私の20数年のプログラム人生の殆どにおいて開発PCのメモリが4GBだった。これほど恐ろしい話は無い。
(中略)
中小企業は特例もあるが、PCの減価償却のシステムが日本のITを劣化させているのは間違いない。
そろそろ8GB以下は人権侵害ということで良いのではないだろうか。
ほんそれ。禿同!
全国津々浦々のSE・プログラマ諸氏は団結して、国会議員やら経産省?の官僚やらに圧力をかけて、
ある年度のPCメモリ容量を「最低8GB」とか定めて、次年度からは毎年√2倍(約2年で2倍のムーアの法則準拠)に増加させないと、そのプログラマを雇用しているまたは派遣を受けている企業には課徴金を払わせる!とかw
自粛要請に従わない店とかに50万とか払わせるんだから、最低メモリを守らない企業にも一人アタマ50万くらい払ってもらおう!
UFOって言っても、
私の大好きなと言っても毎日食べてるわけじゃなくて
背徳な罪悪感を感じながらそれをおつまみにしてお酒を飲むという地味な楽しみのために買いストックしてある
美味くて太くて大きいやつ!
一切置いて無くて
レギュラー味じゃない違う味のは置いてたんだけど、
でこのお店だけに無いのねって
違う日に今度はコンビニエンスストアに行ったの。
そしたらそこもレギュラー味のが置いてなくて、
違う味のは置いてあったんだけど、
そのコンビニエンスストアにも焼きそばUFOが置いてなかったのよ!
これって一大事じゃない?
特定の銘柄の商品だけが街からごっそりなくなるってことはまたあれよ、
「あるある大事典」か「ためしてガッテン」で取り上げられたに違いないわ!
それで取り上げられたモノなら
映画のニューヨーク東8番街の奇跡でも描かれていない謎だわ。
UFOだけに!ってそう思う。
そうたまにはジャンキーなフードを
スパ王ってのもあったじゃない。
ここ最近お店で見てないし、
思わず食べたら拳を空に突き立てて
我が生涯に一片の悔いなし!と言いたくなるでお馴染みの
これまたあれか!
やってくれたな!
それらが無くなっていくという現象。
牛さんがUFOに連れて行かれるキャトルミューティレーションの比じゃないわよね。
でもさ、
たまたまやってた大型ハドロン衝突型加速器チャンネルの番組を見ていたら、
その加速器の中で衝突して生まれたビッグバンによる宇宙の中に私たちは生きているのかしら?って
思わないにしても思う時ってあるんだけど
そういう時に限って誰かに耳打ちされそうな
もうツッコミどころのないような感じで使い古された
MMRのノリでまた
話は聞かせてもらった!なんだってー!って言っちゃいそうよ。
でもまあ、
大盛りはさすがに多すぎて食べきれないので、
レギュラーサイズにしても夜食べるには罪悪感の罪と罰を上下巻を重しにして3分待っていそうな感じもするけど、
夜中食べようとしても罪悪感の塊の罪と罰の上巻だけでフタをするには十分なぐらい、
カップラーメンでも食べるんですか?分かります!って言ってくれるじゃない。
一体Siriに何通りの3分タイマーのツッコミを用意してるのかしら?って思うの。
でね、
最新の強まったIT技術はこんなくだらないことにリソースというかエネルギーを費やしているかと思うと、
街からUFOがなくなったぐらいで泣いている私をそっと慰めてくれるわ。
ごめんもう涙拭くね。
そう言って涙がこぼれないように夜空を見上げると
あ!流れ星!
よく聞き取れません!あれはUFOです。
ってやかましーわい!って
UFOの湯切りの速さのグラフを重ねたらピッタリと合致するぐらい
あれはやっぱり
アキレスと矢と亀の話しにもよくにた
限りなく湯切り時間はゼロに近くなるのに麺はそれを追い越すことが出来ないというか
かつて人類が繰り返していた
まさに麺が湯切りを追い越した瞬間でもあるわけで、
やはりそこにはホーキング博士も相川七瀬さんばりに夢見る少女でいたかったはずだし、
テレビが嫌だから対抗してユーチューブで頑張る!って言っておきながら
テレビにめちゃ出ちゃってるユーチューバーを切なくブラウン管で眺める切なさも感じてしまうわ。
また街でUFO見かけたら教えるわね!
うふふ。
朝の活力の元気の源よね!
美味しいわ~。
すいすいすいようび~
今日も頑張りましょう!
統計的機械学習の流行り始めのとき、これからは個人のデータを学習させて、パーソナライズされるんだと言われていた。
ワークステーションからパソコン、そしてスマホへと変わっていき、パーソナライズの流れが続くという話だった。
でも実際違っていたんじゃないか。
機械学習の学習に数億かかり、ムーアの法則を超えて計算量が増えている。
お金がかかり過ぎて、お金を出す多数の人を相手にしないといけなくなっている。
プログラマーの人達は、自作キーボードを作ったり、エディタをカスタマイズしたりするのに、他人にはUIを押し付けることを続けている。
半導体について少し調べてみた。
ムーアの法則は堅調に保ってるらしいが、2025年から先が自分の調査では見えなかった。
2年で2倍のペースなので、現状のスパコンやらとかが能力伸ばせるのがあと4倍程度ってことなのだろうか。
GPT-3などの明るい新技術が出る一方で、マシン能力の打ち止めのため、夢のシンギュラリティが来ないんじゃないかと心配になってる。
シンギュラリティによって人類が救われることだけが生きてる希望なので、このあたりがはっきりしないのはすごくストレス。
物理の数値シミュレーションソフトとか動かしてみると、全然終わらない。数秒のシミュレーションでも3Dにした瞬間1ヶ月とかかかったりする。
いろいろな物理シミュレーションの限界がスパコンの処理能力で決まっちゃうんだけど。
シミュレーションアルゴリズム自体の効率も結構上がってはいるけど、機械学習みたいなチートを使ったとしてもまだ足りないわけで。
2025年まで5年あるので、ブレイクスルーが出てくる可能性はあるんだろうけど。どうなんだろう。
個人的には現状の1000倍(2^10)くらいは欲しいので、あと10回くらいはムーアの法則やって欲しい。
シンギュラリティとかで、収穫加速とか言ってたのに、その辺どうなんだろう。
それとも、量子コンピューターがどんどんよくなったり、光量子コンピューターが実用レベルになるのか?
2025年までの5年が勝負に感じるんだけど、どうなんだろうか。
AWSのサーバーがとんでもない量のエネルギーを食ったり、世界のITによる消費電力がヤバイらしく、パワー半導体などで消費電力が下がるか、エネルギー技術で蓄電や新発電がうまくいけばメモリーを積みまくれるとかになって解決とかしないのだろうか。
それとも、演算能力より先にIOTで自動運転やら生活が便利になってIT以外の労働力がITに流れるようになってITの発展がより強くなっていくのか。
(調べた内容)
NANDメモリー ⇨ 多層化により発展中、現在200層つめるのが確定のうちの100層くらい積んでる。2年で2倍の容量増加で現状1T程度だから2022年に2Tまではいくが、そこから先が不明
DRAM ⇨ 微細化により発展中。現在20nmを切ったくらいで、2021年に14nmくらい行きそう。3dにすることでさらに伸び代があるが、2024年くらいから先の見通しは見つかってない? RRAM,MRAMなど次世代も商品化されてるものなどあるが2025年までは少なくともDRAMが支配的。
時間 | 記事数 | 文字数 | 文字数平均 | 文字数中央値 |
---|---|---|---|---|
00 | 54 | 9018 | 167.0 | 67 |
01 | 56 | 9082 | 162.2 | 42.5 |
02 | 37 | 4155 | 112.3 | 74 |
03 | 28 | 4702 | 167.9 | 34.5 |
04 | 18 | 4131 | 229.5 | 113 |
05 | 28 | 2717 | 97.0 | 51 |
06 | 28 | 1977 | 70.6 | 44.5 |
07 | 33 | 6896 | 209.0 | 60 |
08 | 64 | 9951 | 155.5 | 57 |
09 | 79 | 10775 | 136.4 | 68 |
10 | 53 | 6267 | 118.2 | 66 |
11 | 74 | 16342 | 220.8 | 53.5 |
12 | 111 | 12468 | 112.3 | 38 |
13 | 73 | 12938 | 177.2 | 65 |
14 | 86 | 7169 | 83.4 | 55 |
15 | 80 | 10561 | 132.0 | 55 |
16 | 116 | 13899 | 119.8 | 48.5 |
17 | 127 | 11653 | 91.8 | 36 |
18 | 108 | 10481 | 97.0 | 46.5 |
19 | 98 | 11065 | 112.9 | 48 |
20 | 84 | 22242 | 264.8 | 54 |
21 | 121 | 26769 | 221.2 | 53 |
22 | 92 | 17544 | 190.7 | 63 |
23 | 103 | 16199 | 157.3 | 51 |
1日 | 1751 | 259001 | 147.9 | 51 |
水平思考(3), ホーキング(3), 文語(3), 今し方(3), 10兆円(3), 乱獲(5), ぷりん(3), ムーアの法則(3), シュッシュッ(4), ひろみちゅ(3), ロングテール(3), 👁(14), 学問(19), 資源(12), 同性婚(6), 国籍(7), 内定(8), 悪用(7), CPU(6), 告知(6), 無償(8), あくまでも(7), 自己紹介(9), 白人(18), 復讐(6), アジア人(6), 誹謗中傷(10), 高卒(9), 民度(7), 障害者(16), 肌(12), 仕方がない(10), けれども(11), 黒人(15), いわ(27), 重視(9), 平日(10), 左翼(20)
■勉強しない人って何なの? /20200621005514(27), ■近頃の高卒は... /20200621033205(17), ■左翼が暮らしを良くするとしても、餓死を選ぶ /20200611104406(16), ■2020年版 はてブ非表示推奨リスト /20200621164029(11), ■ネットでも居場所をなくしつつあるネットユーザー /20200621112001(9), ■やり込みと廃課金しかないのか /20200620154615(9), ■就活はテクニック /20200620135613(8), ■人種差別をしないための差別 /20200621112320(7), ■美白は白人を目指しているんじゃないと言い張るはてな民が謎 /20200621131908(7), ■anond:20200611105623 /20200621160917(6), ■背後を取られたくない武士 /20200621091953(6), ■カナダで同性婚 /20200621082211(5), ■https://anond.hatelabo.jp/20200619104939 /20200619224340(5), ■ /20200621012308(5), ■Winnyの金子勇ってこんなに批判されてたっけ? /20200621175430(5), ■気を使ってセックスに応じた女性がme tooしたら男が悪いことになる。 /20200621162117(4), ■アメリカの技術力が高いのはなぜなんだ /20200619104939(4), ■anond:20200621005514 /20200621172256(4), ■anond:20200621175430 /20200621180030(4), ■政府はここまでは考えていないよね /20200621184229(4), ■教科書の檸檬はどこが名作なのか40歳になってもわからない /20200621203039(4), ■ずーっとブツブツ言ってるおっさん /20200620180013(4), ■おまえらがひとつだけ何でも法案通せるって言ったら何通す? /20200621213936(4), ■なろうにファンタジーものでおすすめありますか? /20200620195045(4), ■ポジティブ強要社会 /20200621014646(4), ■不妊治療して流産した /20200620102324(4), ■幸福度の定量化 /20200621105518(4), ■社内システムがIEしかサポートしない現象 /20200621112244(4), ■日本人女性と結婚するメリットがマジで何もないんだが... /20200621115506(4), ■偏差値の高いバカの作り方 /20200621123553(4), ■Twitter検索で結果が隠されるのってどうすればいい? /20200621134232(4)
まぁ、所詮おまけであったHT技術に対してソフトウェアがもうすこし対応することで親和性を上げることは無理ではないんだろう。だが、実際32コアなんていう必要もないようなコア数を積んでいる現在、これ以上物理コア数を論理コア数を増やしてまで、CPUの処理能力を引き上げていくとに対して、それほどのメリットを感じない。
技術的には面白いと感じてはいるが、ムーアの法則を守りたいというそれだけのために、コストを掛けるというのは 結果論 バブル。産業構造的にも、行愛的にも同意はしかねる。ある文にはいいだろうが、現状で問題があると思いにくい。技術としては面白いから個人的に協力するのは面白い。