  |
はてなキーワード: dramとは
画像を離散コサイン変換で、とか、仮想メモリ使いつつもキャッシュヒット率をいかに上げるかとか、そういうのから機械学習って遠い。
メモリの局所性なんぞないからキャッシュなんてメモリアクセスのレイテンシ隠蔽くらいにしかなってないし、
メモリは帯域はあればあるだけ、容量もあればあるだけ、
Flash AttentionでようやくDRAMへのアクセス減らそうとかあるけど、コンピュータの構成無視、
いかに長い文脈を認識させられるかになってデータの局所性なんてなくなって、どれだけ複雑な計算とデータ量を食わせるかになっている。
今までのHPCも同じでコンピュータサイエンスだと言われれば、そうなんだが
GPU使ってながらも、グラフィックスパイプラインみたいなのを、AIのレイヤー層ごとに作れているわけでもないし。
今までだと命令やデータはキャッシュに乗るのが前提だったが、AIだと、AIモデルがGB単位なのでキャッシュにそもそも乗らない。
いかにキャッシュヒットさせるか、DRAMとのレイテンシを隠蔽するかだったが、キャッシュに乗らないので、メモリ帯域勝負になる。
GPUが汎用性があるので使われているが、ゲームだとテクスチャをVRAMに乗せておいて、演算した結果はモニター側へ出力すればよく、
なんだかんだ帯域は足りていたが、AIだとチップチップ間の帯域が足りない。
ニューラルネットワークの接続自体をFPGA的に切り替えるのも手だと思うがモデルが大きすぎる。
数年前は、TSP(Tensor Streaming Processor)と呼んでいたが、LPU(language processing unit)と名前を変えた？
数年前のチップをそのまま使い続けているか分からないが、同じならアーキテクチャは4年前のユーチューブを見るか、アスキーあたりの記事にある。
https://youtu.be/UNG70W8mKbA?si=9VFeopAiPAdn08i_
要は、コインパイラで変換が必要。なので提供されているLLMモデルが限られている。
PCIeボードが400万くらいらしいが、SRAMの容量が小さすぎて1ボードでは動かない。
DRAMのレイテンシがSRAMではないので早いのだ、という意見も見られてたが、
1チップのSRAM容量が小さすぎるので、チップチップ間、ボードボード間の通信レイテンシは必ずあるはず。
（数ヶ月前から性能上がっているのは、このあたりのチューニングのはず）
DRAMのレイテンシというが、これも今どきはレイテンシ気にしないように隠蔽するはず。
チームが小さすぎてハード作れなかった可能性もあるが・・・。DMACでチューニングしているか？
ボードにでかいDRAMが載せられるのであれば、そちらの方がボードボード間の通信時間より減るのでは？
GF使ったのは、おそらくAMD設計者が居たからでは。デザインルールどこ破れば性能でるかある程度わかってたとか。1GHzくらいなのは知見なしでやってるとそれくらいで上限くるのはそうだと思う。
チップの世代を更新するかはわからないが、兎にも角にも電力下げて、チップ大量に載せて、チップチップ間の通信時間を下げられるか。
マザボとCPUはソフマップとかでセット売り狙う方が、個別に最安値店舗で買うより安い。
NVMe SSDは蝉族でいいからAliExpressかAmazon。国内保証が受けられる分、数千円高くてもAmazonの方がベターか。
蝉族とは自作界隈で春頃から注目されてるHIKSEMI Futureとその類似製品郡のこと。中華ブランドの自作er向けキワモノ枠ではあるが侮れん。
最新のYMTC製232層3DTLCに、Maxio製MAP1602Aコントローラを積み、DRAMキャッシュレス、と定番のSamsung 980 EVO辺りを凌ぐつよつよスペックでありながら、2TBが1万円ちょい、セールなら1万切る、という破格の品。
AliExpressだと今日の夕方4時まではFuture 2TBが62.5USDで買える(プロモコードDeals8cとVISA決済割引込み)。たぶん過去最安クラスだけどJPYにして9200円ちょい。円安が憎い。Revolutもクレカチャージ1.7%に両替1%の手数料取るようになってドル決済も大してお得じゃなくなったし悲しみ。
これだけ先走って買うとして、今ワタクシが使ってるマザーはH97チップセットだから…M.2スロットはあるけどPCIEGen2x2で性能が発揮できないどころじゃない。3x4でも足りないスペックなのに。
3年くらい前に日本の半導体産業の近況をまとめたのですが、ここ数年で政治家の先生たちが何かに目覚めたらしく状況が大きく変わりつつあるので各社の状況をアップデート。
前回の記事 https://anond.hatelabo.jp/20200813115920
熊本工場：28nm, 22nm (工場稼働時) / 16nm, 12nm (将来計画)
日本政府の補助金とソニー・デンソーの出資という離れ業により、業界人が誰も信じていなかったTSMCの工場進出が実現した。現在は建屋の建設が進んでおり、順調にいけば2024年内には量産開始となる。生産が予定されているプロセスはいずれも世界最先端に比べると古いものだが日本では最先端であり、HKMG(ハイケーメタルゲート、トランジスタの性能を上げる技術)やFinFET(フィンフェット、性能の良い3次元トランジスタ)といった技術が新たに導入される。工場で生産される半導体の主なクライアントは出資者のソニー。衰退の激しい日本の電機業界だが、ソニーはまだ世界と戦う余力を残しており年間半導体購入金額世界10位で日本トップである。ただし、PS3のCell Processorを長崎で作っていたように先端プロセッサをここで作れるわけではない。PS5のCPUはTSMCの6nmプロセス製造であり、この工場では製造できないのだ。識者の予測ではイメージセンサー向けロジック半導体を生産すると想定されている。
■ Rapidus (ラピダス)
日本政府の国策で、IBMから技術を導入し自前で最先端の半導体製造を狙う野心的なプロジェクト。量産開始は2027年を予定。
彼は日立→トレセンティテクノロジーズ(ルネサスの那珂工場の前身)→SANDISK→Western Digitalという国内外の半導体メーカーを渡り歩いた華麗な経歴の持ち主である。
以前に社長を務めていたトレセンティテクノロジーズは2000年に日立と台湾の大手ファウンドリUMCとの合弁の半導体製造会社で、世界に先駆け現在の標準となる300mmウェハに対応した先進的な工場であった。ファウンドリ全盛の今から後知恵で見れば、限りなく正解に近い経営戦略と先進性を併せ持っていたがビジネスとしては成功しなかった。工場はルネサスに吸収され、小池氏はSANDISKへと移籍することに。そんなわけで今回の国策ファウンドリRapidusの社長就任は小池氏の二十数年越しのリベンジマッチでもある。
なお、氏のポエミーなプレゼンは業界でも有名。記者会見で日本半導体衰退の原因を「驕り」と一刀両断した一枚のパワポが話題をさらったが、本人が一番驕っているのではと不安がる声もある。
■ ルネサスエレクトロニクス
日立・三菱電機・NECのロジック半導体部門が統合した日本を代表する半導体メーカー。
5万人いた従業員を1/3にする大リストラ、先端プロセス製造からの撤退、海外メーカーの買収ラッシュを経て復活。そして大躍進。
昨年の売り上げは1兆5千億円を超え、はじめて統合直後の売り上げ(ピークは2011年3月期の1兆1千億)を抜いた。もう1+1+1=1とは言わせない。
旺盛な車載半導体需要にこたえるべく、政府の補助金を得てリストラで閉鎖した甲府工場の再稼働を決定。
コロナ禍では働き方が柔軟になり、リモートワークは全国どこでもできるようになった。ルネサスは開発拠点も大リストラで統廃合しており、三菱系の伊丹やNEC系の玉川をはじめ全国にあった設計拠点を日立系の小平に集約している。地元の拠点が閉鎖されて単身赴任をしている人も多かったのだが、最近ではリモートワークを活用して単身赴任先のマンションを引き払った人も出てきている模様。
増大する車載半導体需要にこたえるべく、デンソーが出資してパワー半導体のIGBTの生産を始めた。筆者はパワー半導体は専門外で、家電芸人が語る家電の説明程度にしか話せないため軽く紹介するにとどめたい。
半導体部門を手放したがっていたPanasonicがイスラエル企業のTower Semiconductorと共同で運営していた工場。
Panasonicが台湾Nuvoton technologyに持ち分株式を売却したため、現在ではイスラエル・台湾共同運営という珍しい業態になっている。
さらに、半導体最大手のIntelがTower Semiconductorの買収を進めているため、将来的にはIntelの拠点となる可能性があり、日本でIntelのCPUが作られる世界線もあるかもしれない。
が、本案件は米中対立のあおりで中国での買収審査が長引いているため、先行きには不透明感が漂う。
■ キオクシア
日本を代表するメモリ半導体メーカー。前回からの3年で、積層数は96層 → 112層 → 162層と2世代進化した。競合他社は232層品の量産も始めている(キオクシアは開発完了 / 本格量産前)が、最近の3D NANDは闇雲に積層数を増やせば低コストで作れるというわけでもない模様。
なお世間では半導体不足のニュースの印象が強く、半導体はもうかっているとの認識があると思うがコロナ禍でのIT投資ブームが終了したメモリ業界はリーマンショック以来の大不況である。
キオクシアも例外ではなく、最新の4半期決算で1000億円単位の赤字を計上してしまった。Western Digitalとの統合のうわさがあるが、もちろん筆者は何も知らないし、仮に知っていても絶対にここには書けない。
■ Micron Memory Japan (旧エルピーダメモリ)
ルネサスと同じく、NEC、日立、三菱電機のDRAM事業統合で生まれたエルピーダメモリを倒産後に米Micronが買収。
前にも書いたが、DRAM業界はプロセスのサバ読みが横行しており、20nmを切ったあたりから具体的な数字ではなく1X, 1Y, 1Z, 1αときて、ついに1βnm世代の量産にたどり着いた。広島サミットに合わせて、社長が来日。岸田総理と会談後大々的な設備投資を発表。1γnm世代を目指して日本初の量産用EUV露光装置が導入されることが決まった。
このEUVというのは波長が13.5nmの極超紫外線(Extreme Ultra Violet)を使った露光装置で1台200～300億かかる人類史上最も高価で精密な工作機械でありオランダのASML社が独占的に製造している。もっとも、メモリ業界の大不況を食らっているのはMicronも例外ではなく、岸田総理と華々しく会談している裏で数百人規模のリストラを慣行。こういう外面の良さと裏でやってることのえげつなさの二面性は、いかにも外資だなと思う。
東芝と共同でフラッシュメモリの開発を行っていたSANDISKをHDD大手Western Digitalが買収。キオクシアの四日市工場と北上工場を共同で運営している。
Western Digitalはメモリコントローラーを内製していることで知られSSDの性能の良さに定評があり、スマートフォン向けの売り上げが多いキオクシアとは、同じ工場を運営していても得意としている販売先が微妙に異なり、住み分けがなされている。(そのため、2社統合によるシナジー効果が期待されたびたび観測気球的な記事が出回る。)
なお、もともと日系半導体メーカーが大リストラをしていた時の人材の受け皿として中途をたくさん採用していた経緯もあり、人材の流動性は高い。在籍時の仕事ぶりがよければ、他社へ転職していった元社員の出戻りも歓迎と聞く。前述のRapidus社長の小池氏は、つい先日までここの社長をしていた。余談だが、上記Micronの米国本社の社長も旧SANDISKの創業者でWestern Digitalによる買収後に引き抜かれている。こういう話を聞くと、いかにも外資だなと思う。
イメージセンサーで世界最大のシェアを誇るソニーの半導体部門。2020年、2021年は米中対立のあおりを受けて主要顧客のHuawei向けの出荷減少に苦しんだが、2022年度は大幅に売り上げを伸ばし、1兆4千億円となった。他の半導体の例にもれずイメージセンサーも国際競争が過酷であるため、対抗して人員増強を進めている。Panasonic系エンジニアを引き抜くために関西に設計拠点を開設し、各地の工場の拡張も並行して進めている。調子のいい半導体メーカーはどこも人員増強を進めているが、ここ10年ほどは理工系の学生の半導体業界人気がどん底、かつ人材ニーズも少なかっため、新卒で半導体メーカーに就職した絶対数が致命的に少なく30~40歳くらいの中堅技術者の確保にどこも苦労している模様。なお、スマートフォン向けカメラの次の飯の種として、車載用途に数年前から注力開始。最近徐々に成果が出始めている。
■ ソシオネクスト
富士通とPanasonicのLSI設計部門が統合してできた日本最大のファブレス半導体メーカー。昨今の半導体ブームの波に乗り、株式上場、売り上げ2000億突破と非常に好調。3年前は1000億程度の売り上げだったので、すさまじい成長である。もっとも、母体となった富士通・Panasonicはピーク時の半導体売上が1社で5000億近くあったので、少々物足りなさを感じなくもない。復活は道半ばである。
■ メガチップス
ソシオネクストが誕生するまで日本最大のファブレス半導体メーカーだった。もともと任天堂向けの売り上げが大半だったのだが近年は多角化を進めている。昨年の売り上げは約700億とSwitch人気がピークだった時と比べるとやや劣るが営業利益は過去最高を記録している。
かつては日本を代表するファブレス半導体メーカーと言えばここだった。昨年の売上高は54億と、3年前紹介したときの30億から伸びたものの、ファブレス上位2社からはかなり離されてしまっている。大昔は韓国のサムスン電子に自社製品が採用されたのがウリで創業者の武勇伝にも頻繁に登場していたが、今では売り上げの75%を国内に依存しており海外展開の出遅れが否めない。
■ 東芝
車載用途のパワー半導体需要が伸びており、石川県の工場に300mmウェハ対応ラインを建設。この記事でよく出てくる300mmウェハとはシリコンの基板の直径であり、大きい方が製造効率が良い。125mm → 150mm → 200mm → 300mmと順調に大型化が進み次は450mm化と思われたが、大きすぎて弊害が大きく、ここ20年間はずっと300mmが最大サイズである。
従来はCPUやメモリといった分野の製造にしか使用されていなかったのだが、ここ5年くらいでパワー半導体にも300mm化の波が押し寄せてきている。
■ ローム
何かと癖のある京都系メーカー。車載事業が好調で売り上げが順調に伸びている。次世代パワー半導体材料と呼ばれていたSiCで日本国内の他のメーカーをリード。
余談だが、筆者は学生のころSiCを実験で扱っていた。単位を落としまくっていた不良学生だったので、教授がワクワクしながら話していたSiCの物性の話はすべて忘れている。今では家電芸人並みのトークしかできないのでSiCについて語ることはご容赦いただきたい。研究から本格量産まで20年超の時間がかかっていることに驚きである。基礎研究の大変さを実感する。
■ 三菱電機
パワー半導体大手。半導体に力が入っていないシャープから福山工場の敷地を取得し、300mmウェハ対応のラインを構築。SiCのラインも熊本に作るぞ！パワー半導体には詳しくないからこの辺で勘弁な。
日本の半導体産業が衰退しまくっていたころに、トヨタが危機感を覚えてデンソーとの合弁で設立した車載半導体メーカー。コロナ禍中に行われたオンライン学会に知らない会社の人が出てるなと思って調べたらここだった。
■ TI
米系のアナログ半導体世界最大手。富士通とAMD合弁のNOR FlashメーカーSpansionから買収した会津若松工場と茨城県の美浦に工場を持つ。最近は日本法人の話をあまり聞かない。
米系のアナログ半導体大手。三洋電機の半導体部門を買収したが、旧三洋の新潟工場は日本政策投資銀行出資のファンドに売却した。現在の日本拠点は富士通から買収した会津工場。富士通が半導体事業から手を引き工場を切り売りしたため、会津若松市内には米系大手半導体メーカーの工場が立ち並ぶことになった。
■ Infineon Technologies (インフィニオン)
ドイツの大手電機メーカー、Siemenseが20年ほど前に半導体部門を分社化して誕生した。従来欧州系半導体メーカーは日本での存在感があまりなかったのだが、富士通のマイコン半導体部門を米Spansionが買収、そのSpansionを同じく米Cypressが買収、そのCypressをInfineonが買収した結果、日本市場でも存在感を示すようになった。もともとInfineon自体が車載半導体に力を入れており、有力自動車メーカーがそろう日本市場に注目しているというのもある。
■ Nuvoton Technology (ヌヴォトン)
台湾の半導体メーカー。半導体から撤退したがっていたPanasonicから、Tower Semiconductorと共同運営している工場と、マイコン設計部門を買収する。Panasonic時代は、自社家電向けの独自マイコンをメインに作っていたのだが、Nuvotonに買収された後はArmベースの汎用マイコンに設計品目が変わった。日本法人は車載やモーター制御向けのマイコン開発に特化させていく方針で台湾の開発チームとは住み分けを図る模様。富士通ほどではないが、Panasonicも半導体部門を切り売りしており、所属していたエンジニアはバラバラになってしまった。研究室が一緒でPanasonicの半導体部門に入社した友人がいたが、彼は今どこに流れ着いているのだろう？
日本の半導体が死んで韓国が伸びてた90年台のDRAMが64Mb品だったからその話をしてるだけじゃないの？誰も今の中国メーカーが安く作る技術で伸びてるなんて言ってないし。増田が記事を読めてないだけでは？
現役業界人です。
元日立の技実者が半導体産業没落の理由を語る記事に600ブクマ以上ついてて、大半が好意的な反応(一部懐疑的)なんだけど、この人かなり適当なこと言ってるんで、注意喚起としてここに書いておく。
https://b.hatena.ne.jp/entry/s/president.jp/articles/-/69408
声を大にして言いたいのは、なんでみんな元XXみたいな肩書で、業界事情を話す人を信用できるのかってこと。本当にクリティカルな問題の事情に通じている人は現役の利害関係者なのでマスコミに漏らせないのってちょっと考えたらわかるよね？(元XX官僚の肩書きでウクライナ情勢やコロナ対策を語る胡散臭い人いっぱい思いつくっしょ？)
気になる人は調べてもらえればいいんだけど、この方、純粋な技術の仕事は長岡技科大が最後で辞めてから20年間ずっとコンサル的な仕事しかしていないのね。現場の最前線から離れて相当な時間がたつわけよ。で、過去の実体験を切り売りしながら同じことを知識のアップデートもないまま繰り返し話してる感じ。
自分も2006年ごろに、講演会でこの人が同志社経営学系の研究員の肩書だった時に同じような話を聞いた記憶があって、その時はへーと思ったんだけど、そのときからずっと日本の半導体業界が没落した真の理由はこれだ！的な感じのことを発言する場所を変えながら繰り返していてうんざりしている。
知識のアップデートがされていない例を挙げると、過剰品質として取り上げられている64Mb DRAMって90年代前半にはすでに開発されていた代物っていえばヤバさが伝わるかな？(2023年現在の業界の主力は16Gb)なので、元ゲーム会社の社員が初代プレステの開発経験を元に、プレステ5のゲームの開発手法がヤバイ的な話をしているチグハグさなわけよ。
同じメモリの話で公開情報を元に事例を挙げると、3D NANDの話になるが、中国YMTCが業界トップクラスの232層積層品を開発して日米韓の大手メーカーにスペック的には追いついたんだけど、すでに出回っている構造解析レポート(無料で読めるオープンなものも多数あり)見る限り非常に高コストで、日本企業よりも高コスト設計をしている中国企業っていう業界外からイメージ出来る直感に反したことになってたりするわけで。
日本の電機業界が国際競争力を落とした理由は、過剰品質で値段が高すぎるからだ！とか単純じゃな理由ひとつで説明できる話じゃないんよ。ここ10年くらいで大手電機メーカーがいろんな事業を切り売りしたけど、外資に買収されたある事業が、同じエンジニア、同じ工場、同じ製造フローのまま売り上げを倍増させてる事例はいくらでもあるわけで、それらは単に過剰品質でコスト競争力がなかったからダメだったのかと言われると疑問符がつくのね。(具体的な事例は生々しすぎるので流石にここには書けないが。)
長々と書いてしまったけど、1番危惧してるのはビミョーな評論家に世間の空気が左右されて政治家が変な判断しちゃわないかってことなんよね。アイツら、今でこそ半導体不足のニュースに慌てて、補助金つけまくってるけど10年前には半導体は韓国から買えばいいって普通に言ってたのよ。世間の空気は変わりやすいんで、こういうふうに問題を単純化して騒ぎまくるだけの評論家にはマジうんざりしている。
大学にも研究を管理する力はあんまりない。STAP細胞で死者が出たのは記憶に新しいところ。ねつ造が横行したり掲載料を払うとなんでも掲載する論文誌があったりして難しい。国として特に対中国で知財戦を戦える組織も資金もない。それでもあんまり問題にならないのは、投資家は、米株に投資することができるし、中国企業に投資することもできるので、どこで利益が上がってもあんまり関心がないんだよなぁ。液晶、DRAM、通信、スマホ、太陽光発電、蓄電池・・・みんなアジアに流出した。次はEVがどうなるか。これも中国にもっていかれそう。日本国内は衰退するが、投資家はあまり関心ない。それでもまだAI産業はは日本向きで伸びる余地があるのかも。
個人的にInstinct MI300に注目しているのは、今後のコンピュータ構成はこうなるだろうな、というのを実現していることだ。
Ryzen Threadripperだとコア数が多いもののハード的なボトルネックがそこかしこにあるので使いにくいわけだが、
Instinct MI300は良さそうに見える。
現状のPCIeだと帯域が遅く、CPU側のDRAMから、GPUのVRAMにコピーするのはそれなりに時間がかかる。
ゲームだと局所性のあるデータを繰り返し使うのでキャッシュで逃れられるし、シーンの切り替えなどでデータ転送するといったことが出来る。
だがAI向けになるとVRAM容量以上（80GBとか）のデータに全てアクセスするので、メモリ転送レイテンシを隠蔽するだけのバッファとしての効果しか意味がなく、メモリ帯域が効いてくる。
Instinct MI300にHBM3が使われていて帯域は広い。レイテンシは大きいと思われるので、そこは気になるが。
