■http://anond.hatelabo.jp/20091129223310

計算する問題が分割されたままで良い、という領域においては当然そうなる。分割したもの同士が相互作用しないのなら。

残念ながらシミュレーション系においてはそらGRAPEが扱うなかでもごくごく一部ぐらいだけがそうで（普通は共有メモリ内で参照できるからそんな高いコストを払わなくて良い）、それ以外はメッシュだろうが格子だろうがIBだろうが最低でも隣接する領域との相互作用計算のための共有メモリ外との通信が発生する。

スケールアウトできないのはものすごく雑に言うと、

・扱う問題が原理的に向いてない

・計算機同士のインターコネクトが今でも遅すぎるのにこれ以上遅くしたらまさに演算系の無駄

ってとこがものすごく大きい。

評価・統合などなどまあ使う方式で言い方も使い方もいろいろあるけど、分割しただけで統合したりする処理が要らないんだったら、まさにRoadrunnerのOpteronブレード部分は無用だよ。計算するだけならCellブレードとインターコネクトボードがあればいい。だがOpteronを使わなきゃいけない（というわけでも無いんだけどあれぐらいの処理能力とメモリバンドとローカルメモリはバランス的に欲しい）というところに何かがあると感じてくれ。これをかいてる自分増田は定量的に～とか言われると式をグダグダ書き連ねないと説明できない低脳なので。

長大ジョブを投入して計算中でも、計算を止めないままノードごと別のノードに引き継がせて、そのノードを捨てたり点検したり、ってのは超大規模クラスタではもちろんある。

（脱線するが、x86は縮退させにくいとか、信頼性が足りないとかいうのも最近みかけるけどそんなことはない。x86だからということはないし、ノードの設計とジョブの入れ方できまるようなもの。あとすべてのノードをVMにのせてジョブを続けながらLive Migrationした実証実験なんてのもある。x86系コア・メモリのRAS機能は充実してきてるとはいえまだ足りないが、RAS機能がホントに重要ならPOWERベースにすれば実績と性能の点で申し分ない。x86の出自云々をいうならsparcだって出自がアレだしね。zシリーズにまで同一コアが使われるPOWERとは違う。脱線終わり）

それにスケールアップといったときに地球シミュレータの例はあまり適切ではないとおもう。アレは元々いろいろとアップグレードしにくいシステムだったし。

どうせならアップグレードしやすいCray XT5や、今度のXT6あたりで比較しよう。ちょうどJaguarのコアアップグレードは4Phaseにわけて実行された。

http://www.nccs.gov/computing-resources/jaguar/road-map/

コアの入れ替えだけなんでかかった費用は支援費の二千万ドル含んで数千万ドル（ちょっと語弊があるけど）。

あとJaguarはNCCSの配下にあるというのは一つの特徴だろう。利用時のスケジュールポリシーなんかもほぼ全部載ってるので、読んでみるといいよ。ちなみにNCCSのトップページにはいつも今配下のクラスタに投入されてるジョブがでてる。

ついでにGoogleのシステムはパソコンがベースって言って良いのかわからないぐらい特化してるよ。だから省電力でもある。それを安く調達するのはまさに規模の経済。

ToRスイッチを完成品じゃなくてBroadcomからチップ買って自前で専用のスイッチつくっちゃうのも規模の力。

最近いろんなところで引き合いに出されるNACCのGPUクラスタはコスト面とアルゴリズムで比較対象にもいい。簡単にいうと「苦手」なものを対象としないことで他の問題に最適化したのが濱田先生のところのチームがつくったクラスタ。特性を把握して性能を引き出して、実際に運用したという意味でとても良い研究なんだけど、故に超大規模クラスタとかで走らせることになる巨大CFDモデルなんかは対象外のシステムだ。

だから最近のスパコンうんたらかんたらとやらでNACCの話を持ち出してる記事やらエントリやらを見かけたら、そこに書かれてることは無視するといい。持ち出してくる奴は、基本からして間違ってるか何でも繋げればスケールアウトすると勘違いさせたがってるだろうから。

Permalink | 記事への反応(0) | 03:57

ツイートシェア