評価・統合などなどまあ使う方式で言い方も使い方もいろいろあるけど、分割しただけで統合したりする処理が要らないんだったら、まさにRoadrunnerのOpteronブレード部分は無用だよ。計算するだけならCellブレードとインターコネクトボードがあればいい。だがOpteronを使わなきゃいけない（というわけでも無いんだけどあれぐらいの処理能力とメモリバンドとローカルメモリはバランス的に欲しい）というところに何かがあると感じてくれ。これをかいてる自分増田は定量的に～とか言われると式をグダグダ書き連ねないと説明できない低脳なので。

長大ジョブを投入して計算中でも、計算を止めないままノードごと別のノードに引き継がせて、そのノードを捨てたり点検したり、ってのは超大規模クラスタではもちろんある。

（脱線するが、x86は縮退させにくいとか、信頼性が足りないとかいうのも最近みかけるけどそんなことはない。x86だからということはないし、ノードの設計とジョブの入れ方できまるようなもの。あとすべてのノードをVMにのせてジョブを続けながらLive Migrationした実証実験なんてのもある。x86系コア・メモリのRAS機能は充実してきてるとはいえまだ足りないが、RAS機能がホントに重要ならPOWER ベースにすれば実績と性能の点で申し分ない。x86の出自云々をいうならsparcだって出自がアレだしね。zシリーズにまで同一コアが使われるPOWERとは違う。脱線終わり）

それにスケールアップといったときに地球シミュレータの例はあまり適切ではないとおもう。アレは元々いろいろとアップグレードしにくいシステムだったし。

どうせならアップグレードしやすいCray XT5や、今度のXT6あたりで比較しよう。ちょうどJaguarのコアアップグレードは4Phaseにわけて実行された。

http://www.nccs.gov/computing-resources/jaguar/road-map/

コアの入れ替えだけなんでかかった費用は支援費の二千万ドル含んで数千万ドル（ちょっと語弊があるけど）。

あとJaguarはNCCSの配下にあるというのは一つの特徴だろう。利用時のスケジュールポリシーなんかもほぼ全部載ってるので、読んでみるといいよ。ちなみにNCCSのトップページにはいつも今配下のクラスタに投入されてるジョブがでてる。

ついでにGoogleのシステムはパソコンがベースって言って良いのかわからないぐらい特化してるよ。だから省電力でもある。それを安く調達するのはまさに規模の経済。

ToR スイッチを完成品じゃなくてBroadcomからチップ買って自前で専用のスイッチつくっちゃうのも規模の力。

最近いろんなところで引き合いに出されるNACCのGPU クラスタはコスト面とアルゴリズムで比較対象にもいい。簡単にいうと「苦手」なものを対象としないことで他の問題に最適化したのが濱田先生のところのチームがつくったクラスタ。特性を把握して性能を引き出して、実際に運用したという意味でとても良い研究なんだけど、故に超大規模クラスタとかで走らせることになる巨大CFD モデルなんかは対象外のシステムだ。