東証従業員であるが、今回問題となったarrowhead等のシステムを担当している部署（IT開発部トレーディングシステム担当、などと呼ばれる（※ちなみにトレーディングシステム担当部長というポストが存在する））には属していない。IT系の部署には属している。
特に他の東証従業員（というよりは（株）日本取引所グループの従業員、ならびに同社の子会社の従業員）が持つ情報より詳しいものを持っているわけではない。

ぶっちゃけ君部外者でお呼びでなくない？

Permalink | 記事への反応(1) | 01:19

2020-10-01

■東証 障害について東証 従業員の立場 から

はじめに

東証従業員として、本日 2020-10-01 のシステム障害によって直接・間接に損害を受けられた方々にお詫びさせていただく。
本「日記」では特に機密情報などは記載しない。
追記あり: 2020-10-02

立場

東証従業員であるが、今回問題となったarrowhead等のシステムを担当している部署（IT開発部トレーディングシステム担当、などと呼ばれる（※ちなみにトレーディングシステム担当部長というポストが存在する））には属していない。IT系の部署には属している。
特に他の東証従業員（というよりは（株）日本取引所グループの従業員、ならびに同社の子会社の従業員）が持つ情報より詳しいものを持っているわけではない。

今回の障害の概要

記者会見（https://www.youtube.com/watch?v=ACFLlMXhlWg などでみられる）および、社内報の一部から得られた情報をもとにしている。

識別名が社内的には「NAS」である機器（一般的な意味とは異なる可能性は、東証システムなので大いにある。記者会見上は「共有ディスク装置」）は1号機、2号機がどうやらあるところ、1号機がハード故障（記者会見場は「メモリ」の故障とのこと。一次記憶装置なのか、二次記憶装置なのかは不明）。
本来そのNAS1号機が死んでも、自動的に2号機に切り替わる想定であった（※そしてそういったテストも通っていた）が、自動的に切り替わらなかった模様。（※なお東証の横山常務（兼JPXのCIO）によればそれらNAS 機器は「両現用」とのこと）
そのNASには横山常務によれば「ジョブ」（※具体的な概念説明は特にされていない）を動かすのに必要な情報などが存在していた。
NASが正常に動いていないことによって（※ジョブが動かないことによって、ということなのかもしれないが不明）、相場配信（※○○の銘柄は現在X円です、やY円のところにP単位の新規注文が入りました、などの情報の配信のことだと思われる）が正常通り動かない。
ここまでの状況から、arrowhead等（ToSTNeT含む）のシステム総体として正常に動作させるには、システム全体再起動が必要と判断した模様。
ただ、システム全体再起動をしてしまうと、東証側システムのステート（※こんな言葉は出てきていないが、おそらく一般的な言葉でいえばこういうことだろう）と、取引参加者（証券会社）側システムのステートとの間でそのままでは不整合が生じることになりそうであるということになり、いくつかの証券会社（※川井役員はすべてとは言っていなかった）に対してヒアリングした結果も踏まえ、システム全体再起動は避けたほうがよい、ということになった。最終的にこれらを受けて、終日売買停止となった。（※当初は「終日」ということではなく、再開に含みを持たせてはいた）
売買停止は、「きれいな」売買停止（※システムが正常に動いているときに売買停止を命じるようなやり方）ではなく、参加者側ネットワークを遮断するというやり方で行われた。
なお、どうやら売買停止後、arrowheadまたはToSTNeTにおいて、非公式な「約定」は発生していた模様。トレーディングサーバ（※3重構成）の障害ではないため。ただしそれらは当然正式な約定ではなく、後続システムにおいて約定データは破棄された。

暫定対処

ハード交換を行う。
そのうえで、今回のような稼働中のハード障害に備え「人手」で監視し、障害が起きたときには手動で切り替えられる状態とする。

個人的な疑問点

ここまでの説明を聞くと、論理的には、NASのハード障害時は手動で切り替えることで、システム全体再起動は不要で、売買停止の事態は招かれない、ということになる。そこまではいいが、ではなぜ今日それを実施しなかったのであろうか。この点は記者会見で2回ほど質問されていたと思うが、東証側は正面からは答えなかった。

個人的な感想等

社会的責任が強く、またJPXグループでまぎれもない稼ぎ頭である arrowhead システムだけあって、JPXグループ内のなかでもかなり手厚いテストが実施されてきていた（※そしてコストがすごく高い）認識であった。それでも起こってしまうのか。
社長なんて、しゃべったこともないけれど、重要りん議の最後に承認してくれた人、ぐらいの接点はあるし、CIOは社内チャットに最近も投稿していた。あのように記者会見で頭を下げる姿を見ると、表しがたい気持ちになる。
他部署なので情報がどこまで得られるかわからないが、どこのベンダの機器で、どこのフェイルオーバー機構に不具合があったのか、発現条件は何か、などが気になる。
- 一般論として、フェイルオーバー機構を作るにあたって、どれだけのケースパターンを想定するのか、というのは問題となりうるところであると思う。今回は、もしかすると想定していないレアケースだったのかもしれない。
JPXグループとしては、取引所ではないPTSに取引を奪われてきている、というのはそれなりに懸案事項であった。例えば、PTSで信用取引ができるようになる、などの規制緩和である。それが本件で世論的にも加速していく材料になるのかな、と思うと、自分の働く会社であるので、自社がまいた種であるのはもちろんだが、やや悲しいところがある。
- ちなみに根底にあるのは、PTSはフリーライド感が強い、ということである。証券取引所として、取引システムの運営にはもちろんお金も人もかけているが、PTSがやらないようなそれ以外にもコストをかけている。
今後の心配もさることながら、終日売買停止はシステム化以後はじめての事象らしいが、損害賠償請求されたらどうなるのであろうか。見守ることしかできないが。（※損害賠償系の質問も、記者会見では東証側は一切正面から答えなかった）
- 東証側は過去ジェイコム事件で、個人的には違和感を覚えるような過失認定をされたことがある。それも踏まえるとさらに不安である。
こういう記者会見、もうちょっとシステム知識のあるメディア・記者が来てもよいのでは。（もしかすると東証側が拒んだのかもしれないが...）

追記 (2020-01-02)

記者会見において配布された資料について

JPXのウェッブサイトに公開された。https://www.jpx.co.jp/corporate/news/press-conference/index.html 経由で https://www.jpx.co.jp/corporate/news/press-conference/nlsgeu000004zjwb-att/20201001_J.pdf

感想等の追加

https://b.hatena.ne.jp/entry/s/anond.hatelabo.jp/20201001221611より「経営判断に技術理解が必要と認識し歩んだ 15 年間を感じた」... 各種障害を経て、東証としてシステムを理解の度合いを高める、という経営判断のようなものがされてきた、ということもある。蛇足だが個人的にはそこに十分さは感じていない。
同ページより「管轄外のことを勝手に詫びるのもどうなんだろう。」...　基本的に反論の余地もないことである。記者会見で社長が富士通への補償請求のくだりで述べたように、会社のオフィシャルな立場として、またおそらく多くの従業員の認識としても、弊社事業は社会インフラとしての責任の重さがある。そんな中で多方に様々なご迷惑をおかけした今回の障害について、法的責任の所在などといったことはまず置いておいて、一従業員としてはまずは謝罪させていただきたいと考えた。ただ、受け取り手の少なくとも一部、もしかすると多くに対して、こちらの意図とは反してむしろ反感を買ってしまうかもしれない。
同ページより「金融関係者しかも、取引所の中の人が匿名、ましてや個人で情報を発信するな。金融商品を扱ってる自覚あるのか？中身もただの感想文だし。」 ... 個人で情報を発信するな、ということが言われる傾向の高い業種であることは認識している。また、「金融商品を扱ってる自覚」については持っている。
同ページより「手動再起動しなかった理由は、まず障害箇所の特定、手動再起動する場合の手順の準備、影響を洗い出すのに1日以上はかかるから。」 ... おそらくそうだろうと思う。...思うが、そうであればそう説明すればよかったのではないだろうかと思っている。言えない理由があったのか、言ったとしても反論されるのが怖かったのか。
同ページより「全然理解してなさそう」 ... おっしゃるとおり理解する力は高くないため、醜いところをさらけてしまい、申し訳ない。
本ページ「記事への反応」部分「東証はオワコン時代は札証、大証、福証、PTS」 ... 「大証」はもはや会社名としても存在していないし、大阪にある取引所で株の取引はできなくなった。また、名証でも株の取引はできます。
https://anond.hatelabo.jp/20201002101854 「記者会見にくる記者についてですが、専門性とかはちょっと無理。いつもネットワーク障害のニュースがああるならそれだけ回る記者とか居てもいいけどそうじゃないし、せいぜい各記者が雑学を持っているかの話になってしまう。」 ... 大手新聞等のメディアに属する記者については、なるほどと思わされた。一方で、私含め、技術的な背景などを知りたいと感じる人もそれなりにはいるはずで、IT系に強いメディアが入ってもよいのに、と思った次第であった。そういうことになると、別の問題も生じそうではあるが。
https://anond.hatelabo.jp/20201002050126 ... 技術的な点につき推測されており、なんというか、そういったところが気になる...という思いである。残念ながらおそらく公開はされないとは思うものの、おととしの障害に関係した証券会社名が出てきたように、リーク等によって出てくるかもしれない。

Permalink | 記事への反応(17) | 22:16

■とにかく「止まらない（Never Stop）」こと

ワロタ

富士通ってスマホにカイロを組み込むとか斬新なことしかしないイメージ

富士通は、以前より東京証券取引所様の株式売買システム「arrowhead（アローヘッド）」のハードウェアからアプリケーションまで、全てを手掛けています。このほど、その性能を大幅に向上。株式注文を大量に高速に処理できる能力と安定性を確保した「新arrowhead」を導入しました。
新arrowheadが目指したのは、とにかく「止まらない（Never Stop）」こと。世界の取引システムは、処理スピードだけをひたすら競う時代から、安定性や信頼性を重視する傾向があります。新arrowheadは、安定性と信頼性を継承しつつ、利便性、処理能力の向上を図った、世界最高水準のシステムです。

Permalink | 記事への反応(2) | 15:18

「arrowhead」を含む日記

2020-11-03

■[あとで読む]2020年10月はてブのあとで読むトップ30リスト

2020-10-02

■anond:20201001221611