はてなキーワード: 大容量ファイルとは
このニュースいつみても有能だと思う
改善のビフォーアフターを数値で示していてベストプラクティスになっている
もちろんマス向けのサービスだから広告目的もあるのだろうけど、一般企業じゃこうはいかない
KADOKAWA Connected、日本最大級の動画コミュニティサービス
億単位のオブジェクト集中処理をこなし、約1/10のコスト削減と運用負荷軽減を実現
株式会社TwoFive(本社:東京都中央区、社長 末政 延浩)は、KADOKAWAグループ向けのICTサービスを提供する株式会社 KADOKAWA Connected(本社:東京都千代田区、代表取締役社長 各務 茂雄)が、日本最大級の動画コミュニティサービス「ニコニコ」のオブジェクトストレージ、および、グループ各社の社内ファイルサーバーのバックアップストレージとして米RSTOR社(アールストア、本社:カリフォルニア州)の高速クラウドストレージサービス「RSTOR」を採用したことを発表します。
「RSTOR」は、TwoFiveが国内代理店として今年9月に提供開始しており、KADOKAWA Connectedが動画配信サービスで使用する国内の第一号ユーザーとなります。
「ニコニコ」サービス向けのストレージには、サイトに表示する静的コンテンツ、ユーザーアイコンなどの画像ファイルなどが納められていますが、小さいサイズのデータに対するRead/Writeが多く、億単位のオブジェクトが集中します。多くのクラウドストレージサービスが、データ格納に課⾦するだけでなく、リクエストやダウンロードの容量 にも課⾦されるのに対して、「RSTOR」は、保存データの容量にのみ課金し、データの移動には課金がないのが特長です。現在は300TBで契約していますが、容量に対する定額課金のみで予測不能な追加費用は発生せず、KADOKAWA Connectedではオンプレミスの現行システムに比べても1/10近いコスト削減になると試算しています。
また、「RSTOR」は、独自プロトコルによる高速データ転送(他のクラウドストレージサービスより最大30倍高速)が特長ですが、大容量ファイルはもちろん、容量が小さなファイルも高速処理できるようにコンピューティングやネットワークを最適化しています。
そのため、現行システムでは、約1億のオブジェクトが集中した際に障害が発生したり、大量データの一括削除で操作不能になっていたのに対して、「RSTOR」では問題なく処理できることが、検証できました。
さらに、現行システムで性能維持のために約2ヶ月に1回、5人日を要していた定形作業が不要となり、障害発生時の対応コストがなくなることで、運用負荷が大幅に軽減される見込みです。
KADOKAWA Connectedは、KADOKAWAグループのDX(デジタルトランスフォーメーション)を推進する戦略子会社であり、「RSTOR」をグループ各社の社内ファイルサーバーのバックアップストレージとしても利用する他、データ活用を促進するためのストレージとして、今後積極的に適用範囲を拡大していく計画です。
数ある動画サイトの中で個性が光る「ニコニコ」は、グループ企業である株式会社ドワンゴ(本社:東京都中央区、代表取締役社長 夏野 剛)が提供し、KADOKAWAのWebサービス事業の中核となっており、現在280万人以上の有料会員が利用しています。KADOKAWA Connectedは、新しいサービスを開発や、品質改善のためにサービスを支えるインフラの刷新などに意欲的に取り組んでいますが、「RSTOR」の採用もその一環と位置付けられます。
Amazon S3 Glacierおよびオンプレミスのストレージによる従来システムの課題と、「RSTOR」採用に当たり評価されたポイントは以下の通りです。
「ニコニコ」サービス向けのオブジェクトストレージには、アプリケーション開発に必要なデータ(ビルド済みバイナリ、ログなど)やサイトに表示する静的コンテンツ(JavaScriptやCSSなど)、ユーザーアイコンなどの画像ファイルなどが納められます。
現行の製品や検討した他社ソリューションは、アーカイブ用途がメインの製品が多く、小さいサイズのデータに対するRead/Writeが多い「ニコニコ」の用途にマッチしていませんでした。「RSTOR」は、必要とされる性能を十分以上に満たせることが検証で確認できました。
(2) システムの安定性
現行システムで、1バケットの同じ階層に1億近いオブジェクトが集中したときに障害発生したのに対し、「RSTOR」は同規模のデータを入れても良い性能が得られました。また、現行システムで、大量のデータの一括削除で操作不能になるのに対して、RSTORでは問題なく処理できました。
「RSTOR」は、容量に対する課金のみでデータアウトとリクエスト数課金がなく、また、容量単価もAmazon S3 Glacierにほぼ近い金額でアクティブストレージが使用できます。30TBで数億オブジェクトのコストを比較すると、1/10近いコスト削減になると見込んでいます。
(4) 運用負荷の低減
現行システムでは、性能維持のために約2ヶ月に1回定形作業が必要でその作業に5人日かかっていましたが、「RSTOR」ではその運用コストが不要となり、また、障害発生時の対応コストがなくなることで運用負荷が大幅に軽減されます。
それがどれぐらい生産性を落としているのかを書いていこうと思う。
まず、バージョンがあまりにも古すぎて、自分の家で使えるwindowsの普通のアプリが使えない。IEはそのくせ現役。
で、大容量ファイルを読み込んだり書き出したりするのが異様に遅い。へいきであと5時間とか表示される。
そして、ネット環境が束縛されていてろくに調べ物もできない。調べ物サイトに飛んだら「このサイトは禁止されています」と表示される。
そしてスマホを出したら白い眼で遊んでると見られるので出せない。
で、12時間悩んでいたことを、マイホームで検索して質問し、調べて質問したら5分で解決した。
本当に生産性が低い。
家なら6分で終わる作業に、俺は一日以上かけているのだ。
バカ以外の何物でもない。
年あけて社長からいきなり「テレワーク整備しろ」と言われてアタフタしてるSEも多いと思うが、
◎セキュリティ万全
◎運用が柔軟
×クソ高い
・マイクロソフトやアマゾンクラウド上に仮想PCやVPNを作ってその中で業務を完結させる
・初期0円~(外部に依頼したら高い)
・月額5万~(運用しだい)
◎セキュリティ高い
◎運用が柔軟
◎「最先端じゃん、すげえ!」と一目置かれる
×知見がかなり必要
・ファイルサーバをMicrosoft365やGoogleクラウドに移行。
・初期0円~
・月額2万~
◎セキュリティ高い(設定次第)
◎費用安い
×高度な設定は知見がいる
・ChromeリモートやTeamViewer、AnyDeskなど種類多数
・初期0円
・月額500円/人(ライセンス)
◎とにかく激安
というわけで、1.か2.はほぼ、予算と人間が潤沢な大企業の選択肢である。
4は玄関と窓を全開にしながら素っ裸で生活するようなものでオススメしない。
今困ってるのはほとんど社員100名以下の中小企業だと思うが、
これはマイクロソフトかGoogleのアカウントを取ればいいだけなので1アカウントから試せるし、
管理画面もとっつきやすい。情報もWebをぐぐればすぐ見つかる。
◎月額数百円/人~
また、そこそこ簡単なわりに「弊社はクラウドに移行しました」と胸をはって言えるので、対外的な印象もよい。
もちろんクラウドだから、テレワークはどこからでも可能である。
マイクロソフト365、またはGoogleワークスペースは数分で登録可能。
管理画面をみて「これはいけそうだ」と思ったら自分たちでテストし、
「ちょっとむずいな」と思ったら、IT屋に10万くらい払って2か月くらい相談するのもいいだろう。
社員の命を守るためにがんばって下さい。
wosamu 私は会社のシステムに乗っかってるだけだからなにかいうのはどうかだけど、普通1か2だろみたいな。3はセキュリティ高いってどういう意味なんだろ。
MSやグーグルの管理画面からデバイスを管理できるので、たとえば以下のようなことが可能。
このあたりの設定がまあまあムズいので、知見が必要ってかんじ。
やっぱ端末からの漏えいをどぎゃんとせんかならん(宮崎知事)という意識は、どの会社も強いみたい。そのためのVDI。
従量課金はそのとおり。だから月額上限があるNTTのWebArenaとかさくらクラウドもオススメする。
codingalone 弊社は事業的な都合でコロナ以前から1だったので割とスムーズに移行したが、ふつうそうもいかんだろうな。
Dropboxがオンラインストレージの勝ち組になったようです。
ただし容量が限られているので何でもかんでもアップロードするわけにはいかない。
そこで大容量のストレージとしてSkyDriveを使っていました。
Windows Live SkyDriveはマイクロソフトが提供する大容量ファイル共有サービスです。
なんと容量25GB。さすがマイクロソフト。とはじめは思ったがいくつか欠点があることに気づきました。
まず1ファイル50MB制限。一昔前ならまだしも今50MBって言ったらけっこう小さめです。
動画でも上げようと思ったら一々分割する必要があります。
さらに転送速度が遅く,25GBあっても全部使うのは辛いです。
というわけで使う気も失せて放置。
そこで見つけたのがMediafire
Mediafire
何より転送速度(アップロード,ダウンロードの両方)が速い。自分の環境では秒速1MBくらい出ます。
いろいろ試しましたが(ダウンロードのみ)数々のオンラインストレージの中でも最速の部類に入ると思われます。
というわけでMediafireはSkyDriveの代替になりうるサービスだと思います。
ただしフリーアカウントだと30日ほどアクセスしないとファイルが消されるようなので重要なファイルのバックアップ先としてはお薦めできません。
それと英語版しかないのでちょっと面倒なこともあるかもしれません。
Internet Explorer 7の同時ダウンロード数を増やす ?? ITmedia +D
http://plusd.itmedia.co.jp/pcuser/articles/0711/07/news072.html
接続数の制限は低速ネット時代のもの、という意見は否めない。だけど現在はニコ動、YouTube、その他画像サイトなど大容量ファイルを普通にやりとりする。一昔前ならぶち切れられてもおかしくないメガバイト単位のファイルをメールに添付してくるやつも増えた。そういう時代に接続数を増やすというのはどう考えても賢明ではない、やめるべきだと思う。
と、これだけならRFC遵守派と何も変わらない意見だと思うが、仕事で使うPCで、上記のような大容量ファイルをやりとりしないという前提であれば、接続数を増やすのはかまわないと思う。しかしながらそういう点ははっきりしっかり明記すべき。