「amazon S3」を含む日記

はてなキーワード: amazon S3とは

今時、文書の保存に関しては、ストレージなんぞタダみたいなもんなのに

https://www.security-next.com/145617

3月24日21時から同月31日23時59分にかけてシステムに登録された10万3389件のファイル

Amazon S3

https://aws.amazon.com/jp/s3/pricing/?nc=sn&loc=4

アジアパシフィック（東京）
0.025 USD/GB/月

一週間で、10万ちょいくらいのファイル

添付ファイルと言ってる感じはExcelかWord、もしくは画像か

ひとつのファイルで 100kB くらいと想定

これを書いてる時点で米ドルは 134.84円

	1 W	2 W		52 W
kB	10338900	20677800	…	537622800
GB	9.85994339	19.71988678	…	512.7170563
USD	0.061624646	0.123 249292	…	3.204481602
JPY	8.309467292	16.61893458	…	432.0922992
JPY (SUM)	8.309467292	24.92840188	…	11450.44593

支払い総額を一般化すると ΣY(k) = [JPY/W]*k*(k+1)/2

五年後には支払い総額は 281,940円

五年後の容量は 2564 GB

ただ置いてあるだけで、月に8642円が出ていく

一般企業だったら気にしないであろう金額ではある

まあ件のシステムでホワイトリスト形式でファイルを消しているのは容量を節約しているのではなくてセキュリティ的な側面だろうとは想像するが

効果のほどははっきりしないとしてもね

Permalink | 記事への反応(0) | 12:37

2021-10-21

■anond:20211021170435

Amazon S3 大感謝時代だもんね

Permalink | 記事への反応(1) | 17:06

2021-09-23

■「ニコニコ」用に高速クラウド ストレージ「RSTOR」を採用

このニュースいつみても有能だと思う

改善のビフォーアフターを数値で示していてベストプラクティスになっている

もちろんマス向けのサービスだから広告目的もあるのだろうけど、一般企業じゃこうはいかない

KADOKAWA Connected、日本最大級の動画コミュニティサービス
「ニコニコ」用に高速クラウドストレージ「RSTOR」を採用
2020.12.10 発表
データ転送料金なしで、頻繁なRead/Write 要件に最適
億単位のオブジェクト集中処理をこなし、約1/10のコスト削減と運用負荷軽減を実現
株式会社TwoFive（本社：東京都中央区、社長末政延浩）は、KADOKAWA グループ向けのICT サービスを提供する株式会社 KADOKAWA Connected（本社：東京都千代田区、代表取締役社長　各務茂雄）が、日本最大級の動画コミュニティサービス「ニコニコ」のオブジェクトストレージ、および、グループ各社の社内ファイルサーバーのバックアップストレージとして米RSTOR社（アールストア、本社：カリフォルニア州）の高速クラウドストレージサービス「RSTOR」を採用したことを発表します。
「RSTOR」は、TwoFiveが国内代理店として今年9月に提供開始しており、KADOKAWA Connectedが動画配信サービスで使用する国内の第一号ユーザーとなります。
「ニコニコ」サービス向けのストレージには、サイトに表示する静的コンテンツ、ユーザーアイコンなどの画像ファイルなどが納められていますが、小さいサイズのデータに対するRead/Writeが多く、億単位のオブジェクトが集中します。多くのクラウドストレージサービスが、データ格納に課⾦するだけでなく、リクエストやダウンロードの容量にも課⾦されるのに対して、「RSTOR」は、保存データの容量にのみ課金し、データの移動には課金がないのが特長です。現在は300TBで契約していますが、容量に対する定額課金のみで予測不能な追加費用は発生せず、KADOKAWA Connectedではオンプレミスの現行システムに比べても1/10近いコスト削減になると試算しています。
また、「RSTOR」は、独自プロトコルによる高速データ転送（他のクラウドストレージサービスより最大30倍高速）が特長ですが、大容量ファイルはもちろん、容量が小さなファイルも高速処理できるようにコンピューティングやネットワークを最適化しています。
そのため、現行システムでは、約1億のオブジェクトが集中した際に障害が発生したり、大量データの一括削除で操作不能になっていたのに対して、「RSTOR」では問題なく処理できることが、検証できました。
さらに、現行システムで性能維持のために約2ヶ月に1回、5人日を要していた定形作業が不要となり、障害発生時の対応コストがなくなることで、運用負荷が大幅に軽減される見込みです。
KADOKAWA Connectedは、KADOKAWA グループのDX（デジタルトランスフォーメーション）を推進する戦略子会社であり、「RSTOR」をグループ各社の社内ファイルサーバーのバックアップストレージとしても利用する他、データ活用を促進するためのストレージとして、今後積極的に適用範囲を拡大していく計画です。
従来の課題と採用のポイント
数ある動画サイトの中で個性が光る「ニコニコ」は、グループ企業である株式会社ドワンゴ（本社：東京都中央区、代表取締役社長　夏野剛）が提供し、KADOKAWAのWebサービス事業の中核となっており、現在280万人以上の有料会員が利用しています。KADOKAWA Connectedは、新しいサービスを開発や、品質改善のためにサービスを支えるインフラの刷新などに意欲的に取り組んでいますが、「RSTOR」の採用もその一環と位置付けられます。
Amazon S3 Glacierおよびオンプレミスのストレージによる従来システムの課題と、「RSTOR」採用に当たり評価されたポイントは以下の通りです。
(1) 性能とスケーラビリティ
「ニコニコ」サービス向けのオブジェクトストレージには、アプリケーション開発に必要なデータ（ビルド済みバイナリ、ログなど）やサイトに表示する静的コンテンツ（JavaScriptやCSSなど）、ユーザーアイコンなどの画像ファイルなどが納められます。
現行の製品や検討した他社ソリューションは、アーカイブ用途がメインの製品が多く、小さいサイズのデータに対するRead/Writeが多い「ニコニコ」の用途にマッチしていませんでした。「RSTOR」は、必要とされる性能を十分以上に満たせることが検証で確認できました。
(2) システムの安定性
現行システムで、1バケットの同じ階層に1億近いオブジェクトが集中したときに障害発生したのに対し、「RSTOR」は同規模のデータを入れても良い性能が得られました。また、現行システムで、大量のデータの一括削除で操作不能になるのに対して、RSTORでは問題なく処理できました。
(3) コストメリット
「RSTOR」は、容量に対する課金のみでデータアウトとリクエスト数課金がなく、また、容量単価もAmazon S3 Glacierにほぼ近い金額でアクティブストレージが使用できます。30TBで数億オブジェクトのコストを比較すると、1/10近いコスト削減になると見込んでいます。
(4) 運用負荷の低減
現行システムでは、性能維持のために約2ヶ月に1回定形作業が必要でその作業に5人日かかっていましたが、「RSTOR」ではその運用コストが不要となり、また、障害発生時の対応コストがなくなることで運用負荷が大幅に軽減されます。

Permalink | 記事への反応(1) | 18:50

2021-02-09

■

どうやんだ？と何ヶ月も調べた

やっとわかった

Amazon S3はNoSQLに変換できる

制限を満たす場合 NoSQLはSQLに変換できる

つまり

一定条件を満たす場合

Amazon S3はSQLに変換できるルートが有る

インデックスが無いことが前提の検索なら、これでAmazon S3をSQLDB（制限あり）に変換できる

どうやってやってんだ？

とおもって、調べ続けて

ようやくわかった　ありがとう平手友梨奈　愛してるはやく踊りが踊れるようになれよ。松井珠理奈に勝てよ

Permalink | 記事への反応(2) | 20:12

2018-11-18

■anond:20181118135601

説明スペックが低いのは詫びる。

Amazon S3が車のエンジンだったらと考えてほしい（実際はiCloudの便利版みたいなもんだが）。

それぞれのパーツは単純なのだが、やはり全体を知るには時間がかかるのだ。

負けではないが、エンジニアリングできることと説明できることは若干異なるスキルである、という印象。

長嶋監督（古い？）が変な技術指導しかできないのとかを考えてもらえると良いかもしれない...

Permalink | 記事への反応(1) | 14:16

■anond:20181118134246

すいません。

Amazon S3 というのもググってみましたがさっぱりわかりませんでした。

検索結果めちゃくちゃ出てくるのに、私の頭で理解できるものは何一つないという、、

結局、技術者じゃない人間はこういうよくわからないもので煙に巻かれてぼったくられるだけなんでしょうか。。

どうして技術者には、技術者じゃない人にもわかりやすく説明出来る人がなかなかいないんでしょうかね？

そんなことしたら技術者として負けだから？？？

自分の頭の悪さを呪わずにはいられない、、

Permalink | 記事への反応(1) | 13:56

2014-08-19

■成功したもの しか残らない世の中

成功者しか生き残れない世の中の話ではないですよ（書いているうちに似ているのかも知れないと思ったけど）。

部屋を整理していたら、誰だかわからない人の写ったポラロイド写真が出てきた。僕はこれをだれであるのか知らないけど、たぶん前にこの部屋を使っていた父なら分かるんだろう。というか、この写真は父の持ち物だ。

正直に言って、あまり綺麗な写りではない写真なのだけど、これがもともとそういう写真なのか、経年劣化でそうなってしまったのかは定かではない。

ふと思ったのは、これがもともと写りが悪い写真だった場合と仮定して、（写真の感じから当時存在していたとは思えないけど）デジカメで撮っていたら今まで残っただろうか、ということ。

デジカメの場合、その場で確認して写りが悪かったらそのまま削除してしまう人もいるんじゃないかと思う。フィルムの写真だと一度現像しなきゃならない分コスト大きいからその場で捨てるって言うのは難しい。ポラロイドの場合はすぐに現像されるからフィルムに比べれば確認しやすいけれど、デジタルデータを削除するようにさくっと捨てられるわけじゃなくて、ゴミ箱にもっていくまでのコストはある。それで、時々捨て忘れたりすることがある。

写真に限らず、デジタルデータというのは、「残そう」という意思が一度でも働いたものに関しては、基本的にはデータとしては劣化しにくいし後々まで残しやすいのだろうけど、要らないデータを捨てるのも簡単すぎて、ネガにあたるものとか、一切残骸すら残らないわけですよ（ファイルシステムを直接覗いてサルベージ擦るって言うのはちょっと現実的じゃないかと思って考慮してない）。

今まで、失敗しちゃった写真とかでもたまたま残ってて、後々そのおかげで「あのときああいうことがあったねぇ」「お父さん若いねぇ、懐かしいねぇ」というような思い出話が出来たりしたのが、今の世の中だと起こりにくいのかな、と考えるとちょっと寂しい気持ちになった。デジタルデータを一切消さずにAmazon S3あたりに無限にためていくのも一つの方法かもしれないけど、それはそれで膨大すぎて見返すのはつらかったりするし、思い出を振り返るようなことには使えないんだろうなって。

そういえば、紙の写真のアルバムをみんなでみることも無くなったなぁ。やっぱり今時は、居間のテレビとかに映してみんなで見るのかねぇ。

最終的になにが言いたいのか自分でもわからなくなってきたけど、ふとした瞬間の家族の思い出みたいなものって、なんとなく大切にしたいものだな、そう思ったんですよ。

Permalink | 記事への反応(0) | 01:10

2013-11-16

■

最近は格安で独自ドメインを取って、tumblrでブログ運用するのが流行ってるのかな？

あとPythonのSphinxでTinkererを導入してブログにしてみたり、

JekyllでAmazon S3で運用してみたり。

なんかいろいろ面白そう

Permalink | 記事への反応(2) | 20:51

■最近知ったこと

今さらだけど、最近知ったこと　（2013年 1月～3月）

TeraTermはもう古い。今はPutty
cvs, svnはもう古い。今はgithub
OctopressやJekyll, Amazon S3が面白そう。WordPressは停滞気味。
オラクルがSunを買収
- OpenOfficeよりLibreOffice
- MySQLよりMariaDBか
tex 作成にはTeXWorksよりLyXがよい
WindowsのExplorerの代わりに秀丸ファイラーを入れるとよい

Permalink | 記事への反応(0) | 09:27

2011-06-13

■iCloudはAmazon S3とMicrosoft Azureを使って

いるらしい

Permalink | 記事への反応(0) | 09:00

2009-03-22

■http://anond.hatelabo.jp/20090322101128

さくらの転送量規制は有名な話し。ちょっとした巨大手前Blogが使って、引っかかってお引っ越しというのは、本当に良く聞く話。

まぁ、安かろう、悪かろう。

画像とかをFlickrとかAmazon S3とかに移した上でテキストだけで運営するか

高くても、WebArenaとか転送量無制限を歌ってる鯖に引っ越すか。

工夫次第。少なくとも、動画や画像を置く所ではない。さくらは。

Permalink | 記事への反応(0) | 12:55

2008-09-15

■[ruby][rails][vps][ubuntu][slicehost][価格][料金]Slicehost入門

Slicehost

Slicehost VPS Hosting is now Rackspace Cloud Servers hosting

Slicehost Article Repository - VPS setup, servers, Ruby on Rails, Django, PHP, DNS, Slicemanager and more

Slicehost Articles: IP failover - High Availability explained
All requests for the website come to the front end Slice.
That Slice then proxies the request to larger Slices running in the backend of the network.

Slicehost Articles: IP failover - Slice setup and installing Heartbeat
sudo aptitude install heartbeat

sudo apt-get install ubuntu-xen-server
sudo apt-get install dnsmasq

wiki [Slicehost]

Monitoring Ubuntu Services Using Monit | Ubuntu Geek

$ sudo apt-get update
$ sudo apt-get upgrade
$ sudo tasksel
$ sudo apt-get install build-essential

google:Slicehost Ubuntu

Slicehost Articles: Ubuntu Hardy setup - page 1

Slicehost Articles: Ubuntu Hardy setup - page 2

Automatic Rails on Ubuntu 8.04 LTS « Enjoying Rails

joerichsen's gist: 16225 — Gist

Setting up Ubuntu Jaunty for Ruby and Rails development | Joe Ocampo's Blog

5-minutes to Rails // Slicehost VPS Hosting is now Rackspace Cloud Servers hosting

slicehostでRails2.2.2を動かすまで - なんとなく日記

Slicehost Articles: Ubuntu Hardy - Ruby on Rails

Slicehost Articles: Ubuntu Gutsy - Django installation

UbuntuにLAMPサーバを手早くインストールする方法 - builder

LAMP（Linux、Apache、MySQL、PHP）サーバを手早くインストールする最も簡単な方法

google:Slicehost CentOS

cat /etc/redhat-release

Slicehost Articles: CentOS setup - page 1

Slicehost Articles: CentOS setup - page 2

CentOSのPHPにはマルチバイト対応入ってませんのであとから入れましょう (技術メモ)

タグ「slicehost」を含む新着エントリー - はてなブックマーク

naotaka blog » Blog Archive » Slicehostに申し込み

slicehostでUbuntu8.04の設定1 初期設定 - delab

Slicehost : Tag Archives - delab

ホスティングサービス Slicehost のドキュメントがすばらしい : 僕は発展途上技術者

SlicehostへのRedmine導入手順（Ubuntu Gutsy)

rootでsshできないように設定する

つくるぶガイドブログ: 失敗しない Rails が動かせるホスティングサービス選びと環境構築
具体的にどこがおすすめかという質問を受けた場合、共用サーバーならば海外の Slicehost、専用サーバーならさくらインターネット
Slicehost には、OS を一度まっさらに戻し、
OSの種類やバージョンを
用意されているものの中から
簡単に選択し直すことができる機能が管理メニューに付いています。

naotaka blog » Blog Archive » Slicehostに申し込み
再インストールも、やはり２分以内で完了しますから、
好きなだけインストールし直しましょう。

なげやり日記: Slicehost
[Rebuild] でOSを簡単にリストアできるのも、試行錯誤のためには便利だったりします。

Slicehost に移行しました - milk1000cc
Web 管理画面で、OS 再起動・再インストール、コンソール操作、DNS 設定などができます。
あと、プラス $5 で毎日、自動でイメージごとバックアップ
バックアップ入れても月額 $25、
さくらと違って OS インストール直後は最小構成になっている、設定ミスってもすぐに OS 再インストールできる