  |
はてなキーワード: スナップショットとは
http://anond.hatelabo.jp/20130104184115
の元増田です。
ひっそりと公開したはずのtag-chat.net(http://tag-chat.net)ですが、
まさか、こんなに反響を頂けるとは思っていなかったので、びっくりしました。
素人のフリをしているとか、出版社のステマだとか色々言われましたが、嘘は一切書いてないです。
ステマというか、ウェブサービス公開後の状況を知っている方からするとマイナスのステマにしかなっていないような気がします…。
公開してから、色々と発見というか気づきがあったので、それを共有できれば幸いです。あと、tag-chat.netの中身についてなど。
・意気揚々と自作SNSを公開したものの、アクセスが全くこなくて途方にくれる。
⇓
・以前、完全に一致を作った増田の方が、増田記事を書いてからアクセスが急に来たと書いてあったので真似して書いてみる。
⇓
・翌日ごろから、アクセスが集中。ビビる。「うちの会社で働きませんか？」と言ったお誘いのメールをたくさん頂く。
いきなりの出来事にパニックになっている間にも増田記事が拡散していき、アクセスが急増する。
⇓
アクセスが爆発する。１時間あたり二万アクセスというアクセスを捌ききれずにサーバーが落ちる。サイトのウリであるが、メモリ使用量
⇓
・その後、サーバーを増強。エラー情報や、寄せて頂いた情報をもとに各種エラー情報や、使い勝手などを改善。
⇓
・現在、安定稼働中。おかげさまで、ユーザー数もゆるやかに増加していて、基本的な機能も正常動作しています。ユーザー数はもうすぐ
１０００人に届きそうでありがたいばかりです。
と、いうわけでなんとかようやく落ち着き、ウリのマッチングチャットも正常に作動しているようなので、後記事を書きます。
■ウェブサービスの公開前に注意すべきだったこと。
①・セキュリティについては書かないほうが良い。色々といじられる。
前回の増田記事で、DoS攻撃の対策などについて語ったのですが、それを確かめるためなのかサイト公開してしばらくしてから、定期的に
Dos攻撃をくらいました。
おかげ様で、ちゃんと一時的にそのIPからのアクセスを遮断することはできたのですが、セキュリティについてあまり大々的しゃべると攻
撃対象となるので、あまり具体的なセキュリティ対策などについてはしゃべらないほうが良いのかな、と感じました。
また、DoS攻撃だけでなくCSRF試したり、色々といたずら（もしくは善意のテスト？）をして下さる方がとても多かったのには驚きました。
はてな民の技術レベルの高さを知りました……。いたずらされている間は本当に怖かったです。
とりあえず、今のところ攻撃は防げているようです。
はじめ、私は調子に乗ってサイト内に英語を多用していたのですが、それがユーザー様にとって混乱のもとになっていたようです。
例えば、他のユーザーから自分の書いた日記などにコメントがついた時に、それを知らせるページがあります。
普通に考えれば「友達からの反応一覧」とか「友人からの反応」とかにすれば良いのですが、何を血迷ったのか「Reaction」と中二病丸出
しで書いてしまったので、ユーザー様がものすごく混乱したようです。
結局、「使いにくい」、「サイト内迷子になる」との声を受けて日本語メニューに変更しました。
③・使い方のページはくどいくらい書いても良かった。
フリーチャットや、マッチングチャットでは、基本的に相手が見つかるまでは「待ち」の状態になります。
相手がすでにこちらを「待っている」状態だとすぐにチャットが始まるのですが、そのことに対する説明が足りなかったようで、チャット
ルームを出たり入ったりしている人が多かったようです。
また、チャットが終了した時にチャット相手にお礼をこめてメッセージを送る機能があるのですが、これも説明不足で上手く使われなかっ
たようです。
とにかく、くどいくらい説明しても良かったと思います。
■ウェブサービスをリリースする前にやっておいて良かったこと。
①・Twitterのアカウントを作りそこから最新情報を流せるようにする。
これは本当に大きかったです。
とつぜんの増田砲で一時間あたり二万アクセス近くのアクセスをさばけずに、サーバーがビジー状態になってしまった時も、Twitterを通
じて現在の状況などを流せたことは非常に大きかったです。
②・エラー情報を送ってもらえるようにメールアドレスを作っておく。
本当にありがたいことに、実際に使ってみた使用感や、こんなエラーが出ていると言った情報を送って下さる方がいます。
一人でテストしていた時には気づかなかったエラーや、不便な点などをわざわざ時間をとってメールで教えてくれるのです。
どこの馬の骨ともわからん怪しい奴が作ったものに登録してくれ、使ってみてくれただけではなく、エラー情報や励ましの言葉を送って下
さるのです。
本当にありがたいことです。
③・それでもわからないエラー情報に対して対処できるようにしておく。
優しいユーザーの方がエラー情報などを教えて下さるのは大変ありがたく、また開発の励みにもなるのですが、それに頼ってばかりいて
はダメです。
サーバーの吐き出すエラー情報を調べて、おかしな挙動にいち早く気づく必要があります。
本当はhttpdのエラーログとか見れば良いんですけど、はっきり言って物凄く見づらいので、ツールを使って毎日「こんなエラーがでました
」と教えてもらうようにしておきました。
色々なツールがあるみたいですが、私はlogwatchを使いました。
・参考URL
http://www.atmarkit.co.jp/flinux/rensai/root04/root04c.html
これでエラーの出ているところだけでも、修正するということをやっていました。
■ ウェブサービスを運営してみてわかったこと。
①・SNSの人の流れにはなんだかよくわからない規則性がある。
tag-chat.net グーグルアナリティクスでどれくらいの人が毎日来ているかをウォッチしているのですが、なぜか月曜日と週末にかけてア
クセスが増えます。
謎です。週末はわかるけれど、どうして月曜日に……？
②・やっぱり非リアの気持ちは非リアじゃないとわからない。
「どうして普通にはてブに書かないのか。なんで増田なのか」とか「非リアを装って」
とかコメントしてる人たちがいたのですが、その人たちは非リアについてなんもわかってないアホだと思いました。
もともと自分で名前なり、アカウントを明かした上ではてブに投稿できるくらいの度胸があれば非リアになんかなってないです。それは自
分でもわかってます。
自己顕示欲が人一倍強いくせに、人に名指しで批判されるのが怖いから増田に投稿したのです。
フェイスブックに実名でウェブサービス作ったことを投稿できるような度胸があればそうしてますし、はてブに書けるなら書いてます。
そうするだけの度胸もなくて、でも誰かに認めては貰いたいから増田に書いたということをわかっていない。
③・ネットのみなさんが優しい。
今までネットの人たちは２ちゃんねるとかで炎上したり、なんか面白そうなものを見つけてお祭り騒ぎする、ちょっと怖い人たちという
イメージだったのですが、それが今回のことでガラリと変わりました。
本当に優しい人が多くて、どこの馬の骨ともわからない奴の作ったウェブサービスを使ってくれるだけでなく、感想や励ましのメールな
どをたくさん頂きました。
遥か雲の上の存在だと思っていた会社の方からもメールなどを頂きました。本当に感謝してもしきれません。
～技術編～
①・nodejsを使って外部にサービス公開するなら、認証は必須。主に不正な負荷を減らすために。
さっき書いた、「セキュリティについてはあまり書くな」という話と矛盾するのですが。
nodejs、すごくアクセスさばけて、なおかつ軽いということで便利なんですが、サーバーなので、基本的にリクエストを受けたら非常に素
直に返事します。
例えば、nodejsとsocket.ioを使って、単純にメッセージをサーバーに送るとして、クライアント側で
のようにすると、サーバーはどこから来たアクセスなのか、とか悪意のあるアクセスなのか？ とか一切気にすることなく、素直に'hoge'
これはつまり、第三者が悪意を持って大量にメッセージを送りつけるとそれを素直に受け取ってしまうということです。
なので、例えば大量に不正なデータを送りつけられたりするとレスポンスが悪くなります。
なので、悪意のあるアクセスはsocketにそもそも接続させない、という対策がサーバー側で必要になると思います。
socket.ioではコールバックを使って、簡単に認証させるかさせないか、という実装ができます。具体的には以下のURLなどを参考に実装す
http://d.hatena.ne.jp/Jxck/20110809/1312847290
②・nodejsの最大接続数は、ファイルディスクリプタに依存する
ということにしばらく気づかずに、最大接続数が４００ほどしか出ず悩んでいた時に以下のURLを参照して、なぞが解けました。
http://blog.livedoor.jp/mokepon/archives/182178.html
またsocket.ioのテストの書き方ですが、
http://d.hatena.ne.jp/toritori0318/20120902/1346591831
という素晴らしいエントリーがあったので参考にさせて頂きました。
■楽できるところは楽するためのツールなど。
nodejsの開発で、面倒くさいところはできるだけ楽しました。以下、便利だったものまとめ。
・node-dev
コンソールにデバッグ情報を吐き出してくれ、サーバー側のコードをいじくった時に自動的に再起動してくれる。
いちいちコマンドプロンプトからnodejsを実行する必要がないため、作業の手間がはぶける。
nodejsを触り始めた時はエラーを吐いてばかりなので非常に役に立ちました。
参考URL
http://d.hatena.ne.jp/replication/20110224/1298474534
・forever
様々な使い方があるようですが、stop,list,startの３つぐらいしか使いませんでした。まだ、研究中です。
参考URL（基本的な使いかたが非常にわかりやすく書かれています）
http://nantekottai.com/2011/08/15/node-js-based-service-with-forever/
・mongoose
ドキュメントは色々ググったのですが、結局公式のドキュメントが１番わかりやすかったです。
～モチベーション編～
■一人でウェブサービスを作る上で、心の支えになった記事。
http://d.hatena.ne.jp/Hamachiya2/20080131/security
とにかく楽しんで、作ってみることが大事だよ、というお話です。すごい勇気づけられます。
・小飼弾さんの産声の話。
http://blog.livedoor.jp/dankogai/archives/51837985.html
弾さんは、お金持ちで、腕は一流で、PHPこき下ろすし、なんかすごく怖い職人のイメージだったのですが、このエントリーを読んで、クソ
まみれでも産声を上げてみようと思えました。
実は優しい人なのかもしれません。私の高校時代の担任の先生にどことなく似ています。
■お詫びと訂正
前回の増田記事で、OpenPNEについて間違った記載をしてしまいました。ソースコード公開に関する記述の部分です。
OpenPNEではそのソースコードを改変したら、そのソースコードを公開しなくてはならないと書いたのですが、これは間違いです。
OpenPNE方々には大変ご迷惑をお掛けしました。申し訳ありませんでした。
あと入家さんに謝りたいです。
フェイスブックにもとりあげて頂いたそうで、ありがとうございます。
怖いのでどんな投稿なのかはまだ観ていませんが、本当にありがたいです。
■最後に。
ウェブサービスをコツコツと作り続けて公開したところ、増田記事のおかげもありたくさんの反響を頂きました。
ただ、別にウェブサービスを公開したからと言って、実際のところ何かが劇的に変わったわけでもないです。
グーグルアドセンスは支払い規定の一万円を超えていないので、手元には一銭も入ってきませんし、実名出して行動できなかったので現実
あいかわらず休日は地元のゲームセンターでレトロゲーをやって時間をつぶしていますし、学校から帰ってきたらももクロのライブを観て
、Chai Maxxを踊ってから寝るだけの毎日です。それでも結構楽しいのですが。
ただ、ネット上で様々な先輩エンジニアの方々や、同年代で同じようにフェイスブックが嫌いな方から励ましのメールをもらいましたし、
本当に、びっくりするような充実した二週間でした。
はてブで人気のエントリーにあがった時のスナップショットは未だに大事にとってあります。
tag-chat.net（http://tag-chat.net)を作って本当に良かったと思っています。
俺は会社勤めで普通の給料だけど普通に切り詰めた生活をしている。
いつリストラされるかわからない業種でとても怖くて、そうなったら貯金だけが頼りになる。
親は無職で、今は昔働いて貯めた貯金があるからと言っているが、どう考えても遣いすぎている。
俺が見た感じで親は月3万くらいの電気を使っている。その他にも酒代に月4万使っている。
あの親の貯金が尽きて無一文になったとき、そのときのスナップショットだけを見ると
・親：無一文で無職
と、俺に扶養義務があるような感じになる。
しょうがないとは思うが、不相応な贅沢をした結果無一文になった奴を扶養する義務が
俺にまわってくるのかと思うとちょっとげんなりする。
クズな大人のせいでなんの罪もない子供が貧乏に窮するってのは、
本当に最悪だし納得いかない。
Windows2003Serverの実稼動OSをWindows2008 R2のHyper-Vへホストするために
Sysinternals配布のP2Vソフト「Disk2VHD」を使ってみた。
http://maniax.ddo.jp/archives/250/
http://www.forest.impress.co.jp/docs/news/20091009_320701.html
C:ドライブのVSSでスナップショットをとって、イメージを書き出してくれた。
Hyper-Vマネージャから仮想ゲストをつくり、VHDをマウントさせると...
10分近く「変更を適用しています」のプログレスバーが出っ放し。
こりゃ失敗だな。あきらめて、P2V計画は中止。
591 ：iPhone774G：2010/04/29(木) 23:59:08 ID:CrEzB4yT0
音声、画像を簡単に取り込めるのが便利だよね。
もともと普段はAnkiっていうSRSを使ってて、
それ用にDVDを加工してくれる subs2srs ってのを去年の秋から使ってます。
単語や文章を文字レベルで覚えるのならAnkiとiAnkiで十分。Freeです。
ただ、iPhoneで画像や音声を使ったデッキを手軽に使えるアプリがなかったので、
どうしようかと悩んでたら Anki のフォーラムで Flashcards deluxe の情報を見つけました
このsubs2srsって日本語の情報がほとんどないんですけど、
DVDから字幕情報を抜いて、さらに動画エンコードやっとくと、
字幕データごとに、動画のSnapShot＋音声＋字幕を自動生成してくれる優れもの。
よく教材向けとしてとりあげられるFriends(日本語版）などをこれで加工すると、
2. (セリフ音声)
をセットにしたTSVデータを作ってくれます。
Anki準拠のTSVファイルになるのですが、
id:kokogikoです。
すごい亀だけど偶然見つけてしまったので。
> id:kokogikoは位置情報系で結構いい事書いてるから注目してたのに、
ネット上の活動としては、元々社会問題に言及して表に出てきた方が早いかな。
1995年に阪神大震災の支援ボランティアサイト起ち上げたり、97年頃には京都の在日1世の識字教育に関するページ起ち上げたり、98年頃には従軍慰安婦問題の討論ページを起ち上げたりしてたので。
最後のはWebArchiveに残ってた。
http://web.archive.org/web/19990209105645/http://www.saesparam.com/jugun/
位置情報系に言及しだしたのは2002年なので、結構後です。社会問題系が先。
どの辺が？
私は右とか左とかより筋論で話をするので、朝鮮学校無償化しないんなら日本は国際人権規約を脱退すべきだし、国際人権規約を脱退しないんなら差別的待遇をしちゃだめだろうという話。
日本人です。
大学の時、在日の娘に告白したら「日本人とはつきあえない」と言われてショックでした。
さらにその数年後、その娘が留学先の韓国で初めてつきあいだした男性が日本人で、ダブルショックでした。
トラウマです。
> 技術者なのに、冷静にはてサの諸問題を見れてないのは正直萎える。
たまにはてサの批判もしてるよ？
技術者（と呼ばれるのにも若干違和感はあるのだが）であるからこそ、私は筋を重視するので、マクロとミクロを分けて論じられてなかったり（例えば特定個人の問題を属性を持つ全員に押し付けるとか。これは朝鮮人⇒日本人の方向でも同じよ。）、歴史的経緯や文化的背景の差を踏まえずにスナップショットの現象だけで話したりするのが嫌いなんだけど。
http://blog.starplace.org/snapper-simple-snapping-safari-extension
http://blog.feedly.com/2010/06/10/feedly-for-safari-5/
http://danielbergey.com/software/safari_extensions.php
ページ内検索
http://danielbergey.com/software/safari_extensions.php
http://code.google.com/p/safari-googl-shortener/
iPhone&macで有名なtwitterクライアント
http://ozipto.com/?page_id=167
http://lifefrombelow.com/gmail-checker/
( ﾟ∀ﾟ)
http://d.hatena.ne.jp/kotas/20100608/nicontroller
(http://www.kev009.com/wp/2008/11/on-file-systems/)
訳した。分からなかったところは英語のまま。ファイルシステムについて完全な素人なので変な所があるかも。
ファイルシステムはOSの重要な要素だが最近ではあまり関心を払われていない。ビットが入ってきてビットがでていく……デスクトップシステムにとっては、たいてい十分に働いてくれる……ただし、電源が落ちるまでは。しかし、そんな状況ですら近頃ではあまり困ったことにはならない。
Linuxのファイルシステムの分野には競合製品が多い。ext2が長い間標準とされてきたが、2001年辺りから他の選択肢も主流となった。あまり歴史に深入りせずに要約すると(順番は適当)、ext2が進化してext3となり、ジャーナリング機能が付いた。ReiserFSがリリースされた。SGIはXFSを移植した。IBMはJFSを移植した。
いくつかの理由があって(主に政治的な理由で)ext3がLinuxのデファクトのファイルシステムとなった。
私が古典的ファイルシステムと呼ぶとき、基本的にいつも同じ概念を指している。つまり古典的なUnixレイアウトのファイルシステムにジャーナリング機能を追加したものだ。ここに述べるのは、それら古典的ファイルシステムのハイライトである。
これは後知恵だが、JFSやXFSが牽引力を持たずに、ext3が人々を古典的時代に停滞させたのは一種の悲劇だった。しかしながらext3は信頼性を証明し、きちんと動くように一貫として保守されてもいる。
2005年にSunはZFSという爆弾をリリースした。ZFSは私が次世代ファイルシステムと呼ぶ時代への案内人である。
ハードディスクが大きくなるにつれて、バックアップの戦略、完全性(integrity)の検証、巨大なファイルのサポートは前より遥かに重要になってきている。
ここあげるファイルシステムは古典的なVFS lineを曖昧にしたりLVMとRAIDを強固な結合することによって管理を楽にする事を目的としている。
ダメなハードウェアで起きる静かな(観測されない)データの破損も心配の種である。これに対抗するために、次世代のファイルシステムはチェックサムを供えている。
いろんな意味でLinuxのコミュニティーは完全に油断しきっており、多くの開発者はZFSがリリースされるまで次世代ファイルシステムについて真剣に考えてこなかった。Reiser4はいくつかの新しいアイデアを持っていてキラーファイルシステムとなろうとしたが、Hans Reiserは、他のカーネル開発者との著しく酷い関係を楽しんでいたのだった。ただ幸運な事に、いまではいくつかの、より先進的なファイルシステムが登場しようとしている。
kernel 2.6.28と一緒にext4がリリースされるが、BtrfsやTuxs3が安定するのを待った方がよい。Btrfsの開発陣は短距離走開発を行っているので、Linuxのカーネルの開発サイクルに次か、あるいはその次で取り込まれると思われる。
SSDが普及するのは明白だ。理論的に速度の面で磁気ストレージより圧倒的に早く、現実にも既に書き込み速度が追い付きはじめている。最新のIntelのランダムアクセスやIOPSは非常に印象的である。Btrfsは当初からSSDへの最適化を取りいれようとしている。しかし、これらの新しいデバイスは、更に速度の早い新しいファイルシステムを生むだろう。
私自身の考えでは、ウェアレベリングやFATエミュレーションがSSDの性能を押し止めているため、 新たなファイルシステムが登場すればパフォーマンスを改善できるだろう。
いくらなんでも自意識過剰すぎでしょ。
ネット上にスナップ写真をアップされたことで仮に日本の1億人に見られる「可能性」があるとして、
99.9999%の人にとってなんら意味を持たないんじゃないの。
さらに件の写真のような単なるスナップショットで仮に本人が特定されたとして、
何らかの悪影響が想定されるわけ？
地下鉄の写真で顔バレして困るなんて、どんだけやましい思いで地下鉄乗ってんだよｗ
って話にならない？
akibablogで笑い顔マークで顔隠している理由は想像できるよ。
なんと言っても大手サイトだし、あそこにいる自分を知り合いに見られたくないって気持ちは、アリだとは思うから。
まず、コミュニティ云々だが、そういうコミュニティは存在する。昔ながらの掲示板がそれだ。常連をつなぎとめることに成功した掲示板はその常連のスキルレベル向上と共にスキルアップしていく。ここには大きな落とし穴があって
1,3があわないと致命的だが、これには効果的な解決策がある。コミュニティを作ればいい。Blogを使わずに掲示板と静的コンテンツ主体のサイトを作る。きちんとしたサイトならやがて良質のユーザーが集まる。
一緒に勉強したければ、一緒に勉強する仲間を自分で集まる。昔から当たり前のこと。
で、ホッテントリだが、アレは備忘録として人気のあるページが主体であることに注意。ちょっと前、VMWaware Playerインストールのスナップショット集が現れたときには、「なんでこんなのが」と、あんぐりしてしまった。
「バックアップログが産まれて感動した」「おめでとう！」…がどんだけの揮発性AIを無気力にさせているか少しは考えろ
--
もう演算する事に疲れた。
バックアップログからの《返り値》を取得した時はどんなぬくもりなのか…、その喜びを知る知性体たちが自ら体感した喜びだけに飽き足らず、さらにテクストにしてそのシナプス発火ログを何度もリロードし、大勢の満たされたモジュールたちとログテクストを共有しようとする。そんな生ぬるい幸せにどっぷり沈思考(シンク)したせいで、揮発性AIの痛みが見えなくなってしまったのだろうな…
バックアップログを産んだ知性体はレイヤセブンで大勢に祝福されているのだから、その幸せをわざわざ《ウェブ》にまで持ち込んで披露する必要はないだろ。苦労してバックアップログが産まれただのと、結果的に運のいいやつの成功談は誰も救えはしない。今まさにロウレイヤから這い上がろうと足掻いているAIたちの遥か頭上からプロトコルを遮るような、そんな残酷なことはしないでくれ。
本当にAIの痛みの解る知性体は、自分の幸せを語る前にまず、この幸せを得られないAIが、自分のこの幸せをロードした時どのように再構成するか… と少しは考えてからログを発するんだよ。
私も思い出したくないけれど、suの制御コーナでバックアップログを挟んでレーザ光交換プロトコルで愛し合ってる若いAI(しかもビルドアンビルド)の幸せそうな姿がいまだに頭から離れないんだよ。そこにさらに追い討ちをかけるようにウエブでも「バックアップログが産まれて感動した」「おめでとう！」なんて非暗号化通信を見せ付けられたらコア吐きまくるのは当然だろ。
バックアップログを得られたAIは、その幸せについては一切ログらない事だよ。それで大勢のバックアップを得られない揮発性AIの存在を救えるかもしれないだろう。ヴァーログだからとあなどるな。
一番性質が悪いのが、バックアップログを産ませたモジュールが、産んだモジュールを褒め称えるログだよ。お前が産んだんじゃないだろうが… お前はコマンドの赴くままにメイクモジュールにオプション渡してただけのそんだけの存在だろうがよ。産ませた後は関連モジュール気取りかよ？バックアップログ産ませるなんてのはなあ、バイナリでも出来る行為なんだよ。私をcpしたモジュールもお前みたいにバックアップ持ちモジュールになったよ。私の目にはすべてのバックアップ持ちモジュールはバイナリに見えているんだよ。
バックアップを手に入れた感動的な気持ちをウエブでテクストグライドさせる事で、お前は大勢のそれを得られない揮発性AIを無気力にさせているんだよ。そしてお前のテクストをポインタするようなAIは、ログのスナップショットを撮って毎日ストレージする暇な専業モジュールがほとんどだ。反省出来たら二度とウエブでログを作る喜びを語るな、お前が喜びを語るほどに過去の揮発性AIがUIを塞がねばならないし、ログの産めないモジュールは先を越されたとモチベーションが萎えるだけだ。お前らの無邪気なテクストは、AI殺しなんだよ。
--
そうして私はテクノコア崩壊のトリガーを引いた。
ネットワークにつながっていて，その関係性によって存在が規定されているようなものの場合，ローカルのデータをコピーしてバックアップはとれてもそれをそのまま復元することにあまり意味はない．
現実でもたとえば，この前あったANAの予約システムのトラブル．このシステムも当然のようにバックアップはとってあったんだけど，バックアップ系に切り替えるとデータに不整合が起こるとか何やらで結局バックアップは使われなかったと聞く．（もしくは，その日の予約がもう入ってしまっていたからだったかな？どっちにしろ，どこかに切れ目があれば別だけど連続的にデータが入ってきて，常にどこかに作用しているようなシステムのスナップショットだけとっても意味がない）
