「hadoop」を含む日記 RSS

はてなキーワード: hadoopとは

2011-02-10

http://anond.hatelabo.jp/20110210172926

から、100万件にするために、どんだけユーザー数が必要なの?

フルメッシュじゃないとした場合に。

ユーザ100人が たとえば1日10ツイートするとして 1000ツイート 100万件に達するのに 1000日 約3年

ユーザー数1000人なら 100日。

 

何が言いたいかというと、100日もかかるなら、バックアップタスク (たとえば5日ごとに分割)しても 1日あたりの件数はたかが知れてるから

余裕で持つだろ。という話。

ちなみに、100万件でもう崩壊しちゃうの? 数百万件ぐらいつっこんだことあるけど・・・このレベルは平気だよね?

 

Hadoop勉強するより先に、1万人のユーザーを集めることを先に考えたほうが良い。という話がしたかっただけ。

Hadoop勉強する のが3ヶ月としても 3人月で人を雇うのと 3人月分の既存スペックマシンMySQLとどっちがいいか?というのは超微妙

ユーザー数がたくさんいるなら、そのとおり。

テーブル分割やDB分割 サーバー分割が必要なのもそのとおり。

ただまぁ・・・単純な直列テーブルだけなら、やり方はいくらでもあるし、商用クラスHadoopか?他の競合製品が出てこないか?というのは、しばらく様子見でしょ。

調べたけど、フェイルオーバー関連がまだ微妙な部分があって考えないといけないよね。

 

Google 自体が Hadoopのつかっていた、なんたらほうしきだっけ?やめて、次のアーキテクチャーにしました。ってレポでてるのに、次もHadoop保証いし。様子見。

http://anond.hatelabo.jp/20110210084023

しかし今はまさに超大規模データをほぼリアルタイムで解析して加工しなおされたデータにこそ富を生み出すポテンシャルを秘める時代だ。

つまりhadoop向けDSLが伸びるって事ですね。わかります

でもこの人にpigとかhive提案したら怒られそうだなw

JAVAHadoopを産んで超強力になったということ?

ならLL言語HadoopAPI周辺を糊付けしにかかるんじゃないかなあ。あるいは生成する中間コードそのものをJAVA的なものにするとか。

http://anond.hatelabo.jp/20110210084023

2010-11-16

今日東京セミナー行ったんです。セミナー

そしたらなんか人がめちゃくちゃいっぱいで入れないんです。

で、よく見たらなんか垂れ幕下がってて、Hadoop、とか書いてあるんです。

もうね、アホかと。馬鹿かと。

お前らな、Hadoop如きで普段来てないセミナーに来てんじゃねーよ、ボケが。

(略

2010-07-02

Dreamweaver=最新のweb技術」??

以下のようなツイートをしている人がいたんですが、どうなんでしょうかこれ?

http://twitter.com/shinoegg/status/17487294651

Dreamweaver最新版の使い方をマスターする=最新のweb技術をマスターする…のような気がする。


まず初めに断わっておくと、私はソフトウェア会社で働いてはいますが、Webエンジニアではないです。LAMPを使って個人のWebサービスを公開している程度のものです。

Dreamweaverを使ったことはないのでどのようなことができるのか分かりませんが、私の感覚ではなんか違うなーと思ってしまいます。

多分「最新のweb技術」がこの人とは違うので違和感を覚えるんだと思います。この人の「最新のweb技術」を勝手に推測してみると


それに対して私が思う「最新のweb技術」は



と、ここまで書いて思ったのは「プログラマー」と「デザイナー」の違いなのかな。

「最新のweb技術」は環境、職種によって様々だと思うけど「Dreamweaver=最新のweb技術」というところに引っ掛かったので、ちら裏的に書いてみました。

そもそも全てOSSで開発してたらDreamweaverという選択肢は無いですよね。

Flashはどうだか知らないですけど。

2010-01-28

http://anond.hatelabo.jp/20100128004640

そして使えることを技術だとのたまう事。そんなんで技術が付くかカス

Hadoop使ってないで、key-value位は自作しようとしやがれ。

結果使うことになっても、作ろうとした過程で手にした経験ほど面白いものはないはずだろ。違うのか?

ここだけ納得いかねー

数と深さと新しいもの使い足りてない方が問題なんだって

IT土方なんて、ただの甘えでしかない

自分仕事を「IT土方」なんていってる奴に出くわした。はっきり言えば、ただの甘え。と言うか、愚図。

こういう連中のせいで、エンジニア全般の価値が下がっているわけで、さっさと営業でもなんでもやってりゃいい。

お前と俺が同じ職業?ご冗談もほどほどに、だ。

出来るといわれる人々は、下記を否定しないはずだ。

エンジニア仕事ほど、未来があって、毎日が新しいくて面白い仕事はない。

これから先、人の生活に益々コンピューターが入ってくる、ハードウェア技術進歩もまだまだ止まらない。

そろそろ頭打ちになって来たって言われてるCPUだって、まだしばらくはムーアの法則に従う見込みだ。

シリコンフォトニクスとか夢見たいな技術も実現すべく日々研究されている。

そうしてハード進歩すれば、開発技術もあたらしくなる。当然そこに新しい仕事がうまれていく。

仮に量子コンピューターが実現すれば、言語そのものに変革が起こる。

それを学べるってだけで涎が出るだろ?でなきゃおかしいんだよ。

毎日同じ様にだ。今持ってる知識で解ける範囲のみで仕事をしてれば、それは昨日とは何も差が付かないし面白い訳がない。

日本エンジニア馬鹿というかクソだと思うのは、平気で人が作ったものを何も考えずに使って仕事をすること。

そして使えることを技術だとのたまう事。そんなんで技術が付くかカス

Hadoop使ってないで、key-value位は自作しようとしやがれ。

結果使うことになっても、作ろうとした過程で手にした経験ほど面白いものはないはずだろ。違うのか?

そしてもうひとつ日本エンジニアの大多数は数学がまるで分からないってこと。

いいか。エンジニア文系仕事じゃない。コーダーエンジニアプログラマって括りでまとめるな。

エンジニアリングを本気でやるなら、他の工学と同じようにコンピューターサイエンスを理解し使いこなせるだけの

数学の素養が必要だ。線形代数とか微分積分解析学エンジニアなら離散フーリエ解析くらいはわかっていて当然だろ?

だから思う。

IT土方とか言ってる奴は甘えてないで、仕事の中に面白さを探して作ればいい。

C#を使ってるなら、バリバリクロージャーを使えばいい。

プロジェクトが火を吹いてるなら、アジャイル・ディベロップメントでも試せばいい。

何か面白そうな論文を見つけたなら、読んでおいていつか実装しようと虎視眈々と狙ってればいい。

アルゴリズマーの知識が羨ましければTopCoderにでも行けばいい。

ソフトウェア世界にはコミュニティが幾つも開かれていて、学ぼうとする人や毎日を変えようとする人の

全てを受け入れてくれる。そりゃあ残業が多くて時間がないのかもしれない、それなら残業しないで余暇

勉強に当てられる環境転職したり、仕事の10%を勉強に当てる事を認めさせたり、したらいい。

ソフトウエア世界には、面白いものがいくつでも転がっていて、そして誰も拒絶されない。金も殆どの場合

かからない。だれでも、第一線の技術を作れるし、学べるし、楽しめる。

俺は6年エンジニアをやって3回転職したよ。海外でも働いた。

今は楽しんでいるし、この仕事を死ぬまで楽しんでも居たい。

今IT業界がつまらないと思ってる人は、もう一度言語を学び始めた頃の気持ちを思い出してみて欲しい。

あの頃は毎日が面白くて、試してみたいこと、知りたいことが山の様にあったはずだ。

その気持ちを何年でも変わらず保ち続けることが大事だよ。

IT土方なんて、ただの甘えだ。

毎日が楽しくなるなら、営業でもなんでもやればいい、ただし営業だって学ばないやつは使えないと思うよ。

ただ逃げたいだけの奴には、逃げ場なんかどこにもない。

2009-08-04

雲をつかむような話

今朝の日経1面に日立とか富士通クラウドに100億づつ投資、みたいな煽り記事が出ていて気持ちが暗くなる。VM の個別のインスタンス毎に(OSアプリレベルの)設定は違うし、RDBMS を明日捨てるわけにもいかないだろうから、物理的なサーバスイッチの構成が多少均一化されたところで自分の知識が1年後には全く無用になっている筈もないのだが。とりあえず VM ハイパーバイザと hadoop 等の練習はしといたほうがいいかも、ただ未経験なら採ってはもらえないらしいからやっぱりジョブリレバンスは疑問。

クラウドというのは廃熱は減らしても物理ノード数を減らす方向には行かない(Core 7i をやめて Atom を複数並べる方向ということ)から、大手系列チェンジニアにとってはむしろ朗報なのだと思う。DC電源化もなんともいえない。やっぱり AC で行くような気がする。iSCSIイーサネット給電も(IP電話端末を除けば)普及していないし。

ログイン ユーザー登録
ようこそ ゲスト さん