2013-07-16

ビッグデータの何が新しいのかが分からない

最近クラウド」、の次に出てきた「ビッグデータ」と言う単語だが、

なんでこれがもてはやされてるのかが分からない。

色々見てみても、つまりは得られたデータがあり、そのデータを解析してみました、と言うだけにすぎない。

物凄いbreakthroughがあったような印象を受けるが、見てみれば何のことはない、単に得られるデータが大きくなっただけ、としか見えない。

(この辺自分の知識が足りないだけかもしれない)

しろデータが少ない時はまじめに考えないとそこから何も抽出出来なかったが、

データが増えたんだから適当にやっても色々分かるよ!、と言っている様にしか聞こえない。

風が吹けば桶屋が儲かるみたいなことが見つかるよ!的な事を言ってる記事もよく見る。



データ量が大きくなろうが少なかろうが、そのデータがどれだけバイアスがかかっているもので、

その量から得られる結果の誤差がどれくらいなのか、と言うことが大事のあのであって、

量が多ければその統計誤差が減る、というだけの話。ただそれ以上の系統誤差があるならば無駄データ量を増やしても無駄

から得ようとしてる結果が統計誤差が主でどうしようもない状態、と言う場合でなければ意味が無い。


ただ、Yahoo選挙に関するビッグデータ解析みたいな話もあったが、その辺どこまで正確にやっているかも分からないし、

これまでの選択的なサンプルに比べてどれだけ正確なのかも分からない。

ただただサンプル数が増えてそれぞれにおける情報量も増えたので適当相関関係を調べてみました、というだけ。

別にそれは新しい視点、と言う意味別に良い。だけど、それは今までの調査に比べてどれだけ正確でどれだけメリットがあるのかが全く不明。

はっきり言ってその辺1000人に聞きました、と統計的にどれだけ優位性があるのかが全く分からない。

(もしかしたら数値全部公開してて見れば分かるのかもしれないけど)


ビッグデータ解析によってデータアナリストの数が足りない、とか言っているが、

要するにこれまでまともな市場調査等を一切してこなかった、ということでいいのだろうか?

そんな感覚で行ってきた集団が、いきなりそんな解析結果を持った所で役に立てられるとは思えない。


ビッグデータのこれまでにあった統計処理に比べた本当のメリット意味、新しいこと、っていうのをを教えてくださいエロイ人。

  • 普段日経しか読まないような頭の悪いオッサンを釣らないと儲かんねーだろ。 美少女カードやエグザイルカードでオタやDQNを釣るのと同じ。

  • ビッグデータがこれまでの統計と違うのは、データがデカすぎてこれまでの方法では計算が終わらんのですよ。そのためたくさんのコンピュータでの並列処理とかアルゴリズムが工夫さ...

    • や、だからそれただの統計処理じゃ...

      • ビッグデータはインフラ技術であって、別に統計学的に新しいもんなんてねーよ。常識だろ。 せいぜいSGDとかのオンラインアルゴリズムが発展したくらいだな。それも別にビッグデータ...

        • じゃあそのインフラ技術のどこが新しくてすごいんだ? 常識として知られてる範囲でいいから教えてくれ。

          • 自分でやってみればわかるよ。 既存の方法じゃ、ペタバイトクラスの統計処理なんてできないから。

            • 何をどうやるんだよ。 ペタバイトクラスのデータ処理なんて実験とかでいくらでもやってるとこあるよ? それら統計処理が施されてない結果なんて論文にならないからね? で、"統計処...

              • 1千万×1千万の行列の固有ベクトルをどうやって求めるのか考えてみな。

                • 横だけど、統計処理ってどのレベルの話してるの? もちろん主成分分析しました~ってレベルよりは高度の話をしてるんだよね?

                • http://anond.hatelabo.jp/20130716112155 http://anond.hatelabo.jp/20130716112141 ビッグデータ、 と言う物自体は、これまでは、大量のデータ、を得る事自体が無理なので サンプルを選んでそこから意味を...

                  • 1千万×1千万の行列の固有ベクトル なんでもいいけど、それ求めたから何なの? ビッグデータとどう関係あるの? うわ、ただの馬鹿だった…。 統計学について少しくらいは知識...

                    • 統計学について少しくらいは知識があって言ってるのかと思ってたら何も知らないだけかよ…。 義務教育の段階で算術平均に簡単なヒストグラムも書くようだし、万人に統計学の知...

                    • うわ、思った以上に話が見えない人だった。 別に統計学がどうこう入ってないだろ? んで何が新しくて何が違うんだ、って聞いてるのに。 そうだよ、単に何も新しくないじゃん、っ...

                  • 「新しい呼称を付けるからには、全く新しくて素晴らしいものが突然に生まれてきたはずなのに、僕の期待を裏切ったな!」って言ってるだけだな。

              • Wikipediaでも読んだら?

                • だな。ぐぐればわかるようなことをわざわざ増田で聞く&教える意味はない。

                  • wikipediaみてもただデカイデータだぞ、ってことしか書いてないし、 ここで言ってる人達は皆言ってること違うし、 まあ、大半が素人で何も知らない奴が受け売りしてるんだろうけども。...

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん