  |
はてなキーワード: ビッグデータとは
ん？なんか勘違いしてね？
SIerはとにかく何でもいいからシステム導入したいし、顧客はビッグデータ！とか言いながら
日経ビジネス程度の知識しかないんだから、実質的にやることの内容はどうでもいいんだよ。
出てくる結果的には回帰分析程度のことやっとけばSIerの顧客おじさんは満足するし(それ以上のこと見せられてもよくわからない)、
あとあと困ったことになれば保守契約でSIerおじさんは儲かってハッピーになる。
要するにそれだけのことを「業務知識豊富なSEがビジネスロジックを深く理解して顧客価値を最大化します！」とか言いながらやるだけ。
日本の(顧客側)大企業で、ソフトでマジに儲けてる会社なんて存在しないから、他の部門が出してる収益を食い潰してシステム部門のおじさんが仕事のような何かをしてるだけ。
それは肯定するけど、Googleの規模が、コンビニの規模と同じって事か？あきらかに規模小さくね？
http://ja.wikipedia.org/wiki/%E3%83%93%E3%83%83%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF
ビッグデータのサイズは、常に動いている目標値であり、単一のデータ集合内では、2012年現在数十テラバイトから数ペタバイトの範囲である。
定義上は 多めに見積もってようやく 下限ギリギリに入るけど ペタバイト クラスが 一般的なビッグデーターじゃね？
１桁から２桁 足りないよ。
売上高から逆算すると１レコード１K ぐらいで、ようやく１テラ／月だけど 正規化された売上DBは普通１レコードそんなに無い。
※侮蔑表現が入っていました。ごめんなさい。
だから何台なんだよ。スパコンだってさっこんはクラスターなんだから台数は重要。
PC１０台でできるようなことは、ビッグデーターとは言わない。
ちなみにビッグデーターの生みの親Googleは 世界中で 日々検索されているデーターだぞ。
Googleの１日の検索とその過去のデーターの組み合わせを ビッグデーターと呼んでいるのに
お前らは たかだか日本のコンビニだけでGoogleと勝負する気か？
コンビニ１店舗で、クラウド使って 数千台のPCで同時並行処理する必要性があるか？
今日日のPCならSSD積んでCorei7とかなら バッチ処理で良ければ かなりの数のコンビニでもPC１台で処理できるだろ
全然 ビッグじゃないだろ。 クラウド以前から出来たことはビッグデーターじゃない。ただのデーター解析。
商品を売りたいから 既存のただのデーター解析ソフトを ビッグデーターといって売ろうとしている人達がいるんだろ。
よくある。もうビッグデーターは終わった。
一時期の メイドカフェ を 頑なにメードカフェと書いて、自分たちが決め用語ルールは徹底的に守るくせに
10年前から扱える情報、しかもモロに商品情報なんてビッグデータって言わないから。
いいや、ビッグデータ以外に無人コンビニで売り場を作り込む方法はない。
入店した顧客の全属性データを自動で取って、手足の動きはもちろん、視線の動きも全部取る必要がある。
もちろん、ビッグデータなんて単語が登場する以前から拾ってた天候だの気温だの季節要因だのも拾う。
昼の番組でみのもんた（じゃないや）が何を勧めるのかなんとか、そういう情報も従来通り使う。
だが、客の、購買に至る前の情報を拾わずにコンビニの売り場を作ることは無理で、これを無人化コンビニでやろうと思えばはビッグデータというバズワードが登場してから（あるいはこれから）の自動化手法しか頼れる物はない。
そこまでやってやっと、現在の売り場と同じ精度で売り込む売り場を作れる。
要するに現在ベテラン店員が店先に立って空気感を感じながら接客しながら売り場を作ってるというのはそういうこと。
ベテラン店員（店長・オーナー含む）のスキルを安く買い叩く方が現状では得策であるし、予見しうる将来に逆転する可能性も低い
もちろん上記は嘘だ。
本当は「声かけ」ができないし、手書きポップの威力も大幅ダウンが見込まれるから、「何か」が開発できない限り売り場のパフォーマンスはがた落ち間違い無し。
そんなことはないよ。売れ筋じゃない商品はさっさと消える。利幅の薄い商品はいいものでも消えていく。
店にとっては売れるものがいいものなのかもしれないが、一時的なブームに左右されすぎて安定した価格の中程度の品質の良い物が売れなくなっていく。バブルだよ。
http://anond.hatelabo.jp/20140126203007
これがコンビニかといえばもちろん違う。売り上げ効率は遙かに、遙かに低下する。都市部であれば設備投資と土地代に見合うビジネスにはならない(自販機並べる方がマシだろう)。土地と人手の余っている地方部でも同様に成り立たないだろう。
コンビニは商品を置いて客が来るのを待っているだけの商売ではない。売り場を作り込んで、「売り込む」ことで成立している業態なのだ。
セブンが主導して作り上げた「タンピンカンリ」こそがコンビニシステムの中核だが、これは本来は常時店舗に人間が張り付けることで発生する、無駄な客待ちの時間を、商品を売り込むために売り場を作り込む時間に転換したということである
ビッグデータがバズワードで終わらなければ、そのうちに売り場作りも自動化できるようになるかもしれないが、そこまでシステム開発が進むとすれば、それは単に「人手の確保」が至難となり、店舗展開に支障が出るようになった場合だけだろう。
元増田の言ってることは逆で、人間がやるのが困難な仕事から機械化される、という「本来の機械化」がコンビニの場合での正解である
先回のエントリー( http://anond.hatelabo.jp/20140119132435 )はそこそこ好評だったようで、『Nexus5』でググるとトップページの上から2番目に表示されます(2014/01/24現在)。
Google先生のビッグデータをもってすれば、私を社会的に抹殺することは簡単ですが、メリケン人のデモクラシーとリバティーの精神はきっと私を赦してくれるはずです。赦してください。
前回までの話を三行でまとめると、
1. iPhone持ってるけどNexus5が欲しくなって衝動買いした。
3. Nexus5が文鎮になる。
です。
このGoogle製文鎮で何枚も『倹約』、『清貧』といった戒めの言葉を書きました。ちなみに給料日までの食費は弟(18歳)に借りました。
お習字にはもう飽きたので、今回は『文鎮化したNexus5をiPhoneライクな使える端末に変える』話を書きます。
以下、私がした具体的な作業を列挙します。
『既に持っているiPhoneと同じアプリをインストールする』という、既に結論が最初から決まっている会議と同じくらい有意義な作業をします。
Android用がリリースされていない、あるけどイマイチ使い勝手が良くないアプリは、代替物を頑張って探します。
私は『GoodReader』の代用品を見つけるのに苦労しました。というか、見つかりませんでした。Good〜を作ったヤツは天才だと思います。Good！
ニコ動プレイヤーは非公式アプリ( https://play.google.com/store/apps/details?id=net.binzume.android.nicoplayer&hl=ja )が良いです。
Google日本語入力は賢いです。ATOKに1,500円払う必要はないんじゃないかな。
有料アプリを買う時は、セブンイレブンで売っているGoogle Play ギフトカードを使うと良いでしょう。
Nexus7が当たるキャンペーン( http://vdpro.jp/google.seven/ )をやってます。もう要らないわ。
施策② 動作を軽快にする
バッググラウンドでメモリを喰っているタスクを減らす作業をします。
Zapper( https://play.google.com/store/apps/details?id=com.lookout.zapper&hl=ja )のようなタスクキラーアプリを使ってメモリを解放します。
必要に応じて各アプリの設定を変え、なるべくメモリを消費しないようにします。
とりわけ勝手に常駐したり、バックグラウンドで動き出す迷惑なタスクはぶった切っていきます。
これは諦めました。
あまりiPhone風の見た目にならなかったり、パソコンとデータをやりとりしたりと面倒です。
好事家は『Android ウィジェット iPhone風』でグーグル先生に相談してみてください。
Nexus5をiPhone化するために私がやったことは以上です。
他にも、Nexus5用クリアケースを魔改造して外観をiPhoneにするという考えが脳裏をよぎりましたが、既に結論が(ry くらい非生産的なので自制しました。
あとはカスROMでしょうか。カーネルに手を突っ込んで、本当に文鎮化したらテンション爆アゲ↑↑ですね。
上に書いたことをNexus5にしてあげると、多少は使える端末になります。
同じことをすれば、他のAndroid端末も利便性が向上するのではないでしょうか。
ただ、機種によっては『消せないゴミアプリがプリインストール』されていたり、『OSの更新をメーカーが真面目にやらない』といった困難があるようです。諦めましょう。
まぁ、一番良いのはiPhoneを使うことなんですけどね。誰か、私のNexus5買ってください。弟への借入金返済に充てます。
ふと思ったが、「棒グラフ」「折れ線グラフ」とか、「グラフ」と言う観念を発明した人は天才だと思う。
グラフが発明されてなければ、技術や経済発展のスピードは１割程度遅くなっていたのでは？
Ｘ軸Ｙ軸にバルーンの大きさが加わるため、三次元で変数を可視化出来るスグレモノ。
バルーンの色やグラデーションを変えれば、四次元の変数を表現できなくない。
（但し最初にバルーングラフの読み方を聴衆に説明する必要あり）
カルビーは、経営者が２０種の経営指標グラフを毎日チェックしながら経営する「コックピット経営」しているそうだが、
多分こういう「多元グラフ」も活用してるんだろうなあ、と思う。
その前に「各種変数をいかに最適に可視化、グラフ化するスキル」の教育が必要じゃないか、と思う。
零細商店主とかラーメン屋のオヤジとか、各種経営データをグラフ化するスキルとか持ち合わせてないだろうなあ。
> Githubにアクセス出来ないと言ってもイマドキのエンジニアは誰も信じないだろう
え、事業部は数年前からはてダアクセス禁止だったし、yumやapt-getとかもっての他でパッケージ一つ毎に上司の承認が必要でしたが？
横浜研究所がなんなのかあんま把握してない(元シ研かな？)けど、Linuxとストレージ関係の部門とは・・
自分は優秀じゃなくて落ちこぼれで外に出ていきましたが、ほんと所員に外見てきてほしいとは思う。
ところで自分がやめるとき周りの人全然Hadoopとか知らなかったんだけど、ビッグデータ周りの推進は研究所主体ということで合ってます？
(高速独自DBの可能性もあるけど)
初めまして。前回「Web系の会社を解雇されて思った事 」を皆さんに読んで頂いて大変うれしい。自分はと言うととりあえず会社らしき所で働いているが、もう辞めたい病発症中だ。以下辞めたい病の内容を職種別に話そうと思う。
Webという仕事をやってて一番嫌いなのがこのデザインと言う仕事だ。大手企業に入社できない大手病まっしぐらの28歳の自分としては、どうしても事業規模の小さい会社で仕事する事が多く、デザインの方向性から自分が担当する事がある。ここで俺がデザインを嫌いな理由は「そもそも何でデザイン作成や改修をするんですか？」とやる目的が見えない時があるからだ。まずデザインや文章を書いていく上で重要な事を書くと、
1.相手に何を伝えたいか？
2.どのような伝えていく事で、相手にどのような印象を与えていくか？
の2つ。例えばこの文章は「俺が仕事の愚痴を書いて、皆さんに共感してもらう」事や「こいつはこういう仕事が向いていない奴」「こいつは仕事本体より愚痴になると心が踊る奴だ」と言う印象を皆さんに与える為に書いている。
さてAKB48だろうと「普通な女の子が歌う歌」と言う方向性があるし、西野カナにしても「失恋に悩む女の子」と言う方向性があって、それに則ってお金を取っているわけだ。その点を煮詰める事が一番肝心だし、そもそもの方向性が定まってないのにサイトを作るのは「敢えて言おう。無駄であると」と言いたい。
それこそサイトを受注する料金がかかるのならば無料ブログでも良い。それこそキャバ嬢や風俗嬢の女の子が個人サイトでも持って営業したからと言って、収益に結びつくのだろうか？否そうではない。要は見た目の良さや機能性のみだけがサイトや商品の善し悪しを決める訳ではなく、相手に合わせ的確なものを選ぶのが肝要であり、そういう話が無いデザイン会社を受けるのは絶対に受験するのを止めろと言いたい。キャバ嬢から話を話して、千葉県のCafe GAKEのブログなどを見ていても思う事で、そのお店の雰囲気や店長の人柄が伝わればそれで良いと思っている。
さて3社目にいた時はどうだったか？機能や見た目に浮かれるような上だったからこそ最悪だった。結論から言えば「Photoshopでスライスし、パーツ画像を作成するコツと方法(Webクリエイターボックス)」に書いてあるようなPhotoshopのスライスの切り方や、各部分の間隔のそろえ方などデザインに関する技術を覚えられたのは良かったと思う。しかし企画としては明らかに失敗と思うケースは意外にある。
具体的には「○○をユーザーによく見せる為に、△△なサイトのデザインにしていく」と言う何故このデザインにするの？と言う説明が無いままいきなり作ってと言う流れに。そりゃあ慣れないプログラム言語を使ってデザイン部分〜データーベース部分に至るまでほぼ一人でやっていた訳だ。しかし終始上は上で俺が作ったページが最高だ！と言わん顔。クライアントとの打ち合わせ会議から帰って来ると「サイトの画像のエフェクトを使うという冒険をしたくないのか？」とクライアントを非難する事を陰で言ってるあたり、そもそも何の為に作っているのかをお互い摺り合わせていない事がわかった。
無論技術を見せびらかして「素人目に見てこうした方が凄い」とのたまっていたが、はっきり言って見る人は絶対に見ない。そもそも今の俺がそうだから。と言う訳でどうも俺はデザインが似合わない事が分かった。
と同様に俺はプログラムと言う名の現場開発もどうも苦手だった。俺はエロ系のサイトの改修をやっていたときは「世界最強のエロサイトを作ってやるぜ」と息を巻いていた。しかしソーシャルゲームはどうか？お姉ちゃんのおっぱいも関係ないし、かといってお尻も関係ない生活が3ヶ月続いた。そもそも無機質なカードを見て欲情できる奴らの気持ちが理解できず、なんでこんな物で満足できるのだろうと思っていた。
しかし会社をクビになる頃、俺はすばらしい数学の問題に出会ったのだ。Twitter経由で「コンプガチャの数理 -コンプに必要な期待回数の計算方法について-:doryokujin's blog」に書かれていた、Coupon Collectors Ploblemと言う命題に非常に感激した。これはnを自然数としてn種類のクーポンの出現確率が同じと仮定した場合、n種類のクーポン全てが出そろう枚数の期待値 E(n) = n(1 + 1/2 +1/3 + …… + 1/n)(枚)となると言うもの。
この時マクドナルドで3種類のコーラグラスを集めるキャンペーンをやっていて、セットを幾ら頼めば良いかなんてのを暗算で弾いたのは良い思い出。n=3なのでE(3) = 11/2で、セット一種類当たりの値段が600円だから3種類全て出そろう期待金額= 600 * 11/2 = 3'300(円)なので、最初っから3種類買って全て集めたのは良い思い出だ。これがソーシャルゲーム時代に一番感激したないようで、ソーシャルゲームの運用のやり方とこのCoupon Collector's Ploblemの証明どっちを取るかと聞かれたら、すかさず後者を取るだろう。それくらい俺は物を作ると言う仕事に向いていないらしいことが分かった。むしろ統計学やデータマイニングと言った数学を駆使してできる商売や、商品企画などもっと上流の過程で仕事がしたいと思い探している。
6月の面接の段階で、機械学習やクラスタリングと言った知識に穴があった。最近ではその点を補う為に「データサイエンティスト養成読本 [ビッグデータ時代のビジネスを支えるデータ分析力が身につく! ] (Software Design plus)」のような本を読んで、取り合えず次の会社の面接官の話のタネになる知識を集めている最中だ。大学時代が贈処理の研究をしていて、クラスタリングと言う単語は聞いた事があった。しかし実際に触れてなかったので改めてここで復習をしているのだ。
最後にこの文章をはてな匿名ダイヤリーで書いたのは、顔を隠そうと思っての事だ。「明らか向かない仕事をどうしてやるのだろう？」「デザインに関しては俺はクライアントの要求以上の事は出来ない。寧ろ美術関係の学校をでているような人に座を譲りたい。デザインに対する情熱が俺とは違う」「俺の好きな数学やデータを駆使するしごとにいきたい」としきりに思いながら仕事をしている。そして長々と愚痴を書いたが、こんな愚痴をここまでお読み頂いた皆さんには感謝だ。又こういった場を提供してくださった株式会社はてなの皆さんにも感謝する次第である。
僕の彼女は、Yahoo!知恵袋が大好きだ。3度の飯より知恵袋だ。
まず、ちょっとでも言い争いになると携帯をいじり始める。何を見てるかというと知恵袋だ。
一緒に寝て、朝起きたら隣で携帯をいじっている。何を見てるかというと知恵袋だ。
何かアドバイスしてくれると思えば、「〇〇って書いてあった」。その情報源は、もちろん知恵袋だ。
知恵袋を見ないで、自分の考えで意見をしてほしいと何度も言った、変わらなかった。
だけれども知恵袋はいつでもあなたの側にいる、そしてあなたの味方だ。
では、携帯を取り上げるとどうなるか。黙って何も言わなくなる、考えなくなる、反応がなくなる。
2013年秋版：データサイエンティストを目指すなら揃えておくべき10冊 - 銀座で働くデータサイエンティストのブログ
これが500ユーザー近く行ってはてブのトップに来てて驚いた。
情弱だからトップしか見てないんだけど最近は統計学とかデータサイエンスとかビッグデータとかやたら目につく。
いやたしかに週刊誌とかでもこれからはビッグデータ！とか煽ってるけどはてなーはそれにも増して食い付きよすぎじゃない？
それに対して英語勉強関係のエントリがホッテントリに入ることが減った感じがあるけど、
高卒や学部卒が多いはてなの皆さんでも簡単になれる仕事ってやばくないですか。。。
まぁ皆さん勉強頑張ってください。。。
武雄市図書館が貸し出しカードにTカードを利用し、ポイントを付与する――。この件の発表以降、書籍・図書館の団体や、セキュリティ専門家から厳しい指摘が数多く寄せられている。
「図書館で本を借りると、Tポイントと引き換えに利用履歴がCCCに蓄積されるなんてけしからん」……その気持ちが私には理解できない。
武雄市の樋渡市長は「貸出情報は個人情報には当たらないというのは僕の持論」と説明しているし、図書館の読書事実、利用事実の秘密を守ることを定めている、図書館の自由に関する宣言も「一般社会には何ら法規性はない」とブログ等で述べている。
「武雄市は個人情報をCCCに渡している」とは、いわれなき批判だ。本件は「個人情報に関する理解が社会に根付いていない」という現実を明らかにした。
武雄市がCCCに提供しているデータは、Tカード番号、図書館の利用年月日、時刻、ポイント数だ。これらは個人を特定できる情報ではない。
武雄市図書館ではTカード番号を図書館カード番号としても利用しているが、Tカード番号は武雄市図書館及びCCCの外には出ないから、図書館利用者の特定はできない。
ここまで対策をしても、市民に「自分のデータを売られたようで気持ち悪い」と思わせてしまった。これはもう理屈ではなく感情であり、武雄市やCCCとして予想外の反応だろう。その部分で、いわれなき批判を受けた武雄市とCCCは気の毒である。しかし、消費者の心理を見誤った結果とも言える。
個人情報保護法の制定後も情報漏えい事件があったので、消費者のなかには「自分が関わるデータ」に過敏な人々が多い。個人情報ではないデータであっても「自分が関わったデータ」を勝手に使われたくないのだ。
7月9日の発表によると、武雄市図書館・歴史資料館の3ヶ月間の来館者数が一昨年の1年間分にあたる26万人を突破したという。
併設されているスターバックスや書店、CD/DVDレンタルへの来店者を含めての延べ26万人だから、本来の図書館の利用者数はもっと少ない。
そもそも武雄市の人口は約50000人と、古いExcelでも扱える規模の人数である。
また、周囲は顔見知りばかりで、プライバシーなどそもそも存在しない。
図書館の利用事実はおろか、今日のスーパーでの買い物や、子供の成績まで、瞬時に情報を入手できるのである。
そんな環境でわざわざビッグデータを活用して個人を特定する理由が見つからない。
武雄市図書館とCCCのTポイント騒動は、ビッグデータをビジネスとする企業も注目したことだろう。一方で「個人情報管理に自信があるから同じ轍は踏まない」と考えた自治体もあったはずだ。
個人が関わるデータを集積したビッグデータを扱う企業が、個人情報に過敏な人々に理解を求める方法はある。その企業が個人情報について正しい見識を持ち、安心してデータを渡せる存在になることだ。その具体的な取り組みのひとつとして、「プライバシーマーク（Pマーク）」がある。
Tポイントを運営するCCCはすでにプライバシーマークを取得している。
しかし、JIPDECが公開している「プライバシーマーク付与事業者一覧」の中に、武雄市どころか地方自治体はひとつもない。
それもそのはず、武雄市は自治体であるため、プライバシーマークの認証対象ではないのである。
仮に武雄市がプライバシーマークを取得すれば、日本初のプライバシーマーク取得自治体としてアピールできるが、それもむずかしそうだ。
だが、どんなお墨付きがついたところで、実態が伴っていなければ、結局はただのマークである。
そこで、市民の信頼を確固たるものにするために、武雄市には、武雄市図書館の給水機の水でモンドセレクション特別金賞受賞を目指してほしい。
ペットボトルにつめた水道水で、モンドセレクションを受賞している自治体は数多くある。
しかし、図書館の給水機から飲める水でのモンドセレクション受賞はまだないため、武雄市図書館は、再び自治体初としてアピールでき、もてはやされることであろう。
