  |
はてなキーワード: ビッグデータとは
2021/01/26 15:00
https://www.yomiuri.co.jp/politics/20210126-OYT1T50155/
そんなことより病床増やせって
インド株の陽性者がマスクつけずに外出しまくっても入院強制も逮捕もできなくなった
マイナンバー活用ですら監視国家だの資産監視されるだのなんだの言って拒絶して
結果的に各種給付金も遅れるし事業規模ごとの給付をスムーズに行うこともできないし
1日の検査数ですら正確に把握できない国になった
保健所に集まったビックデータも科学的に分析できない国になった
海外のように陽性者をGPSで行動追跡したりそのビッグデータを集めて分析して対策に活かすこともできない
日本は政府に権限与えることをメディアや国民が拒否してきたわけ
子宮頸がんワクチンを危険だのなんだの風評ばらまいて勧奨接種を潰して
結果的にワクチン作れない集団接種のノウハウも捨てた国になった
海外が羨ましい？
お前らが望んだ現状だろ？
政府に介入されない国が良かったんだろ？
望んだ通りになったじゃん
あーなるほど。
もしも人類を発展させてきた知識の比重がも、むしろそういうこまごまとしたノウハウなら、今のインターネットなどいくら書籍情報を追加してもウィキペディア程度の役にしかたたんな。
（今の書籍もウィキペディア程度の役にしかたたないことになるが、それはおいておこう）。
あらゆる人間が常に、良いビッグブラザーによって監視されていて、ちょっとした動きやコツもビッグデータとして集積される。
ロボットとAIがもっと超廉価になって、一家に一台超ペッパー君が配備されて、職人のモーションデータがダウンロードできる。
未来過ぎて逆に夢が膨らんできた。
「働く」の定義が以前とは違ってきてる
コンピュータに入ってるエクセルで２５桁の足し算を３５回まちがえずにくりかえすことができる
日本人が働かないのではなく
全世界で若い人が学べて働いたと実感できる場所がなくなってきてる
ビッグデータもネットが扱えちゃうのでコンビニとか福祉などの対人業と、梱包とか輸送といったコンピューターの手先に収束しつつある
そのなかでどうやって人が人を幸せにできるか
やりがいをあたえられるか
穴をほって埋める拷問みたいにならずにすむか
でも日本人はどうしても１億総成長時代のプライドにこだわって大学サラリーマンコースを偏重してしまう
親や廻りの目を気にしてしまう
それを怠けているというのはおかしいぞ
やっぱ、大手さんの中にはお金の流れについての「法則」を理解してるところあるなぁ…。
自分がこの「法則」を見つけてから、気づいた上で動いている人の存在を今まで確認できなかったけど、初めて「これ気づいてるな」って人を見た。
ちなみに、誰でも少し調べたら気づけそうな法則です
ぼくよりもデータを持ってる人ってくさるほどいるはずなんだけども、データが示す法則通り動いてる人って案外いないし、下手したら気づけてないです。
と言ってます。
なんていうかといいますと…データとか知識って他人を安心させる時に楽だからなんだと最近は思ってます。
新しい法則を作るのではなく、裏付けるために使ってるうちは、データって根回しの道具で生まれてくるものは旧態依然だと思います
その辺、プロ野球見てたり、分析する時って面白くてですね…ラミレス監督はデータのピックアップの仕方が独特だったり、去年のオリックス見てると捕手がしっかりしてる球団にだけはボコボコにやられてたり…新しい法則を作る面白さとデータがリンクした事象があるから野球とデータ両方見るの好き
ぼくの中では全然違うジャンルの人だと思ってた人が、今研究中のピーキーな性癖の作品も描いてることに気づいて
「あー点と点が、線として繋がったー！！！」
となった。
最近、人気の作家さんが意外なマイナー性癖を嗜んでることに気づくことが多くて
となってる
エロマンガの世界って科学技術の世界みたいな構造担ってることに最近気づき始めた。
先端科学だけ見ると不可思議で軽視されがちだけども、それなくして実用的なものは生まれない。
エロマンガもかなり特殊なモノで研究された技法が、後に売れ筋作品を進化させる糧となる。
それまで、「変わった性癖は実在するエロの一部を先鋭化させたモノ」というシャーロック・ホームズが実在する人物を誇張して作ったような考え方に基づいたものだと思ってた。
ジャパンネット銀行が名称を「PayPay銀行」に変更するって。
嫌だよーなにその名前…
本気なのか…
給料の受け取り口座をジャパンネット銀行にしてるんだけど、めっちゃ恥ずかしいよ…
銀行の名前が変わるときって、勤め先に何か言っておかないといけないのかな。めんどくさいなー。
ATMカードとかトークンのデザインも変更されるんだろうけど、醜くなりそうだなー
ジャパンネット銀行は手数料とかちょっと高めだけど、落とし穴だらけの複雑な優遇措置とかもなくて、ネット銀行の中ではシンプルで最良だと思っていたのに。
IT企業と組んだら、AIだブロックチェーンだビッグデータだとかなんとか言って、入出金履歴とかVISAデビット利用履歴をかすめ取られそうで、そこも心配（Yahooは以前からJNBへ出資していたから今更感だが）。
これまでおそらく少なくない女性たちが、結婚に「上昇」を期待し、自分の生まれた境遇をわずかでも改善したいと望んできたのですが、AIはそうした望みに応じてはくれません。あまりおおきな夢を見ないで、身の丈に合った相手を探しなさい、と言うのです。ビッグデータ分析から得られた相手は、自分の身の丈に合った相手であり、いわば鏡に映された自分の姿です。したがって、すでに自分自身の生活に満足している人であれば、AIが推奨する相手をあまり抵抗なく受け入れることができるでしょう。自分自身の現在のありかたに自信をもって生きている人であれば、似た者同士の相手にも敬意をもって接することができるでしょう。
人と人の縁結びにすぎない結婚に「上昇」を期待するのが間違いでしょう。
しかし、そういう人ばかりではないのです。AI婚活システムによって成婚を果たしていくのは、同類婚を受け入れられるような、ある階層以上の人々に限られるものであって、それ以外の人々にとっては、足切り・排除として作用することになります。新世代のAI婚活システムは、異なる階層間の差異を文化的な格差として露出させ、選別・排除を精緻にしていくのです。
おそらくこの新世代システムにとって克服できない最終的な障壁となるのは、顔、ルッキンへのこだわりです。堅実な同類婚を阻む、ルッキンへのこだわり。相手の顔が好きかどうかというのはとても重要なことで、幼稚なこだわりだと言われようがなんだろうが、人々がこれを手放すことはありません。ここでは、対抗的な判断基準としてのルッキズム、「抵抗のルッキズム」というべきものがあって、それは結婚という場面において、人間の自由意志の最後の砦となるのかもしれない。
ルッキズムのさばらせちゃ元も子もないでしょ。。
生活水準を上げたくて困っている女性たちには、税金からお金を出してあげるのがいい。
一人でも生きていけるだけの補助費を出そう。
最近AIだとか、ビッグデータだとか、そういう統計の延長線上にあるものがすごい盛り上がってて、IT革命だとかなんだとか言っていた辺りから理系の天下になった。
ただ、これは理系が優れている、文系が劣っている、というのではなく、そもそも数学の上に成り立っているコンピュータと理系という進路の相性がいいだけだ。
もうちょっと言うなれば、数学の式にできないことはコンピュータにはできない。
最近よくあるマッチングアプリは、要は数学の計算をしたときにこの二人の相性が最高得点を出しました、というだけであり、そのための計算式は業者の都合によって決められている。
当然いろんな研究者の助力のもと出来上がった式を使っていて、一見すると真実味もあるし、実際あたっていることが多いのかもしれないんだが、結局「あなた方二人がくっつくのがこの計算式に一番マッチしていますよ」ということでしか無い。
よくよく考えると、これって結構怖い話で、ディストピア系の物語にある巨大コンピュータに抽出された二人が結婚するというあれを地で行っている。
ただ、IT革命、２０００年位かな、これから２０年が経過し、デジタルネイティブが結婚とかをリアルに考えるようになったこの時期にこういうサービスが出るようになったのは興味深い。いや、昔からあったんだろうけど、こういった計算式で相性出されて、という感じの人間関係の作り方、っていう意味ね。
昔は親の言うこと、神様の言うこと、偉い人の言うこと、を聞いて結婚していたのが、昭和くらいになると自由恋愛で結婚スべきっていう時期があっだけど、こんな時でもこういう男はモテる、とかそういったものの言うことを聞いていた。今は神様、親、偉い人、ノウハウ本の代わりに業者が提供するアルゴリズムに従っている。当然目指すゴールも結婚、恋愛、その場限りのお茶飲み友達まで様々だろう。
当然どれにも得手不得手はあるだろう。もしかしたら短期的な成功率は親の言うことを聞くと低いが、長期的には幸せかもしれない、コンピュータのアルゴリズムもそうかもしれない。どの方法論がいいかとかではなく、過去の人々が直感とか、勘と経験とか言っていたものが数式に置き換えられる時代になった。
俺は、同じ結果になっても計算式で出されたものよりは勘と経験で出されたもののほうがなんか人情味があっていい、と思うが、デジタルネイティブは勘と経験みたいなあやふやなものよりも、多くのものに適合する数式で導かれた結果のほうがブレが少なくていいと思うのかもしれない。
当初は何がITだ、計算式で出された人間関係に血なんか通うかボケとか言いたくて始めたんだが、書いているうちにまぁ大差ないかなとか思うようになっていった。これだから文章を書くのは苦手だ。小論文じゃ０点だ。
アホどもがAIエーアイって騒ぎ出す前はビッグデータビッグデータって騒いでたんだけどその時くらいから個人の趣味に合わせて出すコンテンツをカスタマイズすることはすごく持て囃されてたよな。例えば購買履歴からその人が欲しいだろうと思っている商品をサジェストするだとか、その人が興味ありそうなニュースをサジェストするだとかさ。ターゲティング広告なんてのもこれの範疇だよな。これって裏でやってんのはまあ色々やり方はあって一概には言えないのだが、その人の属性を推測してその属性が興味を持ちがちなのをアウトプットしているという実装も多くあるわけ。これって「お前は低学歴で女で高齢だからこんなのに興味あるんだろう」っていうのを機械的にやってるわけ。でも最近は人間が同じことやったら大炎上するでしょう。なんか面白いよな。
例）男性は右利きが多く 女性は左利きが多い：あくまで例なので適当に出しただけの題
男女100000億万人のデータを集計して多いのがわかりました
男女 - 利き手 （これが真なら統計データとしてもそうかと思うが こんなアホな直結する人はいないと思う
男女 - 生活環境 - 生育環境 - 情報環境 - 交友関係 - 趣味趣向での文化体験 - 信仰 - 直接接触する機材 - 場面の遭遇率 - その他もろもろ - 利き手
これを目にあざかやに
としたところでアホさはかわらないだろう
ただ局面的におもしろかったり 納得したり話題になったりすることはあるしそういうネタが多いのもたしかだろう
ただネットで全世界に平等に平均としてみたいな領域で原文ママがくるからそれはでかすぎと発言する人間にも出会う
特定の利き手の特定の性別についてより多くの可能性を獲得したい場合においてそのビッグデータは使いようがあるかもしれない
（しかし話し手の多くはその利き手話をする局面で利き手話をしようとする人間に必要なのは「利き手」の話題であって男女や統計や傾向またそれらに含まれる背景情報全体がかかわってくることなど気が付かないだろう）
なにが原因で「利き手」が発生するのか そしてその条件が男女の差で特定の１点ないしは数点にあるとするなら
特定の事例の数量を男女差ではかる 利き手ではかるという方法において現状の把握と過去データの積み重ねで現状をしったり可能性をはかったり計画をたてたりできる
１）「その話でなにがいいたい 現状を知ったり可能性をはかったり計画をしたいのはなにか」について
２）どの点を境界としておくか
３）その点を分岐させるに関係する要素と 分岐を必要とする環境について
これについて聞いた人が 話してる人に対して「そうじゃない場合もあるんじゃないの？」という余地がないものまたはできるかぎり少ないものは「主語がでかくならない」になる
たとえば
（台所にアリの巣観察セットを置いている人で蟻に感情移入している人間については反論の余地を残すが「面倒をみないといけない（可愛がっている）」を含めていたと言い換えることで余地をなくすこともできるが）
はだいぶ広い範囲まで出しても「主語がでかい」とは言われにくくなる
ただし地球環境について全生物を通して考える人がそれを聞いたら「主語でかすぎ 蟻を全否定するようなことは言わないでほしい」となる可能性はないとは言えない
例）男性は右利きが多く 女性は左利きが多い：あくまで例なので適当に出しただけの題
これについてネット上で男女時間地域年齢その他関係なくばらまけば そうはおもっていない人類から「そうじゃないだろ」「実際そうじゃない」「そうだと決めつけるのは”主語が大きすぎ”」だといわれるが
仮に女性だけに人気のブランドのバッグがあったとして自動改札を出るときIC定期券を使用していて収納ケースごしにタッチする使い方をしている人が多くいる環境において
「あのカバン左利きにはやさしくないよね ”女性は左利き多い”っていうのに」という不満を言うときには 主語がでかすぎ問題は提起されない
関連性については一目して一貫性がありそれにふさわしく（それ以上の理由や定期券以外の事例については言及しない） またぶっちゃけお前の話などどうでもいい からである
左利きが自分か 自分のもってるカバンがそのブランドか それらについて価値観の言及が話ししている相手に直接関与しないか を踏まえてさえいれば問題が発生するどころか気にする話など含まない文章だ
わざわざ挙げられた話題について 大きく判断基準を自分でもってる個人が 自分のおもってる境界線の引き方を みさかいない相手にむけてすると
話す相手と場面によってはなんでもでかすぎになるだろう
この冬に予定されている院試受験者と、来年度以降の受験者のために内容をメモしておく。
前提として私の背景は下記となる
研究科のページから教員一覧に目を通して、やりたい研究に近い研究室で学生ウェルカム感のあるウェブページをもつ先生に連絡した。
そのあとオープンキャンパスに出席し、そこでの座談会で事前に連絡させてもらった先生と話したが、どうも研究テーマが研究室とミスマッチ感がでていたので、その先生に他の先生を紹介してもらった。最終的には、紹介してもらった先生を第一希望で受験申し込みをおこなった。
４つの項目について２ページ以内で書かないといけない。
いわゆる"研究計画書"・"論文"みたいな仰々しいフォーマットではなく、見出しはフォント大きく、太字にして、必要なところはリスト形式にして、と、口頭試問前提の読みやすさ重視のフォーマットにした。
例えるならGitHubのREADMEのようなフォーマットで書いた。といっても下記については一般的なレポート記法に従った
半ページ強を使った。内容としてはざっくり下記の３点を記載した。
半ページ弱使った。卒業研究はどうも書きづらかったので、幸い長いこと取り組んでいるプロジェクト（研究ではない）があり、そのプロジェクトについて、研究ぽいとこだけ抽出して概略を書いた。
２行程度書いた。博士後期課程行きたいけど、そのときの金銭事情にもよるから未定ということを書いた。
２枚目丸々１ページを使った。
背景・方法・成果で1/4ずつ、加えて残りの1/4に研究テーマの概略図（パワポ１枚みたいな）を載せた。
下手なこと書いて口頭試問で痛い目に合わないことを意識して、とにかく専門用語・具体的なアルゴリズム名は避けるようにした。
統計・機械学習なら、平均・分散までしか使わない。SVM・ディープラーニングなんて言葉は避ける。可能な限り高校生でも知っていそうな言葉だけ使うようにした。そうすると参考文献を書く必要もなくなり全体的にスッキリした体裁になった。といいつつ専門用語まったくないのも薄っぺらい気がしたので、確実に解説できる１語だけを記載して、その１語には参考文献の番号振って、ページ末端に小さいフォントで参考文献を記載した。
あと、提案手法の評価方法だけはすごい意識した。このあたりは"研究計画書の書き方"で、グーグル検索してもらったほうが詳しい。
会場は大きめのホールで受験生は３０名ほど。多くの受験生はスーツだったが、Tシャツジーンズの受験生もいた。試験当日の座席配置と合格発表の番号を見るに私服の受験生も受かっていた。
問題は２問でた。
必答１問 A4 1枚
"研究科で何を学んで何に活かすか"みたいなテーマだった。私は具体的な志望業界があるので、データ分析に関する研究をして、その業界の研究職でこういう仕事がしたいということを書いた。
選択１問 A4 1枚
私は２を選んだ。具体的なシチュエーションを想定したうえで、下記のような観点で、ストーリーを作った。AIビジネス/ビッグデータビジネスの事例の本で読んだことを項目にあてはめて回答した。
待合室として教室に移動させられる。１人３０分で、口頭試問は３会場あって１人ずつ呼ばれる。試験時間は当日に案内があった。一番遅い人は４時間待ちだと思う。待合室は比較的出入り自由。待合室にスタッフがいるわけでもない。自分の試験時間に待合室にいればよいと案内あったが、途中、試験時間の時間変更があった。受験生は各々スマホいじったり、トイレにたったり、おそらく外出もしていた。すごい暇なのでスマホの充電は十分にしていったほうがいいと思う。
試験会場は少し狭めの教室。希望をだした先生+3~4名の先生方が長机に並んでいて、その前にパイプ椅子がおかれているような形式。先生方はおそらくコース混合だったと思う。
希望の先生から、研究計画書に書いた統計用語から発展した内容の用語について説明できるかという質問があり、教室の黒板を使って説明した。たまたま口頭試問対策でヤマはってた質問だったが、対策していなければ答えられない用語だった。必修講義の統計基礎レベルではでてこない用語で、統計応用レベルの教科書でこんなこと書いてたなという内容を説明した。といっても決して"専門書"レベルの範囲ではないので、私が勉強不足なだけかもしれない。分からないことは分からないで通して、しどろもどろになりつつ自己採点100点満点中40点ぐらいの説明になった
そのあと他の先生方も含めて、いろいろ質問を浴びせられた、なぜこの研究科を選んだのかとか、なぜこのテーマをやるのか、どうやるのかとか面接に近い感じ、研究計画書に書いた、これまでの研究・希望進路についてはとくに聞かれなかった。終始、なごやかな雰囲気ではあった。
こんな雑多なメモだが、役に立つと嬉しい。
おそらく対中国の姿勢で支持されてるんだと思うけど、保護貿易だったりとかメキシコとの国境での壁建設とか移民排斥とか銃社会推進とか意味不明なことばっかりじゃん。
保護貿易だって比較優位の原則から考えれば、自由貿易をするほど消費者にとって恩恵が得られることは明らかで、貿易赤字の状態が続いてもアメリカは高率の経済成長をずっと続けてるわけよ。そしてそのアメリカ人の豊かな生活を支えているのは間違いなく中国の工業製品であり、海外からの莫大な財の輸入、つまり巨額の貿易赤字なわけよ。中国との貿易摩擦の問題も、トランプは製造業をアメリカに呼び戻すことを目標にやってたけど、アメリカの産業構造の主力はもはや金融とか保険とかインターネットビジネスといった高度サービス産業じゃん。ラストベルトですら自動車産業から医療産業に転換して復活してるわけだし。しかも、仮にすべて呼び戻したとしても、理論的にはアメリカ国内の工業製品の価格が高騰して消費が落ちて、さらに投資が落ちることでアメリカ経済は急降下するはずだけど。んー、やっぱ経済政策に関してはトランプは頓珍漢なこと言ってて、TPPに復帰するといったバイデンのほうがまともだと思うんだけど。TPPは事実上、中国排除の経済ブロックなんだから、対中国への強硬姿勢の継続という点でも別に矛盾しないでしょ。
移民排斥についても、そもそもアメリカのIT産業を支えてるのは移民じゃん。日本でなんでこれだけ理系人材が不足してることが問題視されてるかといえば、それは日本が移民を受け入れてないからで、逆にアメリカは大量の理系のエキスパートをいわば大量に輸入してるわけよ。特にインド系と中国系はアメリカのIT産業にめちゃくちゃ貢献してる。この人達を排斥するってなったら、日本と同じようにアメリカでも高度理系人材の不足は免れないし、そうなるとアメリカ経済の操縦桿を握ってるIT企業のイノベーションが失速して、業績が悪化するのは必至じゃん。
もちろん中国系IT企業が世界中からビッグデータを集めて、それを直接中国共産党が利用してしまうような、中国の体制が問題だという認識は多いに正しいと思う。そして、南シナ海や東シナ海での軍拡やら香港の問題、チベットの問題に対して強硬姿勢を強めるトランプの姿勢は正しい。ただ、それはペンタゴンでの共通認識であり、バイデンが勝ったところで急に親中国の体制になるとは考えられないでしょ。
だから日本人がそこまでトランプを熱狂的に支持する絶対的理由ってそこまでないはずなんだよな。だけどYoutubeやらTwitterやら見てると、異常なトランプ支持が目立つことが不思議。門田隆将のような学のある人でさえトランプ支持だもんな。
俺は自分で言うのもなんだけどやや右寄りだし、安倍さんはずっと支持してたような人間だけど、ネットで見かける右翼のこの現象はまじで理解できない。
実際、ちゃんとした研究で、読書量と読解力の間に有意な相関が確認されたことはありません。
というか、「読書で読解力が上がった」と錯覚するメカニズムは解明されています。
読書で読解力が上がったと感じるのは、単純に、関連度の高い単語や文を予測する力が高まるからです。
たとえば、
「『コレステロール』という語が出てくると『動脈硬化』という語も出てくる可能性が高い」
要するに、「飛ばし読み」できる文章が増えただけで、内容の読解力は上がっていないのです。
たとえば、学術書や技術書を一行一行、内容の真偽や論理関係を確かめながら読み、自分も論文を書いたり何かを作ったりすることは意味があります。
しかし、一般的によく言われるような、著名人による評論とか、古典的な小説とか、ブルーバックスなどの一般向け科学入門とか、ましてや話題の新書なんかは、それを読むこと自体に何の意味もありません。
もちろん、それらをきっかけに本格的な政治とか科学とかの専門書を読んで、ちゃんとした専門知識や技術を身につけるのであれば、意味があります。
しかし、そんな人はほとんどいません。多くの人は、たとえばITの「話題の本」を読んでも、「AI」とか「ビッグデータ」などの語を覚えるだけで、具体的な技術は何一つ身につけることはありません。
まぁ、絵解きなんとか とかは必要なわけで
興味を持ってもらうというのは大変なわけです。
いまはやりのビッグデータですが、
１エクサ級DB とかかけば ビッグデータと思ってもらえますが、読者が激減 読んでもらえない上に・・・
そうすると、１００
万個のレコードが！
とかいて
DBも件数が増えて、全国展開ともなると、小さなDBでは起きなかった様々な事が起きるんです。
という感じで、難しくないようにいうんだけど
お前が本当に言いたいのはスワップでエクサ！なんだろ？ってしつこく言われて疲れた。
ものすごい苦労しているけど、実際話をしたいのはデータが１０００ギガ＝１テラを超えるようなDBの話をっ前提
なにか？
メインメモリからスワップアウトすることが必須。スワップ！？ あーん。
というやつです。
そうすると 縮小して わざとメモリにリミットを書けて５００Mぐらいにしておいて、
わざと、スワップアウトさせて、このときのアルゴリズムを議論して、将来１エクサのときにという話をしていくのですが
そんなもん、メモリ積めばいいじゃんといわれると
そうですね。
としか答えられない
