「ベイズ」を含む日記 RSS

はてなキーワード: ベイズとは

2022-01-02

redditやhackernewsは面白い

日本人性格はクソである、という仮説が真である脳内ベイズで確かめるためにredditやhackernewsを使って英語ピープルと会話して3ヶ月経った

現時点ではその仮説が正しかった可能性が高いと思っている

日本人の特徴は

といった点が大きいと思っているが、redditトロールが現れても非常識バカとして認識される率の方が多くtwitter上の日本人に比べればサイコ率が少ない

実名の時は法律を過剰に意識して匿名の時はトロールに変身する、という事自体日本人サイコである証拠のように思うが、要は日本人他者攻撃することがデフォになっているのだと思う

そもそも個人主義文化では、イイネ数を増やそうとしない地味な奴らも、尊重されるコミュニティを探せば良いので、集団主義的にイイネや人気度という一次元判断する日本よりも多様性はある

日本バージョンredditがほしいという意見を聞いたことがあるが、reddit楽しいのは楽しい人間が使っているからであって、サービスとして優れているからというわけでは必ずしもない

よくある比喩ではあるが、死後が地獄である天国であるかは死後に行き着いた場所存在する人間がどういう集団なのかによって決まる、というのはあながち間違ってはいない

もしどうしても一次元的に人気度で評価する社会を目指すなら、使っているサービス改善することだけではなく、人間性を改善したほうがいい

それができないなら相対主義容認して所属コミュニティを選べる仕組みをサービスに導入したほうがよいだろう

2021-12-04

anond:20211204145749

後編

プログラミングを学ぼうと思い立つ

行列VBAなんかじゃ無理っぽいし、なんかプログラミング言語を覚えようと決める。

なんでも、統計やるならRという言語がいいらしい。

最近じゃPythonというのも人気らしい。

とりあえず両方試そうということで、RのためにRとRstudioをインストール

Pythonはanaconda

プログラミングはなんかを製作する目標がないと挫折すると聞いていたので。

深層学習というもの流行ってると聞いて、ちょっと触りを勉強したくなる。

Excelでわかるディープラーニング超入門」

https://www.amazon.co.jp/Excel%E3%81%A7%E3%82%8F%E3%81%8B%E3%82%8B%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E8%B6%85%E5%85%A5%E9%96%80-%E6%B6%8C%E4%BA%95-%E8%89%AF%E5%B9%B8/dp/4774194743/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=Excel+%E6%B7%B1%E5%B1%A4%E5%AD%A6%E7%BF%92&qid=1637482610&s=books&sr=1-1

この本は面白かったので、深層学習目標プログラミングを覚えよう!

後になって、これはとんでもない間違いだったことに気づく。深層学習機械学習の違いも判らないまま、RよりPythonを先に触ることに。

教本にしたのはこちら。

ゼロから作るDeep LearningPythonで学ぶディープラーニング理論実装

https://www.amazon.co.jp/%E3%82%BC%E3%83%AD%E3%81%8B%E3%82%89%E4%BD%9C%E3%82%8BDeep-Learning-%E2%80%95Python%E3%81%A7%E5%AD%A6%E3%81%B6%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E3%81%AE%E7%90%86%E8%AB%96%E3%81%A8%E5%AE%9F%E8%A3%85-%E6%96%8E%E8%97%A4-%E5%BA%B7%E6%AF%85/dp/4873117585/ref=pd_lpo_2?pd_rd_i=4873117585&psc=1

途中まではまあなんとか。

微分って便利だな。行列計算できるの便利だなっていうところまでいったが、クラスという概念理解できず、途中からハテナが浮かんで読み進められず。

うん、もうちょっと易しい本を探そうと思って手に取ったのが

「独学プログラマー Python言語の基本から仕事のやり方まで」

https://www.amazon.co.jp/%E7%8B%AC%E5%AD%A6%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9E%E3%83%BC-Python%E8%A8%80%E8%AA%9E%E3%81%AE%E5%9F%BA%E6%9C%AC%E3%81%8B%E3%82%89%E4%BB%95%E4%BA%8B%E3%81%AE%E3%82%84%E3%82%8A%E6%96%B9%E3%81%BE%E3%81%A7-%E3%82%B3%E3%83%BC%E3%83%AA%E3%83%BC%E3%83%BB%E3%82%A2%E3%83%AB%E3%82%BD%E3%83%95/dp/4822292274/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=1T6BBXYJ16G6T&keywords=%E7%8B%AC%E7%BF%92%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9E%E3%83%BC&qid=1637483073&s=books&sprefix=%E7%8B%AC%E7%BF%92%2Cstripbooks%2C279&sr=1-1

なんとか読了。自信をつける。

しかし、Gitとかbashの章はさっぱり。

実は、いまだにコマンドプロンプトとパワーシェルbashの違いが分かってない。

つづいてPyQに2か月くらい登録してみる。

https://pyq.jp/

とりあえずデータ分析コースを終わらせる。

なかなかPythonが楽しくなってきたが、クラス意味が今一つ掴めないままいったん中断。

この辺で、自分統計に興味があってもプログラミングに興味がないんじゃないかということに気づく。

結局Excelへ戻り、PowerQueryとの出会って、再びPythonとRに回帰した話

なんだかんだもがきながら、PythonもRもモノにならず、日常ちょっとした計算グラフを作ったりはExcelを使い続ける日々が続く。

あるいは、Excelで成形して、検定かけやす形式にしてRで検定するとか。

Rに触れてなかったな、Rは完全に独学。「こんなことやりたいなぁ、ググってみるか、ほうなるほど」って感じ。

そんなさなか、放送大学で「Rで学ぶ確率統計」という講義があるのを知り、さっそく入学して受講。

なかなか面白かったし、PythonばっかりでRあんまり触ってなかったからいい刺激になった。

恥ずかしながら、負の二項分布やガンマ分布ってよう知らんかった。

しかし、講義は楽しかったがなにか書けるようになったかというとそんなことはなく、依然として基本はExcel

まあ、実際csvじゃなく、手書きデータとかをExcelに打ち込んだりする程度なんでPythonやRを使うまでもなかったというのもあるんだけど。

そんなとき出会ったのがこちら、パワークエリというもの

Excelパワーピボット 7つのステップデータ集計・分析を「自動化」する」

https://www.amazon.co.jp/Excel%E3%83%91%E3%83%AF%E3%83%BC%E3%83%94%E3%83%9C%E3%83%83%E3%83%88-7%E3%81%A4%E3%81%AE%E3%82%B9%E3%83%86%E3%83%83%E3%83%97%E3%81%A7%E3%83%87%E3%83%BC%E3%82%BF%E9%9B%86%E8%A8%88%E3%83%BB%E5%88%86%E6%9E%90%E3%82%92%E3%80%8C%E8%87%AA%E5%8B%95%E5%8C%96%E3%80%8D%E3%81%99%E3%82%8B%E6%9C%AC-%E9%B7%B9%E5%B0%BE-%E7%A5%A5-ebook/dp/B07SCK1ND9/ref=sr_1_2?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=%E3%83%91%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%A8%E3%83%AA&qid=1637483953&s=books&sr=1-2

パワークエリを覚えたらピボット形式Excelファイルとか、セルの結合が多用されたExcelファイルを、成形加工するのが非常に楽になった。

しかも、同じフォーマットで記録されてるデータならフォルダにぶち込んで一気にまとめ上げることも可能

控えめにいって神!

としばらくパワークエリを礼賛してたのだけど、各ステップPythonのpandasやRのdplyrでも出来ることに気づく。というか最初から気づけ。

こりゃ、一気に覚えちまおう、統計というより、データの前処理だなと思ってUdemyでRの動画を買ってみた。

AIエンジニアが教えるRとtidyverseによるデータの前処理講座

https://www.udemy.com/course/r-tidyverse-preprocess/

すっかりR信者になる。

それまで教本を呼んでもdplyrの便利さが今一つわからなかったのに、パワークエリで具体的にモノを作ると、dplyrに翻訳したら、すいすい。スピード10倍。

便利さにようやく気付く。

ハドリーウィッカムって神だな。

そんで、pandasに翻訳したらどうなんだろ?と思ったらもっと速いw

すごいなPython

Rへの入信はたった数週間。再びPythonに興味。

機械学習

さて、ゼロから作るディープラーニングを再開しようと思ったけれども、そもそも機械学習をすっ飛ばし深層学習って無茶だったと反省し、まずは機械学習に。

機械学習エッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning)

https://www.amazon.co.jp/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E3%82%A8%E3%83%83%E3%82%BB%E3%83%B3%E3%82%B9-%E5%AE%9F%E8%A3%85%E3%81%97%E3%81%AA%E3%81%8C%E3%82%89%E5%AD%A6%E3%81%B6Python-%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0-Machine-Learning/dp/4797393963/ref=tmm_hrd_swatch_0?_encoding=UTF8&qid=1637485264&sr=1-1

で、この本がすごい。

5章あるんだけど、機械学習アルゴリズムは5章だけなんだなw

それまでは何に割かれてるんだって?数式の証明とか、便利な計算法、例えばニュートン法とかラグランジュ未定乗数法とかw

こんだけ引っ張っておいて、いよいよ本番の第5章もゴリゴリ数式をスクリプトに落とし込んでいってるのに、「これは学習のためでscikit-learnっての使えばたった1行」っていう無慈悲

いや、ほんと数学勉強になったし、こうやってゴリゴリやるとなんのためにクラスというもの存在するのかようやくわかった。

線形代数って便利なんだなと。行列スカラー値のように何の気なしに扱えるようになると、あの頃苦しんでいた実験計画法タグメソッド、今読み直したら別の印象があるんじゃないかなと思うようになったり。

この本を読む途中、「マンガでわかる統計学因子分析編」で学んだことが理解の助けになった。

なんたる僥倖

線形回帰、リッジ回帰SVM、PCA、k-means、クラスター分析、一気に手札が増えた。

ふたたび実験計画法

Pythonで学ぶ実験計画法入門 ベイズ最適化によるデータ解析

https://www.amazon.co.jp/%EF%BC%B0%EF%BD%99%EF%BD%94%EF%BD%88%EF%BD%8F%EF%BD%8E%E3%81%A7%E5%AD%A6%E3%81%B6%E5%AE%9F%E9%A8%93%E8%A8%88%E7%94%BB%E6%B3%95%E5%85%A5%E9%96%80-%E3%83%99%E3%82%A4%E3%82%BA%E6%9C%80%E9%81%A9%E5%8C%96%E3%81%AB%E3%82%88%E3%82%8B%E3%83%87%E3%83%BC%E3%82%BF%E8%A7%A3%E6%9E%90-%EF%BC%AB%EF%BC%B3%E6%83%85%E5%A0%B1%E7%A7%91%E5%AD%A6%E5%B0%82%E9%96%80%E6%9B%B8-%E9%87%91%E5%AD%90%E5%BC%98%E6%98%8C-ebook/dp/B09C89HZRV/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=python+%E5%AE%9F%E9%A8%93%E8%A8%88%E7%94%BB&qid=1637486019&s=books&sr=1-1

実験計画法って、fisherの古典的なやつ、ラテン方格に割り付けて、ってやつかと思ったら、線形代数使えればもうなんでもありなのな。

そこにきて、ベイズ、今まで避けてたのに出会ってしまった!!

結論から言うと、超面白い。

これ、すごいな。

Python万歳

いいのかこんな便利分析個人でやれて。

機械学習実験計画法がここでつながるとか、控えめにいって最高だな。

まだ読了してないので、また後日。

2021-11-02

【超絶悲報すももボコられるの巻

https://twitter.com/sumomodane/status/1454703677285883904

そしてこれが、モテに関連する要素を幅広く投入して、そこに暴力性を加えて、交際経験従属変数にして重回帰分析。かなり弱い相関で有意であった暴力性は、重回帰分析では有意でさえなくなりました。アプローチ回数、デートスキル、外向性などの正攻法は重回帰でも有意です。


https://twitter.com/kenmcalinn/status/1455019576475914240

この「とりあえず関連しそうな変数をいれまくって回帰して興味ある変数の係数のp値で有意判断する」っていうのは一番やっちゃいけないやつですね。全く意味がないです。

対処法としては操作変数法で他の変数の影響を排除する(でも高次元場合過学習が起こるので要注意)、もしくはベイズなら全通りのモデルを作って事後モデル確率からトップn個(例えばモデル確率の合計が90%になるように、とか)のモデルにおいて興味ある変数が何回含まれてるか確認する(オッカムの窓というやつ)のもありだと思います

とりあえず全部つっこんでp値は絶対にだめです。







やはりスモモちゃんコードをギッハブで公開すべき★

2021-09-26

から僕は大学を辞めた

考えたってわからないし

青空の下、教授(ボス)を待った

風が吹いた正午、ラボミーティングを抜け出す想像

ねぇ、これからどうなるんだろうね

進め方教わらないんだよ

ボスの目を見た 何も言えず僕は歩いた


考えたってわからないし

実験なんてつまらないし

辞めた筈のピペド、エッペンを持つ癖が抜けない

ねぇ、将来何してるだろうね

研究はしてないといいね

困らないでよ


グラフの中に一つ線を引いても

どうしても消えなかった 外れ値なんだから

なぁ、もう思い出すな


間違ってるんだよ

わかってないよ、あんたら院生

p値もAI学会も確かさも論文もどうでもいいよ

正しいかどうか知りたいのだって防衛本能

考えたんだ あんたのせいだ


考えたってわからないが、本当に就職したくないんだ

いつか働いたらって思うだけで胸が空っぽになるんだ

将来何してるだろうって

大人になったらわかったよ

何もしてないさ


幸せな顔したB4が憎いのはどう割り切ったらいいんだ

満たされない頭の奥の化け物みたいな劣等感


間違ってないよ

なぁ、何だかんだあんたら院生

AIも尤度もベイズ根拠がないなんて気味が悪いよ

レビュアーコメントが痛いのだって防衛本能

どうでもいいか あんたのせいだ


考えたってわからないし

生きてるだけでも苦しいし

研究とか儲からないし

英文とか適当でもいいよ

どうでもいいんだ


間違ってないだろ

間違ってないよな

間違ってないよな


間違ってるんだよ わかってるんだ

あんたら院生

p値もAI学会も確かさも研究もどうでもいいんだ

正しい答えが言えないのだって防衛本能

どうでもいいや あんたのせいだ


だって信念があった

今じゃ塵みたいな想いだ

何度でもドラフトを書いた

IFこそがどうでもよかったんだ

本当だ 本当なんだ 昔はそうだった


から僕は大学を辞めた

2021-09-13

実際にはアジア系にも色んな顔立ちの人間がいるので

日本芸能界みたいに一重に人権無しになるのもどうかと思うけど

一重吊り目の如何にもなアジア系ばかりにするのも極端じゃないかと思う

あーー、「ローグ・ワン/スター・ウォーズストーリー」にはメインにアジア系は二人いるけれど

チアルート役のドニー・イェンベイズ役のチアン・ウェンはどっちも二重で割と濃い顔立ちだったよなあ

あれは割とよかったと思うんだけど

「シャン・チー/テン・リングス伝説」ってMCUの新作映画、主演の俳優イケメンじゃないだのそれを指摘するのはルッキズム差別だのと言われているようだけど

個人的には批判側の意見の方が分かるんだよな…

主演の人が悪い訳ではないが、せっかくのアジア系主役映画鳴り物入りで出しておいてそれかよという

アジア系でいうならスターウォーズローグ・ワンチアルートベイズなんかは別に違和感感じなかったし

ハリウッド活躍できるようなアジア系美男美女俳優だって普通にいるだろと思うんだけど

2021-07-09

東京感染者数を5週間ぶん予測した」に勝負を挑んだ:4日目

anond:20210706090858

予測対決 結果発表(7/6 - 7/11)★勝ち越し確定。予測誤差の少なさも圧勝。 ★

結果

実際の感染者数=822人、私の予測=823人。ほぼ的中っす。惜しかったっす。

評価期間 Knoa氏平均私の平均実際の平均 勝敗コメント
7/6-7/9 910.75 815.25 807.25 圧勝っす Knoa氏誤差=103.5人 vs. 私の誤差=8人
曜日Knoa氏予測私の予測実際の感染者数 勝敗コメント
7/6 (火) 705 642 593 1勝0敗 0分 楽勝っす。明日も楽しみっす。
7/7 (水) 1031 982 920 2勝0敗 0分 楽勝っす。明日も楽しみっす。
7/8 (木) 962 814 894 2勝1敗 0分 14人差でまさかの惜敗っす。明日こそ勝ち越しを決めるっす。
7/9 (金) 945 823 822 3勝1敗 0分 完勝っす。とりあえず勝ち越し確定っす。
7/10 (土) 967 967 3勝1敗 1分 引き分けっす。この日は絶対引き分けっす。
7/11 (日) 699 702 ?勝?敗 1分

 

感想

しつこいけど、専門家なら誰もが考慮しているあのデータをきちんと考慮してないというのがあなた問題だと思うの。

あなた予測が一貫して常に上ずれしてハズレた値になってしまっているのは、そういうことだと思うの。そのハズレ方は誤差じゃないと思うの。

(Knoa氏の「予測説明」を読んでも説明変数記述ばかりで、モデル記述がまったくないから、今はこのくらいしか言えないの。)

予想通り、予測が完勝したこと確認できたのでよかったです。

7月9日、ほぼ的中。すでに御祝いの言葉を下さった増田ありがとうございます。何かうれしい。

戦いの記録
4日目のはてブコメについて
3日目のはてブコメについて
4日目ににコメント下さった増田さん
3日目にコメント下さった増田さん
ブクマ
感染状況

2021-07-08

東京感染者数を5週間ぶん予測した」に勝負を挑んだ:3日目

anond:20210706090858

7月9日ほぼ的中★「東京感染者数を5週間ぶん予測した」に勝負を挑んだ:4日目 → anond:20210709180450

予測対決 結果発表(7/6 - 7/11

結果
曜日Knoa氏予測私の予測実際の感染者数 勝敗コメント
7/6 (火) 705 642 593 1勝0敗 0分 楽勝っす。明日も楽しみっす。
7/7 (水) 1031 982 920 2勝0敗 0分 楽勝っす。明日も楽しみっす。
7/8 (木) 962 814 894 2勝1敗 0分 14人差でまさかの惜敗っす。明日こそ勝ち越しを決めるっす。
7/9 (金) 945 823 ?勝?敗 0分
7/10 (土) 967 967 ?勝?敗 1分 引き分けっす。この日は絶対引き分けっす。
7/11 (日) 699 702 ?勝?敗 1分
評価期間 Knoa氏平均私の平均実際の平均 勝敗コメント
7/6-7/8 899.3 812.7 802.3 圧勝っす Knoa氏誤差=97.0 vs. 私の誤差=10.3

 

感想

しつこいけど、専門家なら誰もが考慮しているあのデータをきちんと考慮してないというのがあなた問題だと思うの。

あなた予測が一貫して常に上ずれしてハズレた値になってしまっているのは、そういうことだと思うの。そのハズレ方は誤差じゃないと思うの。

(Knoa氏の「予測説明」を読んでも説明変数記述ばかりで、モデル記述がまったくないから、今はこのくらいしか言えないの。)

戦いの記録
他の増田さん
感染状況

2021-05-29

anond:20210529140047

他者強制する行為問題点陰謀論「者」の行為問題点であって、陰謀論問題点ではないですね。

ベイズ的に考えたときに、強すぎる事前確率を設定しすぎるのはデータ更新による効果を打ち消してしまうんですけど、

その観点から言うと「陰謀論100%正しい」と考える人も、「陰謀論100%間違っている」と考える人同類ですね。

たぶん、私の場合陰謀論の支持者と反対者の両方の論法批判する立場なので両方から嫌われてしまますけど。

2021-04-19

やっとベイズ例題の解き方が納得できるようになった。P(B)の計算方法理解できるまで時間食った。でもなんかすぐ忘れそ。定理は暗記することに。正逆正で最初と2番目のペアの間に縦棒が立つ

2021-04-05

頻度「主義」とかベイズ主義」の「正しさ」がどうとか議論してる連中

「期待平均対数尤度を使っているから"真の分布"の存在仮定している!そんなもの存在することは自明ではない!」とかなんかそういうこと言ってんの。

馬鹿じゃねーの????????????????????????????????????????????????????????

別にそーいうもんを仮定たらこういう評価ができるっつってるだけであって、その仮定聖書コーランだかみてーに信じて布教しようしてるわけじゃねーだろうがよ。

真の分布存在しなかったらどうするのかって?そういう状況に合う数学的な設定を構成してその上でどういう評価ができるかを調べるだけだろうがよ。

真の分布ガーとか哲学ガーとか言ってるやつはその主張を数学的な設定に落としてから口を開けよ。あるいはお前が考えている具体的な設定が数学的に記述できないことを証明しろ

2021-02-07

anond:20210207102300

そもそもセンサーから情報量情報処理時間分解能が違い過ぎて、不完全観測環境下での運動制御タスクとして考えると人間と比べること自体が間違いだぞ

不確定要素が多いとか定性的な話で誰が納得すると思う?そんなのは深層学習ベイズフィルタの汎用的なあわせ技で解けちゃうから

2020-12-06

anond:20201206153634

ベイズがどうのと言わないなら

高校で習う気がするけどどうなんかな

2020-12-02

anond:20201202145020

他ほしいのある?

2020-03-20

anond:20200320101937

問題はそこじゃない。

陽性の可能性が高い人以外は「PCR検査をしてはいけない」んだ。

現状のPCR検査の検出力が低いので、検査母集団事前確率がある程度高くなければ、偽陽性偽陰性が多く出てかえって混乱する。

ベイズ統計理論教科書的な事例だよ。

2019-07-21

線形代数やら微積分やら結局わからなかった

社会科学大学院生

今日をもってこれらを体系的に身に着けることをあきらめた。

思えば統計学を学び始めたのがきっかけだった。

中心極限定理やF分布についてふわっと学ぶ度、こういうものを本当に理解するためには大学数学知識必要なんだろうなと漠然と感じていた。

研究室はそういうところを専門とはしておらず、ただあくまツールとして、回帰分析回したり分散分析するくらいでよかった。

就職先は金融ではあるけれどクオンツアクチュアリー職ではないから、たぶんそういうものの出番はない。

バカな僕は数理統計を学ばずにいて統計を用いた研究やるなんて、ちゃんちゃらおかしいと思っていたし、

就職先でもそういうことを学んでいれば周りよりも一歩二歩先を行けると信じていた。

しかし、マセマをやっても定評のある教科書を終えても、なんだか自分が思ったほどできるようにはなっていないことに気づいた。

やってることと言えば、学ぶ前も後も全く同じように回帰を回し、p値を眺めてあーだこーだ言ってるだけだった。

p値ハックの記事ベイズ有用性を目にするたびに自責の念かられてつらくなる。

しかしたら自分がやったことは無駄だったのかもしれないと思うようになる。

就活を終え、今一度参考書に取り組んでも、抜け落ちているところがいくつもあったことに絶望してノートもすべて捨ててしまった。

こうした知識必要コミュニティとは違ったところに自分いたことに気づけていなかったんじゃないだろうか

2019-07-03

「米酢」の読みって

ヨネズ?これならよねづけんしと絡めて駄洒落にできる

ベイス?これならベイスターズ鉄板だね

ベイズだと数学関連でムツカしいこと言えるね

どれ?

ログイン ユーザー登録
ようこそ ゲスト さん