  |
はてなキーワード: Csvとは
https://github.com/lvnkae/blog-collection-filter
など。
例)
<>宇佐美 *定満
宇佐美定満
宇佐美 定満
宇佐美 定満
宇佐美 定満
等、姓名間にスペースが0個以上ある定満はを含むツイートを削除
| URL | 概要 |
|---|---|
| https://blog.livedoor.com/ | ランキング、ブログ速報、カテゴリ、編集部の「推し」、おすすめブログ、ブログ速報 |
| https://https://blog.with2.net/ranking/ | ランキング、新着記事 |
| https://*,blogmura.com/ | ランキング |
各種ランキングからまとめサイトやコンビニ漫画系(嫁姑、DV、サレが云々)が消えてスッキリ。
しかしランキングサイトはまとめサイトに汚染されていたのだった
今どきはLINEに登録してスマホからブログ見るのが主流と聞き、需要は少なそうですがゼロでもないはず、と思い公開することにしました。amebloのことは忘れましょう。
あれば
データを取るのに再現性や精度がでないというのはわかっていても、
解決するための装置やら消耗品やらが、市販されているかどうかわからないことがある。
他の人の論文に載っていれば手っ取り早いが、そうではないこともある。
装置だとデータは取れるがバイナリデータのフォーマットがわからないとか、
CSVで吐き出せはするがファイルサイズが大きくなりすぎて扱いにくいとか、
エクセルなどでは上限に引っかかって開くことすらできないとか、
解きたいテーマとは違う部分でひっかかることも多い。
CSVじゃ無理っすねー
https://docs.microsoft.com/ja-jp/power-query/connectors/media/json/sample-json-file.png
「大量に出てくる測定装置から吐き出されるデータ」の形式はどういうものなのかな
なんか急にリベラル様が「私達は9条があれば平和は守れるなんて言ってない！ 9条は日本を縛るためのものと言ったことはあるけど！」「だから侵略させないためには、別に手を尽くす必要がある」と言っている。
日本で最高の知能が集まるリベラル様が間違いを言ってるはずがないので、自分の記憶が間違ってないか調べてみることにした。一般人から政党まで、いろいろとね。
また、憲法九条は、紛争を平和的に解決するという考えを、多くの国民に定着させてきました。こうして、他国に軍事介入しない、紛争の原因をつくらないということが、他国による日本侵略の要因をつくらず、平和を守ることにつながってきました。
このレベルの例なら私にも出せる。しかもこんな小粒ではなく大量に、だ！これを見ればリベラルどもも黙るだろう。
第11問 憲法第9条は、戦争を放棄し、戦力を持たないことを決めています。あなたは、この第９条は、日本の平和と安全に、どの程度役に立っているとお考えですか。リストの中からお答えください。
１．非常に役に立っている 29.4%
２．ある程度役に立っている 52.6%
４．まったく役に立っていない 2.3%
５．わからない、無回答 4.7%
そう、何とNHKによれば日本人の8割もが憲法9条が日本の平和と安全に資すると答えているのである！
どうだリベラルどもよ、これを見てもまだ9条が平和に役立つと言ったことがないなんて言えるか？言った人がいたとしても少数だなんて言えるか？国民の8割とはマイノリティーなのか？マジョリティーもマジョリティーなのである！
そして今明かされる衝撃の真実！大多数の日本人はお花畑リベラルかお花畑リベラルに洗脳された愚民だったんだよッッッッ！
おっといけない愚民なんて言葉は選民思想リベラル様の専売特許だったのであった。しかしまあなんて由々しき事態なんだ…。
日本は国際社会で、主としてどのような役割を果たすべきか聞いたところ、「環境・地球温暖化・感染症対策を含む保健などの地球規模の課題解決への貢献」を挙げた者の割合が63.9％、「人的支援を含んだ、地域情勢の安定や紛争の平和的解決に向けた取組を通じた国際平和への貢献」を挙げた者の割合が59.2％と高く、以下、「軍縮・不拡散の取組などを通じた世界の平和と安定への貢献」（41.2％）、
昨年度の内閣府の調査を見れば国民どもの思想を垣間見ることができる。4割が軍縮・不拡散を行うのが日本の役割だと述べているのだ。この夢想家どもがッッッ！
ちなみにCSVデータを見ると一番軍縮云々に賛同しなかったのは30代で26.1%しか賛同していない。次が18-29歳の37.3%なのでここだけ異様に低いのが分かる。不思議だね。
いや、ちょっと待ってほしい。「9条が日本の平和に役立っている」と主張したからといって「9条があれば日本は平和」と言ったことにならないはずだ。「他国に軍事介入しない、紛争の原因をつくらないということが、他国による日本侵略の要因をつくらず、平和を守ることにつながってきました」という文章を読んで「わあ、9条があれば侵略されることはないんだね！」と読解する人間はさすがにおるまい。確かに共産党は近いことを言ったこともあった気がしないでもないがこの文章だけではそうとは捉えられない。意外なことに原文を読んでも「他国に軍事介入しない」とは他国の戦争に自衛隊を派遣して怨みを買わない、「紛争の原因をつくらない」とは武器輸出をすることでイラクのような平和を脅かす集団を作るということをしてないという意味で、結果侵略される要因を作ることにならないため平和に資するのだといった程度のことしか書いていないのである。
第13問 あなたは、現在の世界の情勢から考えて、日本が戦争や紛争に巻き込まれたり、他国から侵略を受けたりする危険性がどの程度あると思いますか。リストの中からお答えください。
４．まったく危険はない 0.5%
５．わからない、無回答 1.9%
このように国民の8割が9条が日本の平和に役立っている一方で、国民のほとんどは侵略される危険性があると考えているわけだ。少なくとも国民大多数の中ではこの2つが両立しているということが論理必然的に分かる。
「9条が平和に役立つ」は「9条があれば侵略されない」ではない。データから国民全体の傾向として言えるのは「9条は平和に全く役立たないという意見の持ち主は限りなく少数派」、「多数派は9条は平和に資するがそれで侵略されないとも思っていない」といったところだろう。まあ相手の主張を0か1かで考えるのは楽だが、わりとこんな感じで程度問題だったりもする。「9条が日本を守ってきてくれた」と言う人に「どれくらい役に立ったの？」と聞いて「100%」と返ってくるかは微妙なところだ。そういうものである。
一応補足しておくと今同じ世論調査をすれば「9条が平和に役立っていない」と答える人が増えるのではないだろうか。この2017年の調査にはやはり集団的自衛権を巡る数々の議論があり「戦争に巻き込まれる可能性」が俎上に上がった余波が残っていると見るべきだし、その前に行われた2002年調査はイラク戦争直前でテロ特措法が成立するなど既存の法体系で対処できるか心配された時代であった。実際、同調査では2002年の方が2017年よりも憲法改正賛成派が多く、また9条が平和に役立つと答えている人も少なめである。ウクライナ侵略が行われている今であれば恐らく2002年調査に寄るかそれ以上に変動するかもしれない。国民世論と秋の空でただですら世論はぶれまくるのに出来事1つで更に右往左往するものだ。これは何があってもそこまで政治信条をあまり大きく動かさない我々政治厨が見逃す点で大抵国民世論に確固たる思想信条の基盤があると”必要以上”に考えがちだ。
ところでこれ1974,1992,2002,2017と調査が行われているのだが9条が平和に役立っていないと答えた人は1974年が一番多いのはちょっと面白くないですか？
個人的な意見を言えば、9条に全く平和に資するところがないとは思ってはいない。自衛隊派遣を巡って毎度国会が空転しているのを見れば軍事を増強しても他国視点だと侵略してくるとはあまり思えないというのはあるんじゃないか。専門家ぽく言うと安全保障のジレンマを軽減する信頼醸成措置的な何かになる要素はあるんじゃなかろうか。安全保障のジレンマは元々はリアリズム（国際政治学の学派の名前で一般的な意味とは異なる）が言ってたことで、信頼醸成措置は第二次安倍政権が作った「平成２６年度以降に係る防衛計画の大綱」でも使われている言葉だから言葉としては存在するけど使い方が合ってるかは知らん。
なおデータで言えば一般抑止は計量するのが難しいので何とも言えないが、明日にでも戦争が始まりそうな状態から戦争をやめさせるという緊急抑止については統計分析が存在する。当然9条のデータなんて存在しないのだが、軍事同盟については緊急抑止についてのデータが存在する。代表例はHuthの研究なのだが何と相関関係はマイナスである…。まあこれは選択問題とか色々な理由で一般抑止はあるんじゃねっていうのは言われている。データで証明できてないじゃんwwお気持ち乙wwという世界ではないからね。
それ自体はどうでも良いのだが、同時に緊急抑止に関係あるのは長期の軍事力ではなく短期の軍事力だという分析結果もある（一般抑止は分らんが）。日本ではあまり聞かない議論なんだけど闇雲に軍事力軍事力言うよりその辺何が抑止に効果的なのかとかもうちょっと表で議論されてほしいんですけどね。
抑止とは、費用と危険が期待する結果を上回ると敵対者に思わせることにより、自分の利益に反する行動を敵対者にとらせないようにする努力である。したがって合理的敵対者に対してのみ働き得る機能である。
最後に1つだけ。引用した『軍事学入門』は軍事に詳しくリアリスト（国際政治学の学派の名前ではなく一般的な意味と同じ）であれば必ず通った書物だ（過言）。ちなみに自分は軍事通でもリアリストでもないダメ人間なのだが。読むと至極当然の抑止についての説明が書いてありますね？ところが最近の議論を見ているとこの当たり前の話を忘れてないか…という人がいる気もしないでもないのでここで紹介しておく。
もちろん「合理的」のニュアンスが難しいところだとは思うが。行動経済学が人間は非合理という話をした時、既存の経済学の「合理性」を拡張すれば対処できるものもあるよねって話になったりもしたんよね。その意味でこの「合理的」を「プーチンは戦争を起こす際に損得勘定もできないアホバカオタンコナス！だから軍事抑止力も意味ないんだ😭」って話にできるかは別の話。
関数やスクリプト、レイアウトなどでがっつりとデータを扱う場合にはあまり適していないけど、それなりにそこそこならばCSV+かなと思ってる。
・右と左ってどっちがどっちだっけ？
・エレベーターボタンって＜｜＞ と ＞｜＜ どっちが開くだっけ？
・カンマ区切りのファイルって CVS と CSV どっちだっけ？
は全く問題ないんだけど、
女性を嫌悪するのって ミソジニー と ミサンドリー どっちだっけ？
は一瞬考えないと正しく確信を持てない。
ミソジニー （英: misogyny） は、ギリシア語の「μῖσος mîsos（嫌悪、憎しみ）」と「γυνή gunḗ（女性）」に由来する。
ミサンドリー（英: misandry）とは、語源はギリシャ語で、“憎悪”（希: μῖσος、mísos）と“男”（希: ἀνδρός、andrós）から。
https://ja.wikipedia.org/wiki/%E3%83%9F%E3%82%BD%E3%82%B8%E3%83%8B%E3%83%BC
https://ja.wikipedia.org/wiki/%E3%83%9F%E3%82%B5%E3%83%B3%E3%83%89%E3%83%AA%E3%83%BC
gunḗ (ジニー)が女性というのがピンとこなくて、むしろアラジンのジーニーを連想して余計に混乱する。
andrós(アンドリー)→アンドリュー→男性名→男性→misos男性→男性を嫌悪する→ミサンドリーは男性嫌悪→ミソジニーはその逆だから女性嫌悪
と考えないと正解できない。
みんなはパッと見で分かるのかな？
これが費用も安くて故障したとき、バックアップの NAS をメインに切り替えたら、わりとすぐ復旧できる。
一旦 USB 経由してるのは NAS は転送速度が遅いからで、うちの場合ネットワークの速度が 10MB/sec ぐらいしか出ん（勘違いでした 50MB/sec 以上は出てました）。
数テラ級の NAS とかになると、一晩じゃ絶対戻りきれないので、
運用しながらバックアップしながら復旧するのに、やっぱり2週間はかかる。
幸い障害時に一番に復旧させる必要な箇所のデータは CSV とかなので、先にそこのデータだけ復旧させたら、
あとはなんとか運用しながら復旧できる。
とりあえず大事なデータは NAS に入れろ！って言うのを周知。
個々のパソコンが壊れたら、
物理的に取り出して、USB 接続させてサルベージできるので、そこはあんまり困ってない。
（だったら RAID も同じ機器2台買って二重にしたいタチ）
取り回しのしやすい USB HDD を複数で多重バックアップさせておけば OK と思ってる。
NAS の HDD は Windows にマウント出来ないので一度 Linux 経由でマウントさせてサルベージさせてみようと思ったけど、差分とかどうやって取り出したらいいのか分からなかったし Linux 自信ないので難しかった。
それを踏まえると NAS が壊れたらややこしいので NAS のバックアップは必須。
困るのが
世代バックアップが出来ないぐらい（あんまりそんな問い合わせもないけど）
だから Mac の TimeMachine は個人であんなバックアップシステムは変態すぎる。
Buffalo の NAS は電源を付けたり消したりしているとすぐ壊れるので、24時間ずっと付けっぱなしの方が壊れない。
（Buffalo の昔のファン付き NAS はファンが壊れたらどうしようもなかったので、苦情も多かっただろう（ファン交換部品もオプションであったしね）、いま Buffalo の NAS はほぼファンレスなので耐久性も抜群に上がってきている）
あと Buffalo の NAS は機種によって勝手に画像のサムネイルを生成してしまう余計な機能がある NAS があるので、そう言った機能がないのがプレーンに使えてよい。
LS510DG や LS210DG など 510 210 の桁の品番が、そう言った余計な機能がない品番になる。
会社で使う分には勝手に色々なファイルを生成されるとバックアップに支障をきたすので、そう言った機能がない方がよい。
零細企業と言えども
NAS 4台もあるし、それにともなう USB 接続の HDD も必然的に多くなる。
この理屈で運用すると NAS の倍の USB HDD が必要になる、実際にそうしてるけど。
今余裕がないので予備の NAS でのバックアップが出来てないけど、まあなんとかなるか。って感じ。
「DiskMirroringTool Unicode版」のみ
この Unicode版じゃないと中国語のフォントなど文字によってバックアップ対象から外れてしまうし、4GB 以上のファイルもバックアップ出来ないので、
Unicode版な。
データは大切！これを分かってくれる人は意外と少ない。
後編
行列はVBAなんかじゃ無理っぽいし、なんかプログラミング言語を覚えようと決める。
とりあえず両方試そうということで、RのためにRとRstudioをインストール。
プログラミングはなんかを製作する目標がないと挫折すると聞いていたので。
深層学習というものが流行ってると聞いて、ちょっと触りを勉強したくなる。
この本は面白かったので、深層学習を目標にプログラミングを覚えよう！
後になって、これはとんでもない間違いだったことに気づく。深層学習と機械学習の違いも判らないまま、RよりPythonを先に触ることに。
教本にしたのはこちら。
「ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装」
途中まではまあなんとか。
微分って便利だな。行列計算できるの便利だなっていうところまでいったが、クラスという概念が理解できず、途中からハテナが浮かんで読み進められず。
うん、もうちょっと易しい本を探そうと思って手に取ったのが
「独学プログラマー Python言語の基本から仕事のやり方まで」
なんとか読了。自信をつける。
実は、いまだにコマンドプロンプトとパワーシェルとbashの違いが分かってない。
つづいてPyQに2か月くらい登録してみる。
なかなかPythonが楽しくなってきたが、クラス意味が今一つ掴めないままいったん中断。
この辺で、自分は統計に興味があってもプログラミングに興味がないんじゃないかということに気づく。
なんだかんだもがきながら、PythonもRもモノにならず、日常のちょっとした計算やグラフを作ったりはExcelを使い続ける日々が続く。
あるいは、Excelで成形して、検定かけやすい形式にしてRで検定するとか。
Rに触れてなかったな、Rは完全に独学。「こんなことやりたいなぁ、ググってみるか、ほうなるほど」って感じ。
そんなさなか、放送大学で「Rで学ぶ確率統計」という講義があるのを知り、さっそく入学して受講。
なかなか面白かったし、PythonばっかりでRあんまり触ってなかったからいい刺激になった。
恥ずかしながら、負の二項分布やガンマ分布ってよう知らんかった。
しかし、講義は楽しかったがなにか書けるようになったかというとそんなことはなく、依然として基本はExcel。
まあ、実際csvじゃなく、手書きのデータとかをExcelに打ち込んだりする程度なんでPythonやRを使うまでもなかったというのもあるんだけど。
「Excelパワーピボット 7つのステップでデータ集計・分析を「自動化」する」
パワークエリを覚えたらピボット形式のExcelファイルとか、セルの結合が多用されたExcelファイルを、成形加工するのが非常に楽になった。
しかも、同じフォーマットで記録されてるデータならフォルダにぶち込んで一気にまとめ上げることも可能！
控えめにいって神！
としばらくパワークエリを礼賛してたのだけど、各ステップはPythonのpandasやRのdplyrでも出来ることに気づく。というか最初から気づけ。
こりゃ、一気に覚えちまおう、統計というより、データの前処理だなと思ってUdemyでRの動画を買ってみた。
AIエンジニアが教えるRとtidyverseによるデータの前処理講座
https://www.udemy.com/course/r-tidyverse-preprocess/
すっかりR信者になる。
それまで教本を呼んでもdplyrの便利さが今一つわからなかったのに、パワークエリで具体的にモノを作ると、dplyrに翻訳したら、すいすい。スピード10倍。
便利さにようやく気付く。
そんで、pandasに翻訳したらどうなんだろ？と思ったらもっと速いｗ
すごいなPython。
Rへの入信はたった数週間。再びPythonに興味。
さて、ゼロから作るディープラーニングを再開しようと思ったけれども、そもそも、機械学習をすっ飛ばして深層学習って無茶だったと反省し、まずは機械学習に。
機械学習のエッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning)
で、この本がすごい。
5章あるんだけど、機械学習のアルゴリズムは5章だけなんだなｗ
それまでは何に割かれてるんだって？数式の証明とか、便利な計算法、例えばニュートン法とかラグランジュ未定乗数法とかｗ
こんだけ引っ張っておいて、いよいよ本番の第5章もゴリゴリ数式をスクリプトに落とし込んでいってるのに、「これは学習のためでscikit-learnっての使えばたった1行」っていう無慈悲ｗ
いや、ほんと数学の勉強になったし、こうやってゴリゴリやるとなんのためにクラスというものが存在するのかようやくわかった。
線形代数って便利なんだなと。行列をスカラー値のように何の気なしに扱えるようになると、あの頃苦しんでいた実験計画法、タグチメソッド、今読み直したら別の印象があるんじゃないかなと思うようになったり。
この本を読む途中、「マンガでわかる統計学因子分析編」で学んだことが理解の助けになった。
なんたる僥倖。
線形回帰、リッジ回帰、SVM、PCA、ｋ-means、クラスター分析、一気に手札が増えた。
Ｐｙｔｈｏｎで学ぶ実験計画法入門 ベイズ最適化によるデータ解析
実験計画法って、fisherの古典的なやつ、ラテン方格に割り付けて、ってやつかと思ったら、線形代数使えればもうなんでもありなのな。
これ、すごいな。
機械学習と実験計画法がここでつながるとか、控えめにいって最高だな。
まだ読了してないので、また後日。
ユーザー側のデザインとポイントバラマキにみんな騙されてるけど
楽天の倉庫連携とかExcelベースなんだぜ。WEBベースじゃないんだぜ？
amazon信者ではないけど、最後に参入したamazonのシステムの完成度にビビったね。
何がすごいってシステム的に全て解決してくれて何がエラーでどのように対処すれば良いかの指摘が完璧。
マニュアルもなくて直感でCSV更新も出来るようになって１カ月足らずで楽天・ヤフーに匹敵する売上立ったしなんだこれ。
あ～対人サポートないからでしょとか思うやん？24時間サポートしてくれて何なら深夜でも電話よこしてくれる神対応。
楽天・・・タダイタデンワガコミアッテオリマス～アナタハゲンザイ１０ニンマチデスシバラクマチクダサイ～・・・１時間とかザラ。んでサポで解決出来ず後日回答します～ワカリマセンデシター
ヤフー・・・サポート無し！AIチャットで検討外れな回答のみ。
でも国内企業には頑張ってもらいたい！頑張ってもらいたいけど・・・・amazonには勝てんわ。企業努力とか資本力とか以前にもっと根本的な考え方・ポリシーが違いすぎる。
以上しがない出品者より
https://anond.hatelabo.jp/20211027152420
Excelを自動化したかったらマクロでいいっていうのはその通り
ただ、プログラミングの本質ってエクセルで実現していることをもっと便利な形で実現することにあると思う
例えばこれまではタイムカードを共有ファイルのエクセル管理していて、社員が各自手打ちで出勤・退勤入力していたのを
社員毎のボタン作ってクリックしたら出勤・退勤が記録されるとかいうのはエクセルマクロ
オフィスの入り口にラズパイとタッチパネルとカメラで顔識別して出勤・退勤をワンタッチで記録するのがプログラミング
データはデータベースに格納されて、それをExcelなりCSVにエクスポートできるっていう機能を持たせることもあると思うし
Excel出力して平均勤務時間をグラフ化するなんてのもアリだと思う
最初の顔識別のときに表情から疲れを推定してみても面白いかも知れない
ただ一部の管理者だけがそのグラフ見るならExcelでいいだろうけど
全社員が見れるようにするならWebブラウザとかスマホアプリ化した方がいいよね？っていう話にもなる
そうなったときにExcelマクロだと貧弱だったり不可能なことが出てきたりしてPythonなりWeb系なりが必要になる
「今の業務を楽にする」っていう現状の延長線上の考えとか発想のままだとマクロで十分ってなるけど
