「スクレイピング」を含む日記 RSS

はてなキーワード: スクレイピングとは

2020-12-30

ホットエントリーにおける「これはひどいタグの出現回数を調べた

はてブの「過去の人エントリー」ページをPythonを使ってスクレイピングし、その中に「これはひどいタグがついたエントリーがいくつあるかを日毎にカウントした。

集計範囲: 2005年2月10日~2020年12月27日

集計の結果、「これはひどいタグのついたエントリーが最も多かった日は2020年10月19日で、13エントリーであることがわかった。

はてなブックマーク - 人気エントリー - 総合 - 2020年10月19日

これはひどいタグ出現数トップ4

せっかくなので1位以外も載せておく。なお、5位以下は数が多すぎるので省略。


2020年は「これはひどいタグがこれまでよりも多くホットエントリーに出現するようになっている。

ホットエントリー全てが「これはひどいタグのついたエントリーになる日は近い。

2020-12-02

anond:20201202145020

他ほしいのある?

2020-12-01

エロ駆動プログラミングを上達させればいいのだろうか

ブラウザ自動化したり、画像認識したり、マウスキーボード入力自動化できるので、

まずエロ動画が紹介されているWebページスクレイピングして、

自分の興味ある特定文字列タイトルにある動画だけを抽出して、

それをyoutubeなんちゃらでダウソして、

動画再生ツールで一つずつ再生する、

みたいなコードを書けばいいのではないだろうか

これも立派なSTEMである

2020-11-15

PS5の転売は悪だとか言って ※11/17追記

5万円のPS5を10万円で売ってるくらいで文句言っている人がいるけど、

もっとかに大きな転売については全然文句言わないよね。

不動産屋がオーナーからマンションを1億円で買って2億円で転売しても文句言わないよね。

独占販売契約などを利用して、買値の数倍から十倍価格転売している商社かに文句言わないよね。

証券会社手数料名目で何割も乗せた価格証券転売しても文句言わないよね。

結局、文句を言いやす相手転売で5万円儲けたら文句を言うけど、

文句を言いにくい相手転売で5兆円儲けても文句を言わないよね。

弱いもの攻撃したいだけだよね。

メルカリでの転売なんて、需要供給に基づいて市場価格が決まっていくだけじゃん。

たった5万円の手数料を払うだけで、店頭で買えない貴重な商品が買えるんだから感謝すればいいじゃん。

不動産屋に何千万円も手数料を取られた上で「いい物件を紹介してくれてありがとうございます」とか言ってる人が、

5万円の手数料請求しているPS5の転売屋には文句を言っているかと思うと笑けてくる。

もし自由取引制限されて転売する人がゼロになったら、市場価格存在しなくなり、

運が良い人はメーカーが決めた価格で入手できるけど、運が悪い人はどんなに欲しくても何百万円を払っても入手不可能になるじゃん。

マスクとか食料品とか生活必需品については国家権力による価格統制が必要場合もあるだろうけど、PS5なんて完全に娯楽品だよね。

娯楽品が市場価格取引されて何か問題あるんかね?

ソニーの売り方のお粗末さに文句を言うなら分かるが、メルカリや出品者などのオープン自由市場構成員文句を言うくらいなら、

もっと文句を言うべき相手が居るんじゃなかろうか。

なんというか、不当に逮捕された受刑者が、警察不当逮捕には文句を言わないのに隣の受刑者の態度には文句を言っているように見える。

--------------------------------------------------------------

11/16追記

的外れ反論コメントが沢山あるけど、とりあえず勘違いトップブコメには返信しておくか。

>>店頭で買えなくしている元凶やんけ

PS5が店頭販売されていないのは、発売元であるソニー・インタラクティブエンタテインメント(SIE)が

新型コロナウイルス感染症拡大が懸念されるなか、顧客販売スタッフ安全を確保するため、発売日当日の店頭での催しやPS5の販売は予定していない」

と決定したからだが?

>>古物商許可は持ってるの?

PS5をソニーから買って転売する際には、古物商許可不要なのだが?

参考 新品を購入して転売するには古物商許可必要なの? 古物商許可 完全マニュアル

https://kobutusho-kyoka.com/blog/antique-sales-law/343/

>>ブコメ本質的反論が皆無。

同意万物の定価以上禁止は笑った。

--------------------------------------------------------------

11/17追記

PS5の転売の話をしているのに、直接関係の無いコメントも多いよな。税金申告しろとか。脱税問題テーマが離れすぎ。

内容ゼロ暴言を書くことしか出来ない人も居るようだが、面白い事を書いてくれる人も居て興味深い。

まあ何百件もあるコメントに全レスする気もないし、PS5の転売に関して多かった2つの意見については一応書いておくか。

・「PS5の転売には付加価値が無いかダメ」という意見について

付加価値はあるぞ。この場合、PS5という「モノ」に対してではなく、PS5を入手するという「手間」に付加価値がある。現状PS5を正規ルートで入手するには、抽選販売当選するまで応募し続ける、以外の手段はない。そしてこの方法には、手間も時間もかかるし、どのくらいの手間と時間をかければ入手できるのかの正確な予測もできない。そして、こんな不毛なことに自分の貴重な時間と労力をかけるくらいなら、金を払ってでも別の人にやって欲しいと考える人間は多く居る。そして逆に、他人のために手間と時間をかけて、代わりに報酬を貰いたいと考える人も居る。そこでこの、「抽選販売当選するまで応募し続ける」作業を代行してもらう手間賃の価格が需給バランスによって決まり、今は約5万ということになる。この作業をやってもらうことに5万の価値、つまりは5万の付加価値があると考える人がある程度いるからこそ、この価格が維持されるし、その価値は無いと考える人が増えれば価格は下がる。

そして、「転売から買う人こそ悪」というコメント結構あったが、現状入手困難な、今後数年間遊べる趣味の道具を入手するために追加で5万を払うというのが、そんなにおかし感覚か? はてなでは、毎月ソシャゲに数万使っている人に、そのくらいじゃ重課金じゃない、とか煽ってないか? 何十万もするカメラを買った人に、沼の入り口へようこそ、とか言って歓迎してないか? ロードバイクは? ゲーミングPCは? 

そんなはてなーにとって、PS5を5万の手間賃を払ってすぐに入手する人間は、滅びるべき「悪」なのか?

まあ、金はあるが時間は無い社会人の中には、「抽選販売当選するまで応募し続ける」作業を代行してもらえることに、5万くらいの付加価値はあると考える人間が大勢居るってこった。

・「買い占めて価格を吊り上げているかダメ」という意見について

いや、あのさ、抽選販売しか入手手段が無いのに買い占めなんてできる訳ないじゃん。まあ、今後の供給が見込めない希少品とか、無いと生命維持に支障が出る生活必需品が急遽不足したとかなら一時的にはありえるかもしれないけど、PS5は発売日も何ヶ月も前から分かっていて、今後どんどん供給されることも分かっている娯楽品じゃん。希望小売価格の2倍になるまで買い占めるとか、どんな規模を想定してんのよ。現状は、転売屋が買い占めたか価格が上がっているんじゃなくて、ソニー供給量が少なすぎるから価格が上がってんの。これについて書いてくれた人のブコメ引用すると、

>>PS5は99%は一般人が購入したと推測され、例えると購買者が10000人いたのに、供給数が1000個、一般人に990個が渡り転売屋に10個が渡って転売された様なもの。以前チケット転売問題スクレイピング調査の結果から類推

という感じ。この例で言えば、欲しかったけど抽選で外れて買えなかった人が9010人居て、その人たちが、転売屋が買い占めたせいで買えなかったと文句を言っているようなもの。実際には、転売屋が居ても居なくても、9000人は買えてないから。これはソニーにとっては助かる話だろう。買えなかった不満を持った9010人のうちの多くが、ソニーではなく転売屋を攻撃対象にしてくれるのだから。そして実際には転売屋がいるおかげで、9010人のうち、追加でお金を払ってでも欲しいという10人が買える市場が出現している。

転売禁止世界……運が良い1000人は買える。運が悪い9000人は大金を積んでも買えない。

転売可能世界……運が良い990人と、運が悪い9010の中で金を払ってでもすぐに欲しい10人が買える。 

娯楽品の取引に関して、どちらが最大多数の最大幸福を実現できる経済環境なんですかねえ?

2020-11-12

スクレイピングするときは何度も直接やらないで

wgetとかでagent変えて先に取得しろよな

2020-10-12

教養要求されない趣味の素晴らしさ

自分能力要求されない趣味ほど素晴らしいものはない。

聖書を諳んじられて、音楽技術を把握していて、花言葉理解できる奴だけがかるという映画のワンシーンを称賛する人間の浅ましさよ。

そうだな。

樽のディオゲネス・ラエルティオスが語ったのと同じだ。

「チンチンをシコると気持ちいぞ!これ豆な」

だ。

だが、その素晴らしさを彼自身理解できていたのかは疑問だ。

冷笑的に世界揶揄するために語った言葉を、彼のシンパ面白がって広めただけに思える。

性器に摩擦を加えると流れる電気信号が神経を介して脳の報酬系と結びついているというのは非常にありがたいことなのだぞ?

とはいえ性欲にも問題があって、単純に弄りすぎると痛くなる。

擦る場所性器から肛門に変えればいいだとか、妄想による興奮のみを楽しむにしたって同じだ。

性欲の解消は肉体を消耗していく。

なにより問題があるのは、性欲の最も素朴な解消法である異性性交を行うと妊娠という非常に悩ましい出来事がつきまとうことだ。

また、それは今や社会と混ざり合って単なる性欲の解消がひと目につかない場所で行わない限りは法的な処罰対象となりうるようになっている。

一部ポルノ単純所持違反考慮すれば、トイレに籠もっての自己手淫以外に安全と言える方法はないのやもしれぬ。

同様に簡単に解消できる欲求として睡眠と食欲がある。

睡眠は地味に厄介で、たった1日の寝すぎが一週間続く生活リズム崩壊の始まりとなる。

食欲の解消は、そこまでスピーディーな影響を及ぼすことは少ない……いや歳を取るとわずかな暴飲暴食、いつもよりたった1000kcal多い食事いつまでも胃腸で処理しきれずに数日ほど不快感が続くことだってある。

肉体的欲求の解消は教養必要とする度合いが低いのだが、肉体を媒介にするが故にオーバーランによって不快リバウンドが発生するリスクが大きい。

なんだかんだいって教養を要するのだ。

では、真に教養の要らない趣味とはなんだろう?

最も広く用いられるのは大衆音楽の類だろう。

大衆音楽は非常に素晴らしい。

鼓膜への振動がいい感じであるというただそれだけで楽しめる。

クラシックのようにその技巧への理解必要としないし、高音質であることすら求めない

宗教的な背景への理解不要であり、現代社会的な価値観で紡がれる散文詩理解するのに必要なのは単にその時代を生きてきたことぐらいだ。

内容の極めて単純な動画漫画文学の類も非常に良い。

中でも文学はただ文字が読めればいい。

漢字が難しいのなら子供向けの本を読めばいい。

児童文学を読むのが恥ずかしいというならハリーポッターについて語れる老人の数を考えてみればいい。

ハーマイオニーを知らないジジイの多くは単にアルツハイマーが進行しすぎているだけだ。

動画自分に向いた作品を選ぶことが出来れば楽しむのは難しくない。

ただ、動画表現の幅が文学よりかなり広がるため、NOT FOR ME問題が起きやすい。

向いてない動画はさっさと消して次に行くのがコツだ。

これはザッピングと呼ばれる技術テレビ放送が始まった頃に産まれ生活の知恵だ。

漫画は、本当に難しい。

ただし消費のしやすさにおいて文学動画より上なので、一度文脈を覚えてしまえばかなり人生が楽になる。

が、文脈を覚えろという時点で、今回の話題にそぐわない。

同様のものビデオゲームがある。

これも文脈理解によって遊びの幅が広がる文化なのだが、それを掴みきれない人間は単に綺麗な絵が動くだけの画面を延々とポチポチして変わりゆく絵を見るぐらいしか出来ない。

絵をザッピングする(これは先程紹介した動画ザッピングを絵に対して行うということだ)のならば、ゲームよりSNSの方がいいだろう。

これには3つの処方がある。

イラストSNSピクシブ、skeb)と呼ばれるものを使う場合は好きな作品を探すのが容易だし、クオリティが高い作品出会いやすく、同一作者の別作品にもアクセスやすい。

スクレイピングSNSタンブラーInstagram等)を使う場合は、同一作者の作品を探すのは難しくなるし、作品の質もばらつきが出るが、ザッピングという行為を楽しむのには理想的だ。

個人的おすすめなのがミニブログSNS(ツイッターマストドン)で好きな絵柄の作者を大量にフォローしてしまうことだ。これを行うことで自分だけの最高のイラスト空間が完成する。

さて、様々な低次元趣味を紹介したが、どれも一定位以上の教養必要となることが分かっていただけだろうか?

特に最後イラストザッピングなどまさにそうで、単に綺麗な絵をペラペラ見たいという未就学児童レベルの娯楽ですら効率化を目指すにはある程度知恵を絞って情報収集する必要があるし、日々自分生活を向上させる意欲を要求される。

悲しいことだ。

もしも、明日の朝、君が猛烈な頭皮神経痛に襲われ、次に目覚めたベッドの上で知能指数が下限を超えて測定不能になっていたとしたとき、君は何を楽しみに生きればいいのだろう?

食事を楽しもうにも、食べ過ぎればお腹が痛くなるという当たり前のことを理解する知性さえ失っていれば、それは満たされぬ精神的苦痛と満たされたのちの肉体的な苦痛に挟み込まれ苦悶の儀となるだろう。

ならば、何がある?

祈ることだ。

ただ、心を無心にし、無心を目指すことだけを目的に祈る。

なにもしないことを目指す。

すべてを失った人間に出来ることはそれぐらいしかない。

この世界で最も低次元の娯楽とは祈ることなのだ。

それも、神へ祈るのではなく、いわゆる禅、瞑想のたぐいだ。

無心を目指すことだけが最後に人に残された娯楽だ。

禅を高尚だと崇めるものよ、瞑想こそが格調高い儀式だと宣う者共、恥を知れ。

それは、三大欲求にさえ見捨てられた物に残された最後の娯楽、この世界底辺だ。

そこから、そのふてぶてしい脚をどけよ。

2020-09-12

政治に興味ないっていう人は、どれくらいの政治知識要求しているんだろうか

現状のSNSでも毎日政治について議論しているのが目につくのだが、日本人政治に興味がないという人が居る。

毎日日本語生産されるドキュメントの内、どれくらいの量が政治関係なのか統計を見たことがないのだが、

政治に興味がないと失望している人は、どれだけ政治の話をすれば満足するのだろうか。

自分技術者なので毎日何かしら技術に関して調べているので、選挙以外であまり時間を使いたくない。

ただでさえ技術が衰退していると非難されるのだから、誰かが既に指摘している政治問題点や事例について、時間を割きたくない。(代わりに技術のことをやってはくれないだろう)

政府機関から出てくる資料も、スクレイピングしていると毎日のように出てくるが、全部目を通すのも難しい。

(というか読んでるのか?みんな)

2020-08-26

2ch.scの魅力

管理人と揉めて西村博之氏が2ちゃんねる管理から離れることになった際、

実質締め出しという形で追い出された西村氏にとってこれは本位ではなかったので彼は反発として2ch.scという掲示板を立ち上げた

掲示板と言っても実態本家2ちゃんねる(現5ch)をスクレイピングして書き込み自動コピーして反映させているだけのコピーサイトで、

一応書き込み機能などの掲示板としての機能はあるものほとんどの書き込み上記botが行っているもので、仮に2ch.scに書き込んだところで住人からの反応はほぼ期待できないだろう

後に、本家2ちゃんねる商標問題で揉めて5ちゃんねるに名前を変えた


問題なのは2chまとめサイトメディア2ちゃんねる名前を知った人が『2ちゃんねる』と検索してでてくるのは2ch.scだということ

経緯を知らずに2ch.sc流入してきた人達は今もbot人間思い込みbot喧嘩を売り、bot質問し、bot相手に『クソワロタ』とか書き込んだりしてる

レスポンスがあまりに返ってこないことに違和感を持つか本家で囚われたsc住民馬鹿にするスレが立ってそれがscコピーされた際などに初めて気づくのだろう

ちょっと不思議世界だよね

scも作られてからそこそこ年数経ってるからしかすると数年単位2ch.scという鏡世界に囚われている人もいるのかもしれない

たまにネタで「お前以外の増田は全部人工知能だよ」みたいに冗談で言っている人を見たことあるが、ガチでそういう世界だなぁ

2020-08-13

政治に興味ないっていう人は、どれくらいの政治知識要求しているんだろうか

現状のSNSでも毎日政治について議論しているのが目につくのだが、日本人政治に興味がないという人が居る。

毎日日本語生産されるドキュメントの内、どれくらいの量が政治関係なのか統計を見たことがないのだが、

政治に興味がないと失望している人は、どれだけ政治の話をすれば満足するのだろうか。


自分技術者なので毎日何かしら技術に関して調べているので、選挙以外であまり時間を使いたくない。

ただでさえ技術が衰退していると非難されるのだから、誰かが既に指摘している政治問題点や事例について、時間を割きたくない。(代わりに技術のことをやってはくれないだろう)

政府機関から出てくる資料も、スクレイピングしていると毎日のように出てくるが、全部目を通すのも難しい。

(というか読んでるのか?みんな)

2020-07-15

PatreonがDiscord紹介所になっていた

PatreonというとらのあなFanboxのパクリ元があるのだが、ある時から決済代行会社規約違反するから日本風マンガは非エロでも規約違反だとか言ってアカウントBANで売上没収するようになった

ちなみに惨事無臭コスプレ3DCGはお咎めなし

そんで使わずにいたんだが海外割れ厨時代がまだ続いてるのでぶっこ抜きサイトがあるらしいと聞いた

販売厨に渡す金が勿体ないから一人が契約して自動でぶっこ抜いてシェアしよう」というよくある泥棒ロジックらしいが代理ログインして自動的にスクレイピングするようだ

そしてそれが横行するので痴女コスプレイヤーを中心に値上げの上に配布をGoogleドライブDiscord(10年前のSkype地位にあるツール)経由に切り替えてPatreonは配布対象者管理だけに使うようにシフトしつつあるらしい

驚くのが価格設定日本パトロンサイトは月100円、500円、1000円といった価格普通なのだが二次創作惨事無料CGデータの無断改造などで月100ドル、500ドル1000ドルといった額を取っていること

これそろそろ権利者は刺しに行っても良い頃なんじゃないか?

2020-07-11

https://b.hatena.ne.jp/entry/s/twitter.com/rita0222/status/1281386228118466560

初期はWebアプリケーションブラウザは不可分だったかHTMLの出力=ブラウザへのレンダリングと考えて差し支えなかったのだろう

その後ステップが分かれてHTMLの出力とブラウザレンダリング間には直接的な関係性が無くなった(というよりはクローラのような各種サービススクレイピングのような二次的なデータの利用方法が生まれた)が, 語が再定義されることはなかったため、Server Side Renderingと(In browserの)レンダリング暫定的区別をつけられて今に至る

のかな?

個人想像です

2020-07-08

anond:20200707214248

1年間独学でプログラミング勉強した実感

大学卒業後4年ほど会社員をやったあと、ウェブ関係プログラマを目指して1年ほど、バイトしながら独学で勉強しています

ネット上には詐欺師まがいの情報商材屋とイキリマウントゴリラ跋扈し、普通人間向けの情報が少なかったので、参考までに書いてみます

なお、ここ数年のウェブエンジニア転職ブームとは無関係転職を考えていたので、ブームは正直迷惑だと思っています

1) お金時間に余裕があるなら、大学専門学校プログラミングスクールに行ったほうがいいです。

独学にはいくつかの大きな問題点がありますが、もっとも大きいのは「全体のロードマップ存在しない」ことだと思います

学者は具体的に何をどの順番で学べばいいのかわかりませんし、この情報ネット上にはありません(冒頭にも書いた通り、そう思ったからこそ、このエントリを書いています)。

個人的に参考になったものとしては、

などありますが、どちらも普通人間向けというには若干ゴリラ臭と商材屋臭がします。

また、プログラミング初心者向けの教材はおしなべて貧弱で、腹が立つほど不親切です。読んでいて何度もブチ切れそうになります

特に学者場合は、教材の練習問題ひとつ解くにしても、誤字脱字等の初歩的なエラーのために平気で数時間のロスが発生したりします。

当たり前ですが、これは純粋時間無駄なので、すぐに講師相談して解決したほうがいいです。

こういうことを書くとすぐに「自力問題解決できない人間プログラマに向いていない」と言いだすゴリラが現れますが、いまはそういう話はしていません。

そのほか独学だと自分の実力や相場感を測ることもむずかしく、その分詐欺師ゴリラに引っかかりやすくなりますし、基本的おすすめしません。

2) 独学の最初の1歩は「苦しんで覚えるC言語https://9cguide.appspot.com/おすすめです。

いまさらC言語と思うかもしれませんが、勉強するうえで重要なことはプログラミングの仕組みを理解することであって、どの言語から始めるかではありません。

その点、上記「苦C」はとても丁寧に文法説明してくれますし、ポインタ説明を通してメモリの仕組みも教えてくれます

ただし、回答例のコードに誤字脱字があって動かない等の発狂ポイントがいくつかあるので、注意が必要です。

勉強のやり方としては、まずはサイトを読みながらスマホC言語アプリポチポチ書いてみるところから始めると気楽でいいと思います

途中で頭が混乱してきたら、再度冒頭からきっちり丸暗記するつもりで勉強するのがおすすめです。プログラミングに暗記は不要だと言うゴリラもいますが、あれは嘘です。

intはintegerだからintなんだとか、そういうことを調べながらやるだけでも解像度が格段に向上すると思います

実際にC言語バリバリ書けるようになる必要はないので、おおよその仕組みを理解してしまえば、最後のほうは流してしまって大丈夫です。

3) オンライン学習サービスは便利ですが、内容が充実しているとは言いがたいです。

検索するとこの手のサービスが一番上に出てきますが、内容は不十分だと思いますかゆいところに手が届かず、使っていて非常にいらいらします。

とはいえ他に代替となるものもないので、サービスを利用しつつ、必要に応じて入門書を読むのがおすすめです。

私が利用したかぎりでは、Progateは教材の内容が薄く、Paizaは無意味オタク臭くて私は苦手でした。N予備校Udemyの評判がいいみたいですが、使ったことがないのでわかりません。

私はウェブ関係プログラマ志望なので、ProgateとPiazaでHTML/CSS/JavaScript/Git/Ruby/Ruby on Rails勉強しました。

最近初心者Railsエンジニア供給過多の印象があり、DjangoやLaravelのほうが就職には役立ちそうな気がしています

余談ですが、無料の教材として有名な「Railsチュートリアルhttps://railstutorial.jp/ は、あえて劣悪な翻訳放置することで、自社のプログラミング講座に顧客誘導するビジネスモデルのように見えるので、内容はともかく個人的にはあまりいい印象を持っていません。

ちなみに私はこの辺で迷走していたため、いろんな言語ちょっとずつかじっています

スッキリわかるJava入門』はオブジェクト指向理解するのに役立ちましたし、『退屈なことはPythonやらせよう』で覚えたスクレイピング求人情報収集にとても役立っています。ほかには『プログラムはなぜ動くのか』も読んでためになりました。

基本的に本を読んで損することはないので、時間の許すかぎりたくさん読んだほうがいいと思います。私はあまり読めていません。

4) ポートフォリオを作るのはとても時間がかかります

Railsチュートリアルを参考にRailsアプリポートフォリオ作りましたが、完成まで半年くらいかかりました。

上述の劣悪な翻訳のせいもありますが、データベース設計を考えたり、UIを工夫してみたりすると、いくらでも時間が吸い取られていきます

知識ゼロから3ヶ月でポートフォリオ作りました! みたいな若手情報商材屋を見かけると、そんなにすごい能力があるなら普通エンジニアだけやってればいいのに、と思います

完成したアプリDockerコンテナ化したうえで、GithubActionsで自動テストを走らせ、AWSサーバーデプロイしていますが、この辺は言語勉強アプリ製作と比べたら全然むずかしくありません。

まともな日本語で書かれたまともな教材が揃っていますし、ネット記事豊富にあります。ここまでの勉強で、エラーメッセージや多少わかりづらい文章を読み解く能力も身についているはずです。

それぞれ1、2週間集中すれば最低限の実装はできると思います。ただしAWSの設定だけは、適当にやると数万円の請求書が届いたりするので注意が必要です(届いた)。

5) ここまでやっても就職はできません。

上記ポートフォリオを公開し、求人に応募していますが、一向に就職できる気配はありません。

就職活動が不得手なせいもある気がしますが、いいかげんバイトにも飽きてきたので就職したいところです。だれか仕事くれよ。

2020-04-29

youtube540ページスクレイピング

youtube540ページをcurlしてみる人柱

2020-04-05

リアル都市経済シミュレーションゲーム必要では

現実データを定期的にデプロイで反映。

新しい政策を考えたり、実装したりして、少し先の未来がどうなるか把握できるようにする。


国が統計取っているけど、数値データ実装先がそのままコンピュータ上にない。

いから、ガバメントデータとして公開されているが、スクレイピングで取ってくると前処理が必要か、新しいデータが出てくるたびにしなくちゃいけない。

役所の人もコンパイラエラーエラー吐いてくれるようになればチェックできるが、今は目でのチェッカーだろうし)


SNSで色んなことを言う人が出てきて、賛否を論争するが、意思決定必要データ開示方法となっていない。

海外比較してこうすればいいと提言を受けても、日本国内事情が違うことを現場の人しかからないので出来ないというのも解決できるのではないか

2020-02-24

はてブにどう見ても複垢使ってる奴がいる

直接idを出すと規約違反になるのでここでは挙げないが、特定の某ジャンル主義主張言い回しも全く同じようなはてブidが2つ存在する

見る限り使い分けている意味がさっぱり分からないが面白いので、興味本位通報してやろうと思った

調べた結果、サブidブクマすること自体問題ないが、同じページを両者でブクマするのはBAN対象らしい

まり「両方のidブクマしているページ」さえ見つかれば、規約違反でつつけるというわけだ

そういえば以前、とある特定作者の増田にはなぜかいつもすぐに非公開のブクマが3つつき、毎度のように注目エントリに上がっていたものだが、なるほどあれは3id自演ブクマでもしていたのだろうか

しかしあからさまな複垢のくせして活動歴は無駄に長く、3~4桁もあるブクマをいちいち見比べるのもめんどくさいので、全くの未経験だがプログラミングでも始めるべきかと思い立った

概要

特定の2つのid共通してブクマしているブクマページを探す→通報→凍れ

【流れ】

idを2つ入力

両方のidブクマを取得し、同じページがあるかどうかを確認

あったらそれを表示し、ブコメなどもついでに表示

通報

凍れ

【将来的な機能追加】

全文検索でも使って、同じような言い回しをしていたら挙げられるようにしたい

言語はどうするのか、挫折せずに学べるのか、クローリングスクレイピングは何が違うのか、そもそもAPIとは何なのか、といった諸々の問題はあるが、せっかくなので形になるようにしっかり勉強していきたい




……と思ったら、つい最近のページで全く同じようなコメをしていやがったので、こいつのためにプログラミングを覚える必要など全くなかったのだった

通報

はよ対処しろ

2020-01-29

anond:20200123025202

身体障害者です。

数年前に免疫脳幹破壊されて障害者(手帳は3級)になった。

金稼ぐ方法模索していて(今も)、結局ドメインも取ったけど放置してるブログ(Wordpress)があるんだけど小物・食料品の告知ならできそうだけど、商品販売しているところの情報ってどこかにまとまってないだろうか。

人力で収集するのは厳しい、スクレイピング(プログラムによるWebページ情報収集)は習得してないのですぐにはできない。

作業募集なら告知するページに連絡先載せれば機能はしそう。

表示だけするページならnetlifyってサービスが使いやすかった。

2019-11-28

現実の街データ使ったシムシティがしたい

何もない土地から建設するのばかりで、そろそろ現実の街データを使ったシムシティがやりたい。

都道府県とか市町村が出してる統計データなどをスクレイピングで集めてきてフォーマット変換して食わせれば、ワールド生成。

交通渋滞解消ゲーとして遊ぶもよし、ジャンクションジャンキーとして高速建てまくるもよし、災害シミュレーションしてもよし、ジオラマ作ってもよし。

一人称視点で街中歩いたり、他の人の作った街を散策できるといい。

現実ドローン飛ばせるところ限られてきてるので、住宅密集地でも空撮できるといい。できれば商店街のど真ん中を高速でカメラ回して映画っぽい動きを撮影できたりするといい。


2019-11-20

競馬データベースクラシック - netkeiba.com

1956年から1985年について、中央競馬の全レースデジタルデータ化いたしました。現在は開催されていないアラブ競走や繋駕速歩競走などを含む約85,000レースと52,000頭以上の競走馬データを追加」

https://db.netkeiba.com/?pid=classic_index

いやーこれすごいねスクレイピングして予測とかやってる人は、データ量が激増するわ想定してない変数が増えるわ大変そうだけど。

2019-11-12

勲章持ち上級国民Facebook、有志たちが毎日スクレイピングするようになってしまったんだろうなあ

もう二度と迂闊なこと書けないね

2019-10-27

国家公務員を2週間でやめた

新卒で入った国家公務員を2週間でやめた。

私は大学工学系を専攻しており、国家公務員にも技術系の職種採用された。(建築土木電気機械のどれかです)

配属されたのはもちろん技術系の部署だった。その部署では職種仕事が別れており、オフィスの島も職種ごとに固まっていた。

他の職種の人とも関わるが基本的に同じ職種仕事を進めていく。ここでの私と同じ職種(建土機電のいずれか)の人たちの雰囲気問題だった。

その職種の人たちの文化として飲み会が非常に多く、私が入社する前の3月には週5で飲み会をしていたらしい。また、飲み過ぎで肝臓を壊している人もいた。

そんな中に新人である私が入社し、当然だが歓迎会が開かれた。

その内容は、50代、60代のベテラン上司、先輩十数人がいる席で”その職種で代々受け継がれてきた伝統的な酒の作り方”を教わり、「遅いぞ」やら「周りをよく見ろ」やら言われながら酒を作って回るといったものだ。自分で書いていて誰の歓迎会だかわからなくなってきた。

加えて、先輩方のありがたいお話(昔は悪かった、やんちゃした、俺はコイツを昔泣かせたといった内容)を拝聴した。

この時同じ店に他職種の同期が居たらしく、後から話を聞いたが、他職種上司方はドン引きしており絡まれないように早めに退散したとのことだった。

その同期もアレはやばかったと語っていた。

このような飲み会が何回か続き、1週間程度の短い新人研修が終わったあと、お疲れ様会に連れて行かれた。(お疲れなんだから放っておいてくれ...)

ここでも上記のようないつもの流れで会が進んでいった、ありがたいことにお疲れ様会だからといって酒を作るのは免除された。

ありがたいお話パートでは、昔の新人研修でこんなに羽目を外しただとか、夏に同じ職種の人たちで行く旅行新人エアガンで撃っただとかそんなお話を拝聴した。

もちろんドン引きしたし、ここで半分退職意思が固まった。

私は作り笑いを顔に貼りつけながらまずい酒と腹の足しにもならないつまみを食べて過ごしていたが、ここでは上司から「食べ過ぎだ、飲み会なんだし。なんで大先輩より食べてるんだ」などどありがたい指摘を頂戴した。

この飲み会をなんとかやり過ごし、二次会回避し(同期は一人連れて行かれた)帰路についた。

その道中、こんなことを何年も続けるのかという絶望感と空腹からくる惨めさに襲われ、誰もいない深夜の夜道で涙を流しながらカバンを地面に叩きつけ暴れた。

何度もカバンを踏みつけたし、電柱を蹴った足はとても痛かった。(あとイヤホンが壊れた。後悔した。暴れるのはやめようね)

ここで退職を決意した。次の日は休んだ。

私は忍耐力がなかったのだろうか。これが社会というものなのだろうか。これが一般的社会だと言うのならば私は社会不適合者なのだろうか。

これくらい耐えろ、みんな我慢してるぞとか言われたらやだな〜〜〜〜〜〜〜〜怖い

現在彼女にお世話になりながら、大学でちょこっと触った時に面白く感じたプログラミングでもやってみるかということでプログラミングを独学しながら気ままに過ごしている。

PaizaはSランク簡単スクレイピングならできます。誰かバイトか何かで雇ってくれ〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜

終わり

  • 補足-

国家公務員なので異動がある。なので異動まで耐えれば...と考えていたが、お疲れ様会でその職種は全国で同様の雰囲気だということ、もっとキツイところもあるということ、むしろここは優しいからいいだろ?という主旨の発言飲み会に参加しないやつは顔を覚えられないし使えない奴が多いといった発言などを聞き希望も消えた。

2019-10-16

食べログの3.6問題

スクレイピング面白い分析があった、実に興味深い、しか前例がないので答えの数値に開きがあるのかわからないという結論だ。

こんなことをするよりもかんたんな方法がある。

食べログから営業の連絡があるわけで誰かしら録音くらいしているだろう。それを出せばいいだけ。週刊誌あたりが動けばいい

ログイン ユーザー登録
ようこそ ゲスト さん