「スクレイピング」を含む日記 RSS

はてなキーワード: スクレイピングとは

2024-02-26

データを集めて傾向から解決策を導き出す行為が嫌い

物事計画通り、傾向通りに進んでるとイライラする。

予測不能カオスの中からこそ新しいものは産まれると思っているからだ。

あと、誰かの計画の一部に自分が組み込まれているのが許せない。

統計学も嫌いだし、ビッグデータも嫌い。

昨今、スクレイピングの是非が問われているが、それもやはり嫌だね。

なんなら、子供誕生日に喜ぶやろうなあ、と思って買ったもの計算通り喜ばれるとものすごく不快

俺が思いつきもしなかった遊び方で楽しんでいるならいい。

喜ぶ理由が予想外ても許す。

だが俺ごときに予想される行動を取るのなら内心見捨てる。

電車が時刻通り運行する行為も許せないし、医療法律規定通りに遂行されるのも不愉快だ。

地裁意味わかんねえ判決とかは好き。

から俺はウィキペディアに時に嘘を書くし、とき食べログGoogleマップ評価に嘘を混ぜるし、

スタバといいつつ牛丼写真をたまにアップロードする。

恩がある人間には時に冷たく、時に暖かく対応する。

意味なんてないが、小さな抵抗だ。

万民、あらゆる自然現象は俺や人のデータを超えてきてほしい。

2024-02-05

anond:20240205153815

対策とセットで公開しろボケ

まずサンプルは

https://www.neo-blood.co.jp/

を見れば大体わかる

こういう詐欺サイトにはひっかからないようにしような

で、対策

見分け方としては

https://www.ccj.kokusen.go.jp/jri_sysi?page=sgSite

あたりが参考になる

最初から騙されずに買わないのが一番いい。このサイトで予習すればだまされる率も減るだろう

で残念ながら騙されてしまった場合

汎用的な対処法については

https://www.ccj.kokusen.go.jp/chatbot_answer?page=mhuhn&ksi=credit

の3.クレジットカード会社への相談についてを見ろ

追記を見たが銀行振り込みの場合

https://www.ccj.kokusen.go.jp/chatbot_answer?page=mhuhn&ksi=paid

が参考になるだろう。クレカ会社より早いかもしれないぞ

警察行って被害届出して、銀行に行くだけだな。頑張れ

で、ここから↓は「クレジットカードで買い、決済も通ってしまった」かつ「商品が届かない」場合に限っての戦い方を書く

理由は実際に俺(正確には家内)が受けた被害がそのタイプから

まずは不正利用の可能性があるので、即刻カードを止める

そのときに、「チャージバックの手続きをしたいんだがどうすればいいか」も一緒に聞いておく

あとからチャージバックの手続きを取ることになる

※ちなみに最初消費者センター相談したが、最終的にはVISAチャージバックを申し込むしかないので、消費者センターの出番はない。親身に相談には乗ってくれたが実効力は無かった。

次にメールが返ってこないことを承知以下のサイトサンプルをベースにした「契約取り消し通知書」を、おそらくは贋サイトに設置されているお問い合わせ窓口のフォームメアドに送る

https://syouhisya.net/nettsuhan_torikeshitsuchi/

A) 通常のバージョン

を使うといい ※AとB間違えてたので訂正 すまん

これは相手に届けるのが目的ではなくその後の手続きスムーズに進めるための材料づくり

なので催告とかまでは要らないと思う どのみち内容証明郵便では送らない(そもそも送るための住所がダミーだし送っても意味ない)

俺が送った実際のメールは下記 見ればわかるがAをベースにしている

なお業者には名前と住所を知られてしまうことになるが、どうせ通販と思って買っているので向こうにはバレている

通知書

令和4年2月7日

株式会社アクセサリー本舗 御中

住所 ××県 ××××××××××××101

氏名 ●●●●

貴社の運営するサイトで購入した商品売買契約の解除(取消)について

私は、令和4年1月22日、貴社の運営するウェブサイトhttps://trailover.top/ )において下記に挙げる商品を購入する旨の申込みを行い、同年1月22日、貴社サイト記載されている要領に従って当該商品の購入代金として金8490円を支払いましたが、未だ貴社から購入した商品の送付を確認することができない状況です。

つきましては、私は貴社と取り交わした当該売買契約を解除(又は取り消し)いたしますので、至急、お支払いした商品の購入代金および送料の合計金8490円を返金くださいますようお願い申し上げます

1 x |||1列3段タイプのフラップチェスト (約)幅40cm■色:ホワイトナチュラルブラウンディスプレイラック マガジンラック ラック 壁面収納 見せる 本棚 木目 収納 キャビネットラップ扉 お洒落 シンプル モダン 選べるカラー] (500028211) = 7,040円

1 x お買い得品!携帯電話 スマートフォン用ネックストラップ idカード ネック ストラップ 首に掛ける十分な長さの丈夫なストラップワンタッチで取り外し可能。安い 子供用、ガラケー|||モバイル ネックストラップスマホストラップ 首かけ型落下防止ロングストラップワンタッチで外してスマホリングにも。旧携帯社員証IDカード入れ、パスケースにも。キッズ キッズ携帯 子供 iPhone エクスペリア (lqd_neckstrap01) = 200円

カラー シルバー

1 x お湯の上でもふってチャポチャポ、カラカラ赤ちゃん感覚を刺激するバストイ|||あす楽【munchkin マンチキンベビーバスボール (ピンクブルー)知育玩具 赤ちゃん 水遊び 水あそび お風呂遊び おもちゃ シャワー 出産祝い 誕生日 お祝い プレゼント ギフト (tymu11381) = 440円

カラー カラー

バリエーション ブルー

1 x 冷凍ケーキ/パスキエ/マカロン/冷凍/|||ケーキ屋さんやカフェと同じ味わいをご家庭で! BRIOCHE PASQUIER[ブリオッシュ パスキエ]パスキエ マカロンコレクション(6種各2個)[冷凍のみ] 【3~4営業日以内に出荷】 (26461-1) = 810円

以上


で、これを1日1回、5日間ほど連続で送り、都度PCの時刻が入るようにしてスクショを取るか、お問い合わせフォーム場合は「入力して送信前に」PDF印刷しておく

(お問い合わせフォーム所詮ダミーであり、送信するとテキストデータは闇に呑まれるだけなので)

俺の場合メールフォームへの問い合わせを両方やって全部記録を残した

さらに2週間程度待ち、いつまでも返信が無いしモノも送られてこないことを確認する

駄目押し最後通告をもう一通送ってもいい

しつこく送っても返信が来ることは無いので限りなくしつこく行く こうすることで民事上の要件は十分満たすはずだ

どうせ向こうは日本法律に従う気はないが念のためだ

ほんで、そのスクショを手元にカード会社に連絡し、チャージバックの手続きを行う

https://www.gladiator.jp/false-pretenses/2019/11/07/%E3%82%AF%E3%83%AC/

既に停止のときに問い合わせしていて、チャージバックの手続きが分かっていたり、必要書類が手元にある場合はその通りに進める

そうでなければ改めてクレジットカード会社の窓口に連絡して口頭で話せばチャージバックに必要書類とか連絡先を教えてくれる

だいたいは家に書類が届いてそれに返送する形になるかと思う

あとは教えてもらったとおり/紙に書いてある通りに、クレジットカード会社チャージバックの訴えをしこしこ書いていく

要点としては

そもそも特定商取引法に基づく表記のない詐欺サイトであること

運営者の住所氏名がダミーであること

商品が届かないこと

商品が届かないことを理由に催告を再三行ったが返信が無いこと

 このとき、撮っておいたスクショPDFを参考資料として添える

 郵送の場合印刷して同封する

俺の場合上記を述べたうえで、さらに余白に英訳した文も載せた

理由は向こうの上司的な存在VISAになるだろうからだ 意味があるかは知らん

あとはVISAが頑張ってくれるので待つ、返金を確認して終わり

俺の場合は3か月くらいかかったが詐欺から無事金を取り返し、その金で焼肉を食った

たかだか8000円のためにどんだけ時間と手間をかけるんだという思いもあるが、泣き寝入りして詐欺師を儲けさせることは嫌だったので戦った

お前も泣き寝入りしてないでちゃんと戦え。詐欺師に儲けさせるな

ボケが」について解説する

たいした理由ではないが複数ある

詐欺手法拡散目的という割には情報が無い

 これが一番でかい

 サイトを示すとお前が幇助かになるのが怖いのかもしれないが、俺が貼ったまとめサイトみたいなのもあるし、スクショ撮ってもいいし

 https抜きで晒すとかやりようあるだろ

 文脈付きで晒した実物に騙されたとか言ってお前を責めてくる奴がいるわけねえだろ、常識で考えろ

 んで対策ぶっちゃけ自分が取ってないから、見た人がどう行動するべきかも書いてないじゃん

 なんも情報いから得られるもんがねー 注意喚起になってねーからそれ

結局泣き寝入りして詐欺師を儲からせてるくせに「Google責任

 チャージバックは調べたところ支払いを踏み倒す制度なので、チャージバックされればそのまま詐欺師への有効打になる

 銀行口座の場合もっと迅速にもっとヤバい口座凍結という手段が取れる 口座凍結されたらまっとうな回復手段は無いらしい クリティカルヒット

 かように戦う方法はある やってないのはお前 (やってるならそのまま頑張れ、勝ったら報告しろよ)

 戦って詐欺から金をもぎ取り返してから他人責任を問え

微妙に間違った情報を書いている

 ベトナム人がどうとか商品ニッチだとかはぶっちゃけ本質ではない 差別はやめろ

 スクレイピングで吸い取ってるんだからお前だろうと誰だろうと何かニーズを満たす商品を乗せてるに決まってる

 名前なんか適当に決めてるんだからどの国籍だってあり得る

 判断基準はそういうのじゃなくて、トップレベルドメイン(.top, .shopとか)、特商法に基づく表記、住所氏名がダミー、値付けがおかしい、他の商品説明が明らかにフリマサイトとか

 あとはまあ消費者センターHPに全部載ってる

 愚痴る前にちゃんと精査してから共有しろ

騙されて反省してます感が足りない

 騙されたことはお前の落ち度 真摯に受け止め反省しろ

 俺は騙されたの自分じゃなかったけど、もし自分が騙されたとしてもそこは反省して、それはそれとして戦ってたと思うよ

闘志が足りない

 https://i.imgur.com/1r7WKKL.jpeg

anond:20240205161839

今4つ見つけてるダミーサイトのうち2つで「様専用」はあるが他2つではない

サイトによってスクレイピング対象を変えているらしい

サイトによってレビュー機能もあったりなかったりする

そしてレビュー機能がある方では同日にたくさんレビュー投稿がされていて2月0日なんて日付もある

レビュー引用

フルネーム: タオサカ タカフミ コメント時間: 2024-02-5

買おうかと迷っていましたが、思い切って購入。説明書なども丁寧で発送も早かったです。これから活躍してもらいます

フルネーム: ヒラノ コメント時間: 2024-02-4

プレゼント用に購入しましたが、とても発送が早く、商品がとっても可愛いです(^。^)!!!お店で買うより安いし、もっと早く知っていれば自分の子供のはこれに統一したのにーーって感じでした!

フルネーム: リケン コメント時間: 2024-02-4

を購入しましたが、画像よりも白いところがクリーム色っぽく可愛かったです

フルネーム: コジマ コメント時間: 2024-02-0

見た目は思ったとおり可愛くて、機能も充実しているので大満足です。

風が優しくて気持ちいし、タイマーが長い時間設定できるのもありがたです。

フルネーム: たかコメント時間: 2024-02-5

買うかずっと迷ってて買って選んで正解でした!

フルネーム: 伸一郎 コメント時間: 2024-02-3

息子も大変満足していました。

また下の子にも購入したいと思います

フルネーム: イトウ コメント時間: 2024-02-0

可愛いしすぐに届いたのが嬉しかったです。キャンプで使うのが楽しみです。

フルネーム: タカコメント時間: 2024-02-3

安くてとても暖かいです。

商品が届いてからすぐにまたリピしました。

フルネーム: 有希コメント時間: 2024-02-0

想像していたとおりでした。気に入りました



ちなみにこれはMBPについてるレビュー

適当にもほどがある

レビュー機能があるほうがむしろマイナスになっている

anond:20240205154918

◯◯様専用とかの専用品までスクレイピングされて出品されてるので詐欺ダミーサイト確定

よほど警戒してないと事前に発見できない

詐欺られた(注意喚起拡散希望

訪れたサイトが扱っていた商材はかなりマニアックもので、その商品以外の商品もたくさんあってページもひとつひとつしっかりしていて特集バナーなども作ってあり自然な作り

しか実態ヤフオクスクレイピングで大量に商品登録されているだけの中古ショップ風のただのダミーフィッシングサイトだった

自分が買おうとした物があまりマニアックだったため、そんなマニアックスーパーニッチものまさか詐欺の商材としようとする人間がいるとは思わず、全く警戒してなかったため、サイトの細部までよく調査をせず普通に振り込んでしまった

しかし振り込んだあとは待てど暮せど発送されず連絡も取れない

主犯受け子かしらないが口座名義はおそらくタイベトナム風名前(←これについてもこの時点でん?と思ったがスルーしてしまった心境は後述の追記トラバ参照。この時点では全ての警戒センサーオフになっていたのでよく考えたらタイベトナム名前だよなと思ったのも後からである

その買おうとした物に設定されていた商品名でぐぐったらこういった部類のダミーサイト複数存在するようだ

後で気付いたが特集バナークリックすれば中身はなくトップページに行くだけ

しかも上手いのがヤフオクより安い割引の値段で売っていることだ

まりヤフオクで見かけて、さらに掘り出し物を狙ってたどり着いた人はお得感でこっちのダミーサイトで購入してしま可能性がある

自分場合検索でたどり着いたのでそもそもヤフオク大本があるとは知らなかったし、割引関係なく探していたもの存在するという感動で買った)

大量出品でロングテールSEO対策はばっちり

探している商品マニアックであればあるほど競合が少ないため検索普通に上位にヒットしてくるのでおそらく他にも被害者が多数いると思われる


この手口はあまり周知されておらず、少なくとも自分は知らなかったので、まさかこんなマニアック商品詐欺の商材にするとは思わず警戒心も下がりがち

反社資金源にならぬよう、被害防止の注意喚起のためにこの増田をぜひ拡散してくれ

もはやGoogleフィッシングサイトへのリーチサイトみたいになってて、これは本当にGoogle責任でもあると思う

ダミーサイトはどれも共通の特徴があるからアルゴリズムで弾いてくれよ


追記

どういう商品サイトかはトラバにヒントや追跡調査を書いてるので探してみてくれ→20240205154918

ヤフオクから転載と知らないと一見普通のストアのようにしっかり作ってあるように見える

ちなみにクレカ決済ではなくメールした後に振り込み先を送られてくるから注文時点でお金をとられることはない

(振込しないなら捨てアド適当個人情報を用いて相手使用している銀行口座までの調査ができる)

追記

有能なサイトトラバで教えてもらったのでどういうサイトサンプルを知りたい人はこちらを見るのがよい

すべて特徴が共通しているため、一度手口を知った後であれば容易に判別できる

特に会社情報のページがゴミみたいなメールアドレス、適当電話番号等、特徴的で共通項が多い

https://www.neo-blood.co.jp/

追記

どうしても自分ケチをつけたい人間がいるみたいだが、「マニアックすぎる商品」という所が味噌

マニアックなお店で神保町にいるような高齢店主、PCは独学でいじれるが最先端ではない人を想像したらドメインデザインUI諸々が洗練されてないのは逆に納得感が出てきてしまった

この「スーパーニッチマニアックすぎる商品である」という一点が、エアポケットに陥り自分のあらゆる警戒センサースルーさせた

リテラシーマウンティングはいいから、論旨を汲み取って人の陥った心境に想像をめぐらせてみよう

追記

アクティブ増田は口座凍結に協力を→anond:20240206175039


>kazuhix

転売屋ではないしただの消費者。商材=転売かいう謎の角度からの難癖をやめろ 

サイトからの主格でそう書いただけ

よく何の確度もないたったひとつ単語から勝手にこっちの背景を自己完結できるな

たまにいるんだよなこういう予想だにしない確度から非生産的な反応を示すやつ

こちらが追跡調査してまで二次被害を止めようとしてるのに、余計な難癖つけてこちらの情報を軽んじようと目論むのはお前が詐欺グループに与する一味だからか?ってお前の真似したろか

>poppo-george

高額商品ではなく数千円

自分被害は数千円でも高額をだまし取られてる人もいるだろうしこいつらを許すわけにはいかない

からこそ話の芯がわかってない勝手人物像を設定して勝ち誇りたいだけの人間ノイズであり、プライド問題ではなく、どうせバカが騙されただけでしょと軽んじられれば拡散という目的達成の邪魔なので否定する

この記事人物像など本来どうでもいいのにそこを見下しやす人物に設定して本質情報を軽んじようとする人間が多すぎ

2024-01-26

かに、これじゃ検索結果から消えることになりそうだが

Yahooとかとは個別ライセンス契約するってことなんだろうか

2024-01-10

anond:20240110220807

簡単パスしないでくれ

文句だけ言ってフリーライドするのは今日でやめにするのだ

スクレイピングツールoctpusで「https://b.hatena.ne.jp/entrylist?url=https%3A%2F%2Fanond.hatelabo.jp%2F2022&sort=count

スクレイピング

②①をgoogleスプレッドシートに貼り付ける

ブクマ数上位から下記増田を削除して、50件とか100件ほど増田文学ぽいのを厳選する

 記事が消えているもの

 批判ばっか

 アンケート

 お役立ち情報が強いもの

  例)投資IT家事やら

 短文質問いかけ系

 政治色が強いもの

④これ排除したら、タグが「増田文学」って付いてるのを拾う

⑤もう一度見直して、明らかに文学じゃねーな、ってのを削除

 評論とか、個人体験記的なのが残っているはず

見出しブクマ数、カテゴリー、備考を載せて整形チェック

 タイトルが表示されないものは備考に適当記事タイトルを付けてやる

 ※この作業はなくてもいいか

⑦表になるように増田に貼り付けて確認

おしまい

画像生成AIの扱い今後どうなっていくかを予想する

現時点で、画像生成AIは「無断学習」を根拠に一部のクリエイターたちから蛇蝎のごとく嫌われてて企業PRAIを使うだけで苦情が殺到するレベルになってきてる

ただそれは倫理的検討を重ねてというより「自分の絵が知らない間に学習されてるのはなんかキモチワルイ」という感覚的な嫌悪感によるところがかなり大きい

Googleはもともとサイトデータ勝手スクレイピングしまくって検索サイトとか翻訳サービスとか作ってきたのだが、そういうのには文句いかないあたり、著作物学習することそのものは焦点じゃない

チャットGPTみたいなテキスト生成には甘かったりするし、人によっち漫画の改変コラという直球の著作権侵害かましながら生成AIに反対してたりするんだから

よって、現時点は画像生成AIに反対しているクリエイターたちも「なんか大丈夫っぽい」と判断しだしたらゆるゆるその機能を使い始めるだろう

本質的には同じ問題を抱えていても感情的に受け入れられるかどうかのほうが重要から

じゃあどのラインからクリエイター画像生成を受け入れだすか?

これは現在テック企業の動きを見ているとある程度予想できる

まず、画像を含む生成AIの開発がここから止まることはほぼありえないと断言できる

マイクロソフトGoogleAIに巨額の資金ベットしてしまったしもう引き返せない

多少強引にゴリゴリ進めながら落とし所を見つけていく腹積もり

当然反発もあるし、完全無視はできない

OpenAIやらMidjourneyやらは大量の訴訟相手にしてる

大まかに言えば全部「うちのデータ勝手に食って売り物にしてんじゃねえよ」という内容だ

落とし所はおそらく「学習元に利益いくらかを分配します」「違法データは言ってくれたら削除します」「生成AIの出力から学習したデータ学習をするのでクリーンです」あたり

そうなると、最初に和平条約を結んだところは生成AI進化を後押しする側に回るから風向きが変わっていくはず

並行して、AI仕事で手放せないくらい便利になってさら風向きが変わる

GoogleAmazonいかEvil行為をしているかは調べればすぐわかる

でも使うのをやめられないのは便利だから

逆にいうと、今画像AIが叩かれてるのは本職の絵師にとって大して便利じゃないからっていうのがでかい

絵描きにとって便利な機能が出てくれば評価はかなり変わってくる

たぶん最初に使われるは色塗りとか、壁や床のテクスチャ生成あたりからだろう

AIによる画風の再現とかは今後も「魂を傷つけられた」「自分作品勝手に使われてそうでキモチワルイ」と感じる人が多い

から単純作業っぽい工程AI代替できる仕組みから浸透し始める

それだって結局はどっかから勝手に引っ張ってきたデータミキサーで混ぜて作ったデータだという意味では同じなんだけど、あくまでこれは感情問題から

大量に絵を作らなきゃいけないソシャゲ絵師とか同人作家がおずおず使い出したらあとは早くて、構図からポーズから、かなりの部分をAI任せにしてもなんも言われなくなる

その頃には「(一応)(自称クリーンデータセット」みたいなもの定番存在するはず

この段階に来ると絵描き倫理観は「補助として使う分にはどう使ってもOK」「特定の絵柄の再現をやるのはNG」って線引きになってると思う

そんでさら時間が経つと、外部思考装置としてのAI生成が当たり前になって、ただの思考区別されなくなる

現代人がスマホでできることも含めて人間能力だと思っているのと同じ)

生成AI学習されたとき「魂の一部を盗まれた」と思う感覚だんだん時代遅れになって、著作権観念ごとゆっくり曖昧になる

集合的無意識みたいなもの現実化するイメージ

ストレートに実現するかはともかく、ビッグテックがやろうとしてるのは倫理観の書き換えそのものだと思う

うなっちゃうんだろうね今後

2023-12-30

マネーフォワードかいカスサービス他人様のサイトから情報スクレイピングしてくるカス所業でカネ稼いでるくせに自分とこはクローラーUAを軒並み弾くのカスで笑う

いや笑えんわGAS自動化できないのウゼえんじ死ねカス

2023-11-10

Pythonの基礎はだいたい理解したんだけど

次何すればいい?やったのはcodeprepってやつとそこら辺に転がってた問題集

このままやりたいこと(webアプリウェブスクレイピング)の本とか買っていいものなのかな。

2023-09-17

anond:20230917112222

そんなJr.ができるようなスクレイピングで2万稼げるならおじさんやってあげるのに

2023-09-07

[] スクレイピングマニュアルみたいなのを作ってgithubに載せたい

休業中のプロジェクトとしてはぴったりだと思うので、ちょっとやってみようかな。

スクレイピングについては、もう何年も経験があるので、いい加減知見を体系化したいと思っています

オライリーにもpythonスクレイピングする書籍がありますが、あれは初心者向け過ぎなので、もっと内容的に豊富にしたいんです。

特に法律面での補足があると読者が誤ってDDoSすることも減ると思います

2023-08-21

anond:20230821151231

一応、Xの利用規約を貼っておくが、利用規約には違反している。法律については専門家ではないので分からないが日本だと「不正アクセス防止法」に該当しそうな気がする。

ユーザーは、当社より本サービスへのアクセスとその利用について許諾を得ることの対価として、当社ならびにその第三者プロバイダーおよびパートナーが、本サービス上に広告掲載すること、またはコンテンツもしくは本サービスから得られる情報(その提供者がユーザーである他者であるかを問わず)の表示に関連した広告掲載することに同意するものします。ユーザーはまた、たとえば当社のサービス妨害や当社が提供するインターフェースおよび手順以外の方法を使った当社のサービスへのアクセスにより、当社のサービス不正利用をしないことにも同意するものします。ユーザーは、適用される法令が明示的に許容する範囲のみを除き、本サービスの一部としてユーザー提供されるソフトウェア技術制限回避したり、ソフトウェアリバースエンジニアリング、逆コンパイル、逆アセンブルをしたりしてはなりません。ユーザーは、本サービスへのアクセスまたはその使用中に、次のいずれも行ってはなりません。(i)本サービス、当社のコンピュータシステム、または当社のプロバイダーのテクニカルデリバリーシステムの非公開部分へのアクセス不正改ざんもしくは使用、(ii)システムもしくはネットワーク脆弱性の探索、スキャンもしくはテスト、またはセキュリティもしくは認証方法侵害もしくは回避、(iii)当社から提供される(かつ該当する利用条件に従う場合にの提供される)、当社の現在利用可能な公開インターフェース以外の方法自動プログラムか否かを問わない)での、本サービスへのアクセスもしくはその探索またはアクセスもしくは探索の試み(ただし、当社との個別契約特に許可されている場合は除く)(注: 本サービスへのクローリングは、robots.txtファイルの定めによる場合は認められていますが、当社による事前の同意がないまま本サービススクレイピングをすることは明示的に禁止されています)、(iv電子メールもしくは投稿でのTCP/IPパケットヘッダーまたはヘッダー情報の一部の偽造、または方法の如何を問わず改ざんされた情報詐欺情報もしくは情報源を偽装した情報を送る目的での本サービスの利用、または(v)いずれかのユーザーホストもしくはネットワークアクセス妨害、または遮断(もしくはその試み)(本サービスへのウィルス送信オーバーロード、フラッディング、スパミング、メールの大量送信、あるいは本サービス妨害したり過度な負荷を与えたりする方法コンテンツ作成スクリプトすることを含みますが、これらに限定されません)。当社はさらに、(i)適用されるすべての法令規則、法的手続政府要請対応し、(ii)本規約実施し(規約違反の疑いがある場合調査を含みます)、(iii)不正利用、セキュリティもしくは技術的な問題を検知、防止もしくはその対処をし、(ivユーザーからサポート要請対応し、または(v)Twitterやそのユーザーおよび社会全体の権利財産もしくは安全保護するために、当社が必要である合理的判断する一切の情報について、アクセス、閲覧、保存、および公開する権利留保します。当社は、当社のプライバシーポリシーの定めによる場合を除き、個人識別情報第三者に開示することはありません。

2023-08-12

Python入門したんだけどいい参考書教えて

 基礎の基礎は下の動画見て大体わかったと思うんだけど、いざこれから先を学ぼうとすると参考書が多すぎてどうすればいいのかわからない……

 今までプログラミング経験で、興味があるのはAIウェブスクレイピングです。いい参考書教えてくれーーーーー

見た動画 Python入門: 基礎から始める集中講座【プログラミングチュートリアル

https://youtu.be/nnjCkgX_ZPQ

2023-07-08

anond:20230708112717

追記も読んだがデータの扱いが雑すぎる。

riyanorie 京阪神パンレベルが高い話は昔から言われてたし、いきなり陰謀論洗脳に結び付けるのは論理の飛躍では。データでいうなら都市パン消費量神戸京都は上位で、こだわりが強いだろうとの推測は容易に成立する

2人以上世帯対象としたパンの年間消費額は神戸市が38,435円、東京都市部が36,154円と、2,281円しかない。

相手消費量の話をしているんだから消費量に近いデータを使って議論しようぜ。孫引きしてる総務省統計局家計調査地域ランキングhttps://www.stat.go.jp/data/kakei/5.html)に地域別の購入量が掲載されてるだろ?

孫引き元の記事に合わせて2018年から2020年の年平均購入量を見てみると

全国平均 45,465g
京都 54,611g
東京都区部 48,414g

ここから人口あたりの消費量を概算して議論していくのが王道だろう。

あえて年間消費額で議論したいなら、まずは物価水準を補正するべき。家計調査データからパンの購入金額を全体の食料購入金額で除すると、同様に2018年から2020年データでは

全国平均 32.7%
京都 40.0%
東京都区部 31.8%

となり、食料購入額の割合としては1.25倍程度の差があることが分かる。

そしてもう一点。All About記事や元の統計資料では「東京都市部」じゃなくて「東京都区部」となってることに気づいたか統計データ用語を正確に定義しているのだから、いい加減に扱ってはいけない。

食べログスクレイピングの件もだが、適当に思いついたデータネットから引っ張ってくるのではなく、データにどんな意味があるのか考えたほうがいい。今のままではオカルト退治どころかミイラ取りがミイラになってる。

神戸パン屋の話はオカルト(追記あり)

神戸パン屋東京に比べて圧倒的に美味い」みたいな話が盛り上がっているが、現状単なるオカルトであり信憑性は低い。

そもそも神戸には545店舗パン屋がある

食べログで「神戸市 パン」と検索すると545店舗が引っかかる。「神戸パン屋東京より美味い」と言っている人は、この中の何店舗に行ったのだろう? 評判のいい店だけをピックアップしていたら美味いのは当たり前で、本当は

 

 

という手続き検証しなければ「神戸パン屋東京よりも美味い」ことは証明できない。

 

人間感覚器は曖昧

また、人間感覚というのは大変に曖昧もので、先入観によっても味は変わる(参考 : https://agri.mynavi.jp/2019_03_12_62258/)。「神戸パン屋は美味い」という先入観を持って食べると、それだけで美味く感じたりするということだ。

これは味覚に限らない話で、例えばクラシック世界でも、ストラディバリウスやグァルネリといったオールヴィンテージ現代楽器有意差がないことは、ブラインドテストにより何度も証明されている。一流の音楽家が聴き比べをしても差はないし、弾いても差はない。にもかかわらず、オールヴィンテージはいまだにクラシック業界ではありがたがられているのだ。神戸パンも大規模ブラインドテスト実施してみたら同様の結果が出るだろうし、出ても「それでもやっぱり神戸パンは、東京パンより美味い」という説が唱えられ続けるであろう。

 

食べログの点数による検証

これだけだと埒があかないのでひとつ傍証を提出する。

神戸市 パン屋」で食べログ検索すると、各店舗に点数がつけられている。これを集計しスクレイピングして平均点をとったところ、3.2547点だった。

東京都 パン屋」で検索すると5000件近くがヒットしてしまうので、先方のサーバー迷惑をかけないためにもう少し細かいエリアで集計してみよう。

東京エリアは私が思いつきで抽出しただけだが、一部足立区など低いエリアがあるものの、渋谷区港区の平均点は神戸市を上回っており、優位な差がないことが分かる。

もちろん食べログ統計情報に高い信頼性がないのは言うまでもない。だがそれを言い出すと一個人個人的な体験のほうがはるかに信頼はおけず、「食べログの点数で主張をするバカ現るwwww」的な反論をするのなら、より信頼性の低い個人主観否定されるか、食べログ統計情報よりも個人主観が正しいことを証明しなければならないだろう。

 

陰謀論的な話法

こういう話法はまんま陰謀論的な話法であり、強弁されると論破することはできない。オカルトはこういうマウントの隙間に入り込んで勢力を拡大していく。

 

 

確たる証拠もない主張を行い、それを否定すると即座に「人間として瑕疵があるお前には理解できないのだ」という主張に切り替えてくる、これは論法として卑怯であり、真である証明したいのなら、やはり統計的なテスト実施しなければならないのだ。

もっと個人にここまでのことを求めるのは、実質的不可能であることも事実だ。私の話法も「無理な要求を突きつけて相手の口を塞ごうとしている」と取られてもおかしくはない。

なのでデイリーポータルZさんあたり、どうですかね……? 検証記事、バズると思うのですが……!

追記

riyanorie 京阪神パンレベルが高い話は昔から言われてたし、いきなり陰謀論洗脳に結び付けるのは論理の飛躍では。データでいうなら都市パン消費量神戸京都は上位で、こだわりが強いだろうとの推測は容易に成立する

2人以上世帯対象としたパンの年間消費額は神戸市が38,435円、東京都市部が36,154円と、2,281円しかない。全家庭が2人世帯だと仮定しても、1人年間1,141円の差であって、神戸市民と東京都市部民は、月にパンひとつ多く食べるかどうか程度の差しかない。この程度の差で「こだわりが強いだろうとの推測は容易に成立」などしないだろう(データこちらを参照 : https://news.allabout.co.jp/articles/o/28209/)。

ログイン ユーザー登録
ようこそ ゲスト さん