2021-01-04

無許可スクレイピングはやめておきなさい。

ここ最近プログラミングスクールが乱立してる流れと関係あるのかわからないけど、やけにPython使ったスクレイピング記事が目につく。

Qiitaスクレイピング記事を探すと本当にたくさん出てくるけどグレーなことやってる人多くて驚く。

robots.txtがAllowならOKとか数秒あけたらOKとかサイト運営側からしたら迷惑まりないと思うよ。

Librahack事件とか知らない世代なんだろうけどスクレイピングやりたいならまず許可取りましょうね。

それか大人しく公開されてるAPI叩きましょう。

  • サーバ負荷とかそういうとこまで網羅する気ないからやっぱ民間はなあ…

  • サーバ運用している側からすればそんなのどうでもいい そもそも攻撃対策しないとダメだしPythonのスクレイピングなんて普通のWebアクセスと変わらん 勝手に忖度してドヤ顔で「無許可の...

    • その理屈だとWebサイト運営者は攻撃されてサービスが止まった時に適切な対応を取らなかったから損害賠償請求できないってことになるのかな?

  • ぶっちゃけ今だとセッション切らずに全部持って行ってくれたほうが楽、まであるな ウェイト入れたほうが絶対にいいなんてのはHTTP1.0の20世紀のお作法だ

  • Googleにも同じこと言ってきてどうぞw

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん