2021-01-22

クローラー回しているやつがいるな

単一記事が爆発的にアクセスされるのはキャッシュでたえるようにつくってあるんだが

すべての記事クロールしようとかすると負荷でサーバが落ちた

いろいろPHPで動くから

ちょっとまじめにクローラー対策いるかもな

  • CPU利用率が常時1%未満だったのが(年単位で安定駆動)100%超えている   どうかんがえても、悪質なクローラー   とはいえ、こういうのを各にわか学生がふえかねないとなると...

    • 情報を読もうとしたのではなく、収集しているねぇこの動きはこれは、利用目的が情報の収集と保存だろうな。

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん