とあるエロサイトは最新の数十件しか表示されないからF5を押して常にPCの前に張り付いていた。
１日中F5を押すのは時間も労力も掛かるためpythonで自動スクレイピングツールを作った。
1分毎にページを取得してお目当ての動画URL等をデータベースに格納。
重複する動画は無視した上で格納。これにより無駄な閲覧をなくすことが出来た。
データベースから取得してHTMLを自動生成するツールも作った。
各画像の表示はjavascriptで描画位置を計算することで実現。
これでかなりの時短になることは間違いない。
今はコマンドラインでページを生成しているためWEBインタフェース作成する予定。
有給を取って有意義なシステムを構築することが出来た。
Permalink | 記事への反応(1) | 12:42
ツイートシェア
エロはパワーになる。 俺は己のリビドーでHTTPのレンジリクエストを理解した。 その昔、まだ回線がISDNだった頃、100メガバイトの動画をDLするのに10時間とかかかってたんだが その間...
7
