■簡単なクローラ作るならPythonだよ！

http://d.hatena.ne.jp/nishiohirokazu/20120323/1332504404

最近、Webクローラクライアントを作るお仕事が増えた。WebクローラクライアントというのはHTTP(S)を介して様々なファイルをダウンロードして解析し、結果を溜め込むだけのプログラムである。ボットともいう。

クローリングの規模が大きくなると、クロール処理部と結果貯蓄部を分離する必要がある。クローラには様々なものがあるが、ものによっては特定のサーバに集中的にクローリングを行うこともある。このとき、1つのIPを使って集中的にクローリングを行うと、攻撃とみなされ一瞬でbanされてしまう。そこで、一見するとまったく関係なさそうなIPを複数確保し、それぞれにクローラーを仕掛けて走らせるのである。

結果貯蓄部は、要するにデータベースサーバであり、何を使用しても良い。クロール処理部とのやりとりに使用するプロトコルはRDB依存プロトコル(MySQL Socketとか)でもHTTPでもなんでもいいが、とにかくクロール処理部が解析した結果を随時溜め込めるようにしなければいけない。逆に言うと、まぁ、口さえできるのであれば何を使用しても良い。

問題は、クロール処理部に何を使用するかである。おおまかな要件は次の通りである。

• HTTP(S)でやりとりしたい
• 様々な環境で動作させたい (使用できるIPはバラバラ、それぞれの計算機のOSは指定できる、などという虫のいい話はまず無い)
• クロール処理部自身がRDBによるキャッシュ機能を備えていてほしい。インデックス程度は使えてほしい (クロール処理部と結果貯蓄部は常につながっているとは限らないので)

これらの要件を満たそうとすると、ぶっちゃけJavaかPythonくらいしか選択肢が無い。

JavaとPythonの違いは山ほどあるが、簡単なことをやらせるだけならPythonはJavaよりも使用メモリが少なくなりがちなので、そういう場面であればPythonは(現時点においては)最強の座に君臨すると考えられる。

余談であるが、私が本当に好きなのはPerlであり、

• Perlに標準でsqlite3ライブラリがついている
• Windows用のPerlインストーラがもうちょっとまともである

という条件下であれば何の迷いもなくPerlを使っていたであろう。畜生！

Permalink | 記事への反応(3) | 18:16

ツイートシェア