  |
はてなキーワード: DERBYとは
| 時間 | 記事数 | 文字数 | 文字数平均 | 文字数中央値 |
|---|---|---|---|---|
| 00 | 96 | 8642 | 90.0 | 34 |
| 01 | 64 | 9338 | 145.9 | 39.5 |
| 02 | 35 | 4877 | 139.3 | 62 |
| 03 | 45 | 6922 | 153.8 | 56 |
| 04 | 13 | 1591 | 122.4 | 66 |
| 05 | 12 | 2232 | 186.0 | 69 |
| 06 | 16 | 1889 | 118.1 | 89 |
| 07 | 36 | 3160 | 87.8 | 72.5 |
| 08 | 83 | 5309 | 64.0 | 43 |
| 09 | 120 | 7558 | 63.0 | 46.5 |
| 10 | 99 | 10489 | 105.9 | 57 |
| 11 | 147 | 19894 | 135.3 | 48 |
| 12 | 130 | 10739 | 82.6 | 53.5 |
| 13 | 121 | 8943 | 73.9 | 52 |
| 14 | 126 | 12157 | 96.5 | 48 |
| 15 | 142 | 11215 | 79.0 | 49 |
| 16 | 166 | 13388 | 80.7 | 47.5 |
| 17 | 107 | 9060 | 84.7 | 46 |
| 18 | 99 | 10436 | 105.4 | 48 |
| 19 | 170 | 14854 | 87.4 | 37 |
| 20 | 156 | 13606 | 87.2 | 43.5 |
| 21 | 162 | 17179 | 106.0 | 41.5 |
| 22 | 117 | 13990 | 119.6 | 46 |
| 23 | 164 | 12688 | 77.4 | 43 |
| 1日 | 2426 | 230156 | 94.9 | 46 |
人(232), 自分(146), 女(122), 増田(104), 話(99), https(97), 男(91), 女性(89), com(80), ー(77), 問題(76), 今(73), 相撲(70), 日本(70), 人間(66), 仕事(58), 感じ(57), en(57), 普通(56), community(56), us(56), hc(56), posts(56), 子供(53), 前(53), 土俵(50), 好き(50), 気(49), 男性(47), 関係(44), 社会(43), 相手(42), 時間(42), 頭(41), 禁制(41), 今日(41), 同じ(40), 意味(40), あと(39), 革靴(36), 目(35), 会社(35), ネット(35), 気持ち(35), 女人(35), 差別(34), 手(34), こんな(33), ～(33), 必要(32), 一番(32), 結婚(31), 他人(31), 顔(30), 靴(29), 金(29), http(28), www(28), 絶対(28), 世界(28), 最近(28), 無理(28), help(27), 存在(27), 嫌(27), 場合(27), 個人(26), 周り(26), 理由(26), 宗教(26), 企業(25), zendesk(25), 結局(25), 足(25), 理解(25), 人生(25), 話題(24), 他(24), 昔(24), 記事(24), バカ(23), 言葉(23), 女子(23), otoy(23), ダメ(22), 逆(22), いいん(22), 一つ(22), 興味(22), おっさん(21), 結果(21), 大学(21), 生活(21), レベル(21), 友達(21), 全部(21), 日本人(21), 上(20), 今回(20), アホ(20)
増田(104), 日本(70), help(27), 日(19), appointuit(19), 宝塚(14), 東京(13), キモ(13), GRATIS(12), GUARDA(12), アメリカ(11), ROMA(10), note(10), BARSELONA(9), Online(8), チリ(8), Vivo(8), MILAN(8), En(7), DERBY(7), Ver(7), 安倍(7), twitter(7), INTER(7), HD(7), 中国(6), Barcelona(6), 関西(6), Twitter(6), cobinhood(6), ST(6), REAMING(6), BEivo(5), ユダヤ(5), 宝塚歌劇団(5), PRIJENOS(5), リー(5), support(5), wiki(5), DIREKTAN(5), Liverpool(5), City(5), ONLINE(5), 京都(5), Gledajte(5), イスラム教(5), ガル(5), ASL(5), 上野(5), Manchester(5)
http://d.hatena.ne.jp/nishiohirokazu/20120323/1332504404
最近、Webクローラクライアントを作るお仕事が増えた。WebクローラクライアントというのはHTTP(S)を介して様々なファイルをダウンロードして解析し、結果を溜め込むだけのプログラムである。ボットともいう。
クローリングの規模が大きくなると、クロール処理部と結果貯蓄部を分離する必要がある。クローラには様々なものがあるが、ものによっては特定のサーバに集中的にクローリングを行うこともある。このとき、1つのIPを使って集中的にクローリングを行うと、攻撃とみなされ一瞬でbanされてしまう。そこで、一見するとまったく関係なさそうなIPを複数確保し、それぞれにクローラーを仕掛けて走らせるのである。
結果貯蓄部は、要するにデータベースサーバであり、何を使用しても良い。クロール処理部とのやりとりに使用するプロトコルはRDB依存プロトコル(MySQL Socketとか)でもHTTPでもなんでもいいが、とにかくクロール処理部が解析した結果を随時溜め込めるようにしなければいけない。逆に言うと、まぁ、口さえできるのであれば何を使用しても良い。
問題は、クロール処理部に何を使用するかである。おおまかな要件は次の通りである。
これらの要件を満たそうとすると、ぶっちゃけJavaかPythonくらいしか選択肢が無い。
| Java | Python | |
|---|---|---|
| HTTP(S) | HttpURLConnectionかApache HTTP Client | urllibかurllib2 |
| 環境依存性 | Write once, run anywhere (VMが最初からインストールされてるのはSolarisくらいのものだが、どんなOSでも大体はすぐインストールできる) | UNIXであればほぼ標準で入ってる、Windows用インストーラも用意されている |
| キャッシュ機能 | JDK6にDerby標準搭載 | Python 2.5からsqlite3標準搭載 |
JavaとPythonの違いは山ほどあるが、簡単なことをやらせるだけならPythonはJavaよりも使用メモリが少なくなりがちなので、そういう場面であればPythonは(現時点においては)最強の座に君臨すると考えられる。
