「クロウラー」を含む日記

■anond:20240321190151

色んなネトゲでなんたらクロウラー的なやつを狩ってた記憶はある

Permalink | 記事への反応(0) | 19:04

ツイートシェア

■anond:20200817201433

わかった

これ消されてるわけじゃなくて、今でもspan style="font-size:0em"のまま埋め込まれてるな

スパマーが意図的に新しいパターンを導入したんだな

クリックやタップでは開けないけどクロウラーに拾わせられればいいというタイプ

Permalink | 記事への反応(0) | 20:26

ツイートシェア

■anond:20180901175427

noindexと記述すると検索結果に出なくなることが「期待される」

実際には検索エンジンのクロウラーのお行儀が悪くて期待通りにいかないこともしばしば

ちなみに期待された結果にはつながってないからいいだろ論は

他所様の南京錠をガチャガチャやってるのを見咎められて「いや、開けれてないから問題ないだろ」って言ってるようなもので

まぁ以後ずっと胡乱な目で見られるよね

Permalink | 記事への反応(0) | 18:11

ツイートシェア

■ヌケるWebサービスを作ったのでeHubインタビューズっぽく宣伝してみる

あなたのウェブアプリケーション/サービスは何ですか?

【エロ注意】eroino http://eroino.net/

eroinoは毎日更新される大量のアダルト動画を、AV女優やキーワードで分類して表示したり、お気に入りリストにクリップできるサイトです。現在の動画数は、約28万件。

このプロジェクトを始めた理由は?

• 今や、無料サンプル動画を、騙しリンクの先から発掘して来る時代ではありません。大量のアダルト動画をザップ＆クリップするのに適した、快適なWebサービスが必要だったのです。個人的な意味で。

製作にかかった時間は?また、本業がありますか?

• 仕事が終わった後、自宅で毎日4時間前後。公開まで2ヶ月弱という所です。無駄に細部に時間を費やしました。

チームの規模はどれくらいですか?また、あなたの素性および経歴は?

• チームはメンバーは一人。
• 40歳、妻子持ち。
• IT関係の仕事をしていますが、コンピューター・サイエンスのバックグラウンドはありません。プログラミングは独学です。

現在使用しているインフラ、技術は何ですか?

• linodeの1GBのプラン（$39.95/month）を利用しています。
• OSには、ubuntu、ミドルにはRuby on Rails、nginx、Passenger、Ruby Enterprise Edition、PostgreSQL、textsearch_jaなどを利用させて貰っています。
• 内部では、Wikipediaから取得したAV女優一覧はオブジェクトをFileCacheすると同時に、MeCabのユーザ辞書を生成しています。この辺りの処理は、ゆーすけべーさんのライブラリを参考にしました。

技術的な特徴があれば、紹介してください。

「お気に入りリスト」

• ソータブルなお気に入りリストを、ログイン無しで利用できます。
• AjaxではHTMLフラグメントではなく、軽量なJSONのみを通信しています。jQuery-Haml便利。
• 解説動画はこちらに置いてます。

開発の際に気を付けたことはありますか?

「データの取得元、動画投稿サイトに迷惑をかけない」

• クロウラーは5秒sleepして次のリクエスト。更に、pidっぽい仕組みで、クロウラープロセスの二重起動を回避しています。

プロジェクトは次の半年でどこへ向かうと思いますか?

「アクセス増への対策」

• ある程度、チューニングしているのつもりなのですが、遅くなったら、その都度対策します。

「広告」

• 良いコンテンツマッチ広告があれば、利用したいのですが...あまり期待していません。

「機能追加」

• まったくの白紙です。まずは安定稼働。

自分でWebサービスを作りたいと思っている人に向けて何かありますか?

• 簡単なマッシュアップサイトなら、初心者でも3ヶ月で公開できると思います。
• アフィは儲からないけど、転職には役に立つ気がします。（30代前半まで?）
• 受託で煮詰まっている人は、ストレス解消に良いですよ。時間が取れれば...

利用者に向けて何かありますか?

• 自分では、かなり実用的だと思っているのですが、実際の所、どうなんでしょう。使ってみて、ダメ出しでも何でも良いので、感想を聞かせてもらえると嬉しいです。

元ネタ

自分でWEBサービスを作りたいと思っている人へ

http://anond.hatelabo.jp/20101203150748

eHub Interviews

http://emilychang.com/ehub/app/category/ehub-interviews/

eHub インタビューズ - Last.fm（翻訳）

http://d.hatena.ne.jp/brazil/20051102/1130901002

Permalink | 記事への反応(3) | 18:54

ツイートシェア