「全文検索」を含む日記

2013-03-08

■[App]Androidでノート アプリ

スワイプだけでフォルダー内の全ファイルを閲覧。すべてのファイルが横に並んでいる。[[参考:m>notes]]のように。

縦にファイルをつなげる。これはファイルのグループ化。これも[[参考:m>notes]]。親となるファイルに独自記法が書かれていればつながる。親子管理用のデータは持たない。（Dropboxなどで他端末にコピー、デスクトップアプリで開いた時に有効になるように相対パスでファイル指定）UI上は記法ではなくファイル選択（親を開いて子を選択・子を開いて親を選択。選択肢にはファイル名によるフィルタリングをしたい。できればファイル内容の全文検索でも。UIは統合できるはず）親を子にすれば子が孫になるように。見た目はリスト、でもデータ構造はツリー。

設定項目に「ホームフォルダー」。その外にも出られる。制限しない。戻れることが大事。

自動命名・自動保存。ファイル名がどうしても付けられないなら適当なファイル名で適当なところに残す。開きやすければいい。

アンドゥ。「キーロガーと併用して」で済ませるのもあり。

起動時のビュー（最小化から復帰した時除く）は設定可能。ビュー別にホームアイコンを作成することも可能に。

モーダルダイアログ排除。またはダイアログ外タップで閉じられるように。

アプリにカーソルキー不要。大きく表示するビューを用意。ダブルタップや長押しで切り替え。文字を打つときには戻るように。でもこれはAndroidに任せるべき。

カーソル位置が分かりにくい上に意図しない位置へ行くのでアンダーライン必須。でもアンダーラインよりも背景色を行ごと変更したほうが分かりやすい。背景に横罫画像も使える。

検索とキーワードハイライトを統合。検索キーワードは検索のたびに追加。検索キーワードの目次生成。置き換えでも追加。置き換えた箇所が強調表示になる。自動的に追加されるハイライトの色はモノトーン。追加されるたびに古い強調表示は弱くなる。操作で別の色に変更できればいい。強調箇所は独自形式のデータにするしかない。どうせ他のアプリでは再生できないのでこのアプリ専用データ。

[[ファイル名（拡張子不要）]]でリンク。最初の「.」以降不要。あってもいい。それで重複が発生したらタップ時にリスト表示。選ばせる。

自動リンク。同一フォルダー内のファイル、ファイルのあるフォルダーからの相対パス、ホームフォルダーからの相対パス、絶対パスに。

http:// にもリンク。

ファイルを集めて一冊の本に。リンクを応用、見出し（正規表現で定義）へのリンクを自動生成して1つのファイルに書き出し。1フォルダー内のファイルだけでいい。そのファイルの冒頭には「本」ファイル用の見出しを入れる。その見出しだけの本を作れば本の本、同じプログラムで本の本の本の本も生成可能。設定項目が増えそうなので不要。

自動インデントと自動リスト生成。

1. のあとで改行すると 2. が生成されるような。

タブストップ調整。タブ文字1つで表組み。LTSVが崩れのない表になるような。

スクロールハンドル。

スクロールバーには目次を表示したい。ドラッグ中に半透明で画面の右側だけを使って表示するとか。

RIGHT:[[:t/App]]

----

CC0

Permalink | 記事への反応(0) | 00:32

2013-02-06

■http://anond.hatelabo.jp/20130206075224

お気に入りも使わず糞呼ばわりとな。

というか、そもそも情報保存ツールなんだから、

自分の興味のある記事をストックしていくだけでも便利だよ。

マイブックマークを全文検索できるので、

とりあえずブクマしとけば後からいくらでも取り出せる。

Permalink | 記事への反応(2) | 09:18

2012-12-12

■Ruby on Railsでアダルトサイト作ったよー

例に漏れず件のエントリーに影響を受けまして、Ruby on Rails を利用したサービスを作ってみました。

一つもアクセスがないため宣伝ついでに利用したgemや作成する際に参照したサイトを載せますので、「Rails 初心者っす」とか、自分と同じく「そもそもプログラミングとか知らねっす」という方はちょっとしたナレッジとしてご活用くださいまっせ。開発ガンガンやってる方には価値ある情報たぶんないよー。

作った人

新卒入社四年目の会社を今秋退職
プログラミング未経験
過去に流行ったテキストサイトの影響でhtmlとcssは多少書ける
ブラウジングの大半はアダルトサイトの閲覧

とどのつまり、性的に健康な青年が休職中で暇でした。

作ったもの

アダルトサイト専用のソーシャルブックマークサービス
名前「SiCOLIP（シコリップ）」
URL「http://sicolip.elasticbeanstalk.com/」

シコったサイトをクリップするのでシコリップ。

動機

好きな子にヤバいブックマークを見られて顔面が青くなった経験。
- ローカルで管理すんの怖い。
量産型のエロいブログで紹介している動画や画像はヌケないものが多い。なんで？
- ~~遅漏だから~~ ソースを自動巡回で取得しているから ≒ シコった実績がない ≒ 情報の質が担保されない
  - シコってヌイた情報にこそ価値がある…ッ！

シコったオカズをウェブ上にクリップするサービスで問題解決？

開発環境

Mac OS X 10.8
Rails 3.2.8
ruby 1.9.3p194

最初はMac標準のエディタで書いてたけど、どこかの記事を読んでからは「Sublime Text 2 (http://www.sublimetext.com/)」に乗り換えました。すごく…便利です…。ターミナルはMac標準のアレです。オススメがあったら教えてください。

gem

twitter-bootstrap-rails (https://github.com/seyhunak/twitter-bootstrap-rails)
- twitterの提供している、html, css, jsに関するフレームワーク。
- サイトの見た目に関する部分を手抜きできる。
bcrypt-ruby (https://github.com/codahale/bcrypt-ruby)
- 認証。
cancan (https://github.com/ryanb/cancan/wiki/Ability-Precedence)
- 認可。
nokogiri (http://nokogiri.org/)
- スクレイピング。htmlを解析したり。
kaminari (https://github.com/amatsuda/kaminari)
- ページング。
acts-as-taggable-on (https://github.com/mbleigh/acts-as-taggable-on)
- タグ機能。
sunspot_solr
sunspot_rails (https://github.com/outoftime/sunspot_rails)
- 全文検索。
sunspot_with_kaminari (https://github.com/richardiux/sunspot_with_kaminari)
- solr用のページング。
squeel (https://github.com/ernie/squeel)
- DB アクセスをSQLを書かずに実装できる。

プロセス

完成までにやったこと、実装するために参考にしたサイトを並べます。

RubyとRailsの勉強

RubyとRailsの環境を構築する。(http://www.oiax.jp/rails/rails3/install.html)

簡単にウェブアプリの土台を作れるScaffoldという機能を使って遊んでみる。(http://www.techscore.com/tech/Ruby/Rails/quick-start/Rails4/4-1)

行き詰まったので本を買う。（たのしいRuby、Ruby on Rails 3 アプリケーションプログラミング、Rails 3 レシピブック）（※ 同タイミングで買ったわけではないです。簡単にウェブアプリを作るだけなら「Ruby on Rails 3 アプリケーションプログラミング」とインターネットに接続できる環境があれば十分だと思います。ていうか他の二冊はまだ全部読んでない。）

ひと通り分かった気になり、作りたいものを作る作業へ。

プロジェクトの作成

$ rails new sicolip

Twitter Bootstrapの適用

こちらを参考にシコシコ適用。

bcrypt-ruby (認証機能)

色んなgemがあって迷う。

・Device(https://github.com/plataformatec/devise)
・omniAuth(https://github.com/intridea/omniauth)

でも、

・Deviceはメールアドレスでの認証
・omniAuthはtwitter/fb認証

個人的に

・エロサイトにメアドを登録したくない
・エロサイトの認証がtwitter/fbってなんか怖い

ということで、自前で実装。has_secure_password(gem:bcrypt-ruby) を利用する。

ここやここを参考に。

nokogiri (スクレイピング)

サイトをクリップ（URLを投稿）したときに該当するサイトのタイトルとか内容を取得する処理。

Nokogiri::HTML(open(target_url))

こんな感じでNokogiriオブジェクトを取得して、

return doc.xpath('//title').text

こんな感じでタイトルを取得する。こちらでxpathほかのお勉強。

cancan (認可)

ログインしている人にしかクリップ（URLの投稿）をさせたくない。そんなときに使える認可処理。

cancanの実装はこことここを参考に。

acts-as-taggable-on (タグ機能)

クリップしたサイトの情報をタグで管理したい。タグ機能の実装を手抜きできるのがこのgem。

・https://github.com/mbleigh/acts-as-taggable-on

・http://prototype-beta.com/tags/acts-as-taggable-on

上記を参考に。

sunspot (全文検索)

クリップしたサイトの情報をタイトルや内容、またはタグから検索したい。

その処理を手抜きさせてくれるのがsunspotさん。サーバにデプロイしたあとに

$ rake sunspot:solr:start

するのをよく忘れて動かない＞＜ってなります。

・http://railscasts.com/episodes/278-search-with-sunspot?language=ja&view=asciicast

・http://outoftime.github.com/sunspot/docs/

kaminari (ページネーション)

will_pagenateっていうgemもあるんだけど、kaminariが最近の流行りらしい。

・https://github.com/richardiux/sunspot_with_kaminari

ブックマークレット

クリップするためにこのサイトに飛ぶのちょっとめんどくさい。

ということで、はてなブックマークみたいなブックマークレットを作る。

・http://d.hatena.ne.jp/ky2009/20090108/1231405893

サーバを借りてデプロイする。

herokuとやらが設定周りの色々めんどくさいことを肩代わりしてくれるという噂。しかも無料。

→ sunspotが有料オプションでした。やめる。

AWSというAmazonのサービスが設定によっては無料らしい。

→ ほんとに無料だった。AWS内のElastic Beanstalkというサービスが、herokuみたいにめんどくさいことを色々やってくれる。

・http://blog.serverworks.co.jp/tech/2012/06/28/aws-elastic-beanstalk/

・http://qiita.com/items/811cd9b614d8d300628e

おわり

そんなこんなで出来上がったものは陳腐なものかもしれませんが、まがいなりにもひとつのサービスができました。ここ1カ月だらーっとRubyとRailsをさわってみて感じたことは、ウェブアプリを作るのって特別なことじゃないんだなーっていう。どこかで誰かも言ってましたけど、開発している最中はパズルを解いてる感覚でした。ウェブに転がるピースを探して、フレームワークにあてはめていくようなそんな感覚。

おしまい！

Permalink | 記事への反応(2) | 23:00

2012-05-01

■これから プログラムを始めようと思ってる人へ

はじめに僕はプログラムが苦手です。

ほんとに苦手です。

やりたいことにどうしても必要だから仕方なく組んでるだけで

誰かがやってくれるんであれば絶対自分でプログラムしようなんて思いません。

寝る時もあーやってこうやったらこうなるとか考えてしまって睡眠不足になるし

自分で向いてないなとよく思います。

そもそもプログラムに一番最初に触れたのは

9年くらい前のことです。

はじめてのプログラムはperlでした。

仕事でプログラムを使う必要があったので仕方なくparlの本を買ってきてシコシコやってました。

おなじみの「 hello world 」とかをモニターに表示させたりしました。

ものすごく簡単に理解してもらうためにこういう感じ書いてるんでしょうけど

ぶっちゃけ、本やネットの通り学習していくと大半の人が前半で飽きるか挫折します。

だって、全く興味がないことをしてるんですものね。

最後に掲示板の作り方とか解説してる本とかありますけど

掲示板作ってどうするの？

一人で投稿して一人でレスするの？

とか思ってしまいます。

自分に興味のないことをやるのって絶対続かないし覚えないんですよね！

僕もperlを学習したあとJavaを覚えようかなと本を買ってきて一通りやってみたんですけど

書かれてあるとおりに電卓とか作っても全く興味ないし作りたくもなかったので

全然頭に入ってきませんでした。

しかし、これがエロい物だったらどうでしょう？

多分、すごい勢いでいろんなことを覚えていくと思います！（男ならｗ）

最近、そんなことをエロい WEBサービスを作りながら考えていました。

エロサービスを作っていると楽しいんです！

もうほんとに楽しくて、夢中になって自家発電・・いえ、プログラムしていました。

本屋に行ってプログラム関係の棚に

「楽しいエロサイトの作り方」

「はじめてのエロサイト」

「3日でできるエロ」

「エロで覚えるphp」

「phpでアダルトサイトを作ろう」

「できるエロサイト」

「エロとデータベースとチューニング」

こんな感じのタイトルの本があったら僕だったら間違いなく買いますｗ

そして、ものすごごいスピードで学習しますｗ

そんなわけでこれからプログラムを始めようと思っている人はエロい物をプログラムで作ってみてはいかがでしょうか？

そして、僕が今回作ったエロサービス（エロ動画検索兼ランキングサイト）

http://adultmovie-clip.com/ を作るのに必要だった知識について書いてみますので参考にしてみて下さい。

【今回作った物はどんなWEBサービスか？】

アダルト動画をキーワードで検索できるようにして一覧表示させ

お気に入りの動画はログインなしでブックマークできるようにする。

人気ブログランキングのように外部サイトを登録できるようにし逆アクセスランキング機能をつける。

【必要な知識】

■html

htmlの学習

http://www.tohoho-web.com/wwwbeg.htm

今回はhtml5でやってみた。

http://www.html5-memo.com/

http://webdesignrecipes.com/semantic-html5-with-outline/

■jQuery

http://higashizm.sakura.ne.jp/jquery_first/

http://webdesignrecipes.com/jquery-beginners-guide-for-web-design/

クリップ（ブックマーク）機能に利用

jquery.cookie.jsを使う。

http://helog.jp/javascript-2/jquery-javascript-2/1406/

動画 IDをcookieに保存しておく。

■php

phpの基礎からできるからおすすめでかつデータベースの勉強もできる

これを覚えればエロ検索サイト作れる。

http://php5.seesaa.net/

エロデータの作成はスクレイピング（エロ動画データの収集）により行う。

htmlSQLでさくっとエロデータを収集

http://bowz.info/1916

エロデータは色んな動画サイトから収集する。

例えば

http://example.com/?name=女優名

みたいに女優の名前を変更していくプログラムなんかを書いて

該当ページをhtmlSQLで取得する。

そこから必要なデータを抜き出す。

必要な最低限のデータ項目は

・動画タイトル

・動画 URL

・動画サムネイル URL

登録ユーザーログイン機能

http://tenderfeel.xsrv.jp/php/628/

画像のアップロード

http://plog.pya.jp/program/php/lesson11/sample01.html

■MySQL

phpのところで紹介したサイトと同じ人が作ってるっぽい。

非常に分かりやすいのでここで学習するとさらにいい。

http://mysqlweb.net/

■google アナリティクス

ランキング部に利用、APIがあるのでリファラーでサイトのアクセス数をカウント

http://kota.oue.me/php%E3%81%A7google-analytics-api%E3%82%92%E3%81%84%E3%81%98%E3%82%8B%E3%80%82/

https://developers.google.com/analytics/resources/articles/gdataCommonQueries?hl=ja

■負荷対策

APC インストール

http://www.doyouphp.jp/tips/tips_apc.shtml

mod_evasive

DOS対策

http://www.makizou.com/archives/1341

mod_expires

これがないとアダルトサイトは死ねる。

http://www.ahref.org/tech/server/apacche/389.html

mysql クエリーキャッシュの設定

http://thinkit.co.jp/free/article/0707/2/6/

■サーバー関係

centos

VPSを借りてこのサイトの通りやればWEBサーバーが構築できる。

できればメモリは1Gほしい。

無修正じゃなければKAGOYAのVPSでいいんではないでしょうか。

外部に公開しないのであればローカルでシコシコして下さい。

http://centossrv.com/

※レンタルサーバーを借りるのであればあまり必要じゃないかも

SSH ・・・クライアント(Windows)から Linux サーバーをリモート操作する

apache ・・・WEBサーバー ※チューニング関係はググりまくって下さい。

mysql ・・・データベース全文検索を利用する場合、一旦mysqlは削除してsennaをインストール。インストールする順序に気をつける http://anond.hatelabo.jp/20110804021353

Tripwire・・・ファイル改竄検知システム導入

chkrootkit ・・・rootkit検知ツール導入

Clam AntiVirus ・・・アンチウィルスソフト導入

iptables ・・・ファイアウォール構築

SSL ・・・通信の暗号化

■全文検索

senna

http://qwik.jp/tritonn/

■アフィリエイト広告

経験上、サーバー代にもならないと思うので今のところ掲載しません。

以上です。

今回このサービスを作ることになったきっかけは

3月くらいから心身ともに疲れきっていたのでリフレッシュする意味で作ってみました。

エロサービスは以前にも何度か作っていてその時は非常に楽しくてわくわくしながらプログラムしていたので

それを思い出して、じゃあ作ってみようという感じです。

エロいの作ってるとストレス解消になりますｗ

いろんな意味でｗ

初めてのプログラムがエログラムってなかなかないと思うし

学生が就職活動で、WEB系の会社で面接した時なんかにプログラムでどんなの作ったことある？と聞かれて

エロサイト！

とか言っちゃうと「こいつできる」と思われるかもしれませんので（あくまで僕がそう思うだけですｗ）

これからプログラムをやろうと思ってる人はエロサービス作りで覚えてみて下さいｗ

きっとあっという間にできるようになりますｗ

さて最後になりますがこんなの作ってみたんでよかったら利用してみて下さい。

アダルト動画クリップ

http://adultmovie-clip.com/

ではでは！よりエロライフを！

動画検索は前にも日記を書いてるので興味のある方は参考にどうぞ。

http://anond.hatelabo.jp/20110804021353

Permalink | 記事への反応(0) | 18:18

2012-03-28

■電子書籍について -- 一万冊を支えるために

電子書籍議論が華々しいけど、どうしても僕は納得がいかない。なので、一度某所に名前付きで書いたものを、少しでも騒ぎになってくれる事を願って、編集してここに掲載する。僕が誰かわかった人は、黙ってくれるとありがたい。

まず、今の電子書籍に対する不満は、そもそも今の電子書籍の環境じゃ、生涯付き合えないということ。iBooks程度のインターフェイスだって、100冊もあれば面倒な事が多い。検索機能も無い、それ以外のツールはもっと酷い。生涯付き合うなら一万冊の管理をこなせるようになってほしい。一万冊というのは、読書家の一生を考えれば、決して無謀な数字じゃない。数代続く学者一家ならそれくらい書庫にあったりしてもおかしくないし、図書館で借りたりすれば、10歳から60歳までで一万というのはあり得る数字。マンガを買い込めば、普通の人でも数千冊は読破可能。

一万冊の読書を支えるためには、以下の機能が必要と考える。

全文検索機能
詳細なメタデータによる絞り込み(例:大江健三郎が60年代に岩波書店から出したエッセイ、とか)
しおりデータの分離(今の電子書籍は本を開くと以前読んだページ飛ぶという機能がついている事があるけど、これだと、本を開くまでわからない。なので、100個ほどのしおりを書籍から分離して、ツール側で管理する必要がある。読書家なら、複数平行して読んでいるのは当たり前)
付箋データの管理(しおりと同じく、分離して管理してほしい)
- 付箋に対する検索機能(大量の付箋を管理するために必須)
- 付箋のグルーピング(大学で教える人なら、授業数コマに論文の準備と言う事もあるだろう。ひとつの課題に対して100の付箋が付くのは十分あり得る。グルーピングしないと結局とっ散らかってしまう)

これくらいでも、一万冊と付き合うのは難しいだろうけど、ひとつひとつの機能は決して難しいとは思わない。

また、書籍自身も単なる複製で終わってしまっているので、これも不満。例えばこんな機能があってもいいはずだ。

イラストのオン/オフ(ラノベで大量にイラストがある場合があるけど、これをオフにして読み進められれば読みを壊されなくて済む。その場でイラストを呼び出すのも良い)
地名と地図データの連動
年表との連動
登場人物一覧の呼び出し

要するに、紙だと必然的に対処せざるを得ないものを排除して、今まで頭を使ってこなしていた事を電子側でこなしてほしいのだ。

特に歴史物だと、今自分が読んでいる箇所がどこの場所で、いつの年代かがわからなくなる。紙の場合は、巻頭または巻末に資料があるけど、電子であれば、読んでいる場所からその場で呼び出せるようになってほしい。もし小説のネタバレをするようなら、進行状況に合わせて内容を変化させれば良い(既出の地名だけを表示する、など)。

こうした機能はゲームならおなじみで、主人公の位置をマップで示したり、あらすじが進行中に挟まって後から確認すると言った事が出来るけど、今の電子書籍は全くそういうことを学んでいない。これじゃ、値段を下げるくらいしか売り方が無い。こうした機能がつけば、同額か、値段を上げたって問題ないと思うくらい。元々文庫やマンガは安いので、これ以上値段を下げる議論なんてしていたら、業界自体が死んでしまう。付加価値で勝負してくれた方がよっぽど良い。

たまに「やっぱり紙の方が良い」という議論があるけど、決してそんな事無い。引っ越しでダンボールの中に蔵書がまぎれたり、本棚を二重に組んで取り出せないとか、紙の不便さは山のようにある。問題は、それを電子書籍が解決していない事だ。イノベーションでも、顧客需要でもなく、惰性で電子書籍に取り組んでいるからいけないのだけど。読書家の皆さんは、もっと声を大にして「紙は不便」と言おう。

Permalink | 記事への反応(2) | 11:11

2012-01-07

■事務職リーマンがwebサービスを作ってみた話

Web システムとは縁遠い事務職のリーマンが、ある日思い立って、ニッチな用途の検索エンジンサービスを作ってみたので、ちょっと書いてみようと思います。

ちなみに、検索エンジンといっても、google カスタム検索とかのお茶濁し系じゃなくて、apache Solrというオープンソース検索エンジンを、VPS上で動かしているという、それなりに本

気度の高いものです。

なんで素人がそんな物騒なものを動かす羽目になったかは、後述。

アイデア ときっかけ

やりたい構想みたいなことを思いついたのは、もう6、7年前ほど前のこと。初めて独り暮らしを始めたときに、ひどく不便を感じたことがあり、こんなサービスがあったら便利だなあ、

と、ぼんやりと妄想していました。

ちなみにその妄想をふと高校の同期に話したとき、そのサービスはどこにあるのか？！と、えらくがっつかれたのを、覚えてます。まあ、俺と同じく偏執狂の奴だったからだと思います

が。

ただ、しがない事務職リーマンということもあり、当然、技術も無く、そのときは、やるならこんな名前のサービス名だろうなあ、とか、そんな妄想レベルで、話は終わっていました。

そんな感じで、5年ほど月日は経ち、なんとなくリーマン人生の流れも見えてきたところで、以前、妄想していたことを、ふと思い出しました。

5年も経ったら、さすがに自分が考えたようなこと、誰かがやっているだろうと調べてみたところ、意外なことに、競合になるようなサービスは存在せず。ちょうど異動があって、少し時

間が出来たこともあり、じゃあ、着手してみようかと思い立ちました。

やりたいことは非常に面倒だった

やりたいことは、大手サイトの情報検索。ただ、商品ページ内の特定情報、それも、商品ごとに正規化されていない表記を、正規化して抽出する必要があったので、大手サイトの既設API

だけではとても実現不可能でした。

まあ、だからこそ、5年間、誰もやろうとしなかったんでしょうが。

ということで、とても一発では解決できなさそうな内容だったので、自分でなんとか実現できそうな機能に細分化して、各個撃破していくことにしました。

面倒なサービスをどう実現するか

随分と考えた結果、

ホームページをクロールしてhtmlを収集する機能
クロールしたhtml から特定情報を抽出する機能
検索エンジンサーバ
検索エンジンのフロントエンドプログラム
ホームページ自体
さらに、これらの処理を自動化する仕組み（特にクローラから検索エンジンにアップロードする部分まで）

以上に区分できると考えて、これらを各個撃破していくこととしました。

また、技術もなく、プログラミングも出来ず、ましてやlinux サーバのお守りをしたことなんて当然ないので、インターネット上に置くサーバですべての処理を完結させるのではなく、イ

ンターネット上に置くリソースは最小限に留め、できる限り、勝手がわかる自宅のwindows パソコンで処理を行うことにしました。

ちなみにさらっと結論だけ書いてますが、ここまで至るまでに、いろいろと調べ続たり、考え込んだりしていたので、思い立ってから3ヵ月は掛かってます。。。

検索エンジン周りの開発

さて、やる方針を決めたあと、はじめに着手したのは、要の検索エンジンサーバです。

いろいろとググって調べて、mySQLというやつか、apache Solrというやつかに絞りましたが、結局、Solrを使うことにしました。

MySQLのほうが実績は多そうだったのですが、Solrのほうが検索専門で、滅茶苦茶動作が速いらしいということ、MySQLでも出来るが特に速度が遅いらしい全文検索機能も使いたかったこ

と、あとファセット機能がジャンル絞りこみに便利に使えそうだったので、というのが理由です。

ちょうどSolr本が発売されていたこともあり、それを参考に、自分が使うように設定ファイルを変更していきました。

しかし、初めは設定ファイルの内容も意味不明な上に、私の書き方も雑なのか、少しいじっただけでまったく動かなくなる。結局、設定ファイルを一文字ずつ変更しては動作検証、とい

った始末で、進捗は地を這うよう。ある程度思い通りにSolrを扱えるようになるまで、3ヵ月以上掛かったでしょうか。。。

さらに、検索エンジンのフロントエンド（Solrの検索結果を、htmlに変換するプログラム）も書かなければならない。プログラミングが出来ない人間には、これが本当に辛かった。

Solr本に、いろんなプログラミング言語でサンプルがあったのですが、迷った末に、わずか数行なら書いた（≒コピペした）経験があるという理由で、javascriptを苦渋の選択。

しかし、選択はしてみたが、基礎が本当に無いから内容がサッパリ頭に入ってこない。こちらも、わかるところから本当に1文字ずつ変えていくといった手探り状態。

プログラミングについては、今回のためだけだから、といった理由で、一切基礎をやらずに着手したのが裏目に出たのか、サンプルのソースをモノにして、書き上げるのに、ゆうに半年

以上。本当に時間が掛かりました。

kanzen21.comに衝撃を受ける

さらに、Solr周りで計9ヶ月間ハマっていた頃、忘れもしない、kanzen21のおっさんが彗星のように現れて、衝撃を受けることになります。

大手サイトのページをクロールして検索エンジンを作る手法は、私と考えていた構想の枠組みとまさに「完全に一致」な訳で。。。

図書館事件に注目していたのも同じで、あまりの一致具合に衝撃を受けっぱなしでした。

その後の成り行き等も含めて、興味深く観察させて頂き、本当に参考になりました。

クローラ周りとかの開発

そんな感じで紆余曲折もありましたが、ようやく難題だった、プログラミング関連に目処が立ってきたので、あとはクローラと肝心のデータ処理です。ここからは、勝手知ったるwindows

の領域なので、多少の安心感があります。

まず、クローラですが、専用のクローラをwindows用に探してきたり、それを設定するのも大変なので、今回はテレホーダイ時代に使っていたような、フリーのweb巡回ソフトを利用する

こととしました。指定のhtmlをダウンロードしてくるだけなので、別に変に新しいものに手を出す必要もないので。

また、ダウンロードしてきたhtml ファイルについては、これまたフリーの日本語処理ツールでcsv方式に加工することにして、処理ルール部分を相当に作り込みました。

このあたりは、全体を通して見てもキモの部分なんですが、ある意味、ちょっとしたパズル感覚だったので、プログラミング言語の部分と違って、かなり楽しかったです。

あとは、msdosのバッチファイル（これは前から知っていた）で、これらの処理を繋ぎ、cygwinのcurlとかいうツールで、連続して検索エンジンサーバにcsv ファイルをアップロードする

仕組みを作りました。

検索エンジンサーバには、容量は少ないが、安くて高性能という、今回の用途にピッタリだった、さくらのVPSを借りて設定。CentOSのサーバ構築ホームページを見ながら、サーバとか

Solr 管理 URLとかにセキュリティを掛けて、こちらも素人ながら、意外とすんなり設定。

ホームページは、vps サーバに相乗りさせるのではなく、別にさくらのレンタルサーバを借りました。apacheの設定方法等を習得する必要がありませんし、vpsのリソースをapacheと分け

合う必要が無くなるので。ホームページのhtml ファイル、css ファイル等も調べながら設定し、画像も準備しました。

あと、構想を思いついたときに妄想していたサービス名の.comドメインは、すでに他者に取得されていたのですが、どうも使っている風にも見えなかったので、whoisで出てきたメールア

ドレスに連絡して交渉し、幾ばくか払って買い取りました。

ようやく完成

結局、足かけ18か月。ようやく完成。

楽天市場の家具を、幅x奥行x高さ(家具サイズ)で検索できる、楽天市場・家具カテゴリ専門の検索エンジン

カグサイズ検索

http://kagusize.com

この商品数規模（データ収録約30万アイテム）で、1センチ単位で家具のサイズ指定検索が可能な手段は、商用サービスも含めて、ほかには存在しないと思います。

kanzen21と違って、エロじゃないから華はないけどね。。。

カグサイズ 検索が提供する価値について

ちなみに冒頭で少し書いたきっかけですが、就職して独り暮らしを開始したときに、新しい家にピッタリサイズの家具が欲しかったのですが、これが楽天で探すのは至難の技でして。

楽天で家具を探してみようと思った人には判っていただけると思うのですが、楽天では、価格では範囲指定やソートができても、サイズでは検索出来ないんです。

これは、楽天では、商品のサイズ情報は商品の自由記述欄に記載することになっているためで、商品ごとにサイズの記載方法がバラバラのため、検索が事実上、不能となっています。

家電製品とかに関しては、種類が少ないこともあり、メーカーのホームページとかでサイズを確認した上で、商品型番で検索すればいいので、それほど問題にはならないのですが、家具

って、種類が非常に多く、型番もあったり無かったりで、家電のようにサイズを調べることができません。

しかも、サイズが非常に重要な商品です。なんて不便な！

・・・ということで、カグサイズでは、楽天の商品ページにいろいろな書式で書かれているサイズ情報を拾って解析して正規化し、範囲指定やソートして検索ができるようにしています

。

また、単に寸法サイズを拾うだけでは、梱包サイズとか引き出し内寸とかも引っ掛かってしまうので、それらは出来るだけ排除して、商品の外寸が優先して引っ掛かるよう、アルゴリズ

ムを調整しています。

単位（センチとミリ）に関しても、商品ごとにバラバラ（単に単位だけでなく、商品説明のどこに"センチ"とか"ミリ"と記載しているかについてもバラバラです。）なので、サイズ表記

の前後の状況をみて、正しいと思われる単位で拾うようにしています。

その他

あと、変わった使い方としては、欲しい家具の価格比較みたいなこともできます。

家具は、同じ商品でも、店ごとに型番が違ったりすることがよくあり、簡単には価格の比較が行いづらいジャンルの商品です。

しかし、型番は違っても、同じ商品なら原則、サイズは同じですから、欲しい商品とまったく同じサイズで検索をかけると、同等商品があるのかどうか比較しやすい・・・といった使い

方もできます。

おわりに

と、そんな感じで、しがない事務職リーマンが作ってみた、ニッチな用途の検索 webサービスを、サービスインさせて頂きました。

一般に公開されていて、誰でもアクセスできる情報でも、ニーズが有りそうな切り口の条件で検索性を高めれば、新しい価値を創造できるんじゃないかという実験です。

もしよろしければ、ぜひ、使ってみてくださいー。それでは！

----------

カグサイズ検索

http://kagusize.com

追記

アップ直前の変更により、最大サイズの指定がうまく働かなくなっていたため、修正をしました。ご指摘有難うございました。

Permalink | 記事への反応(3) | 18:34

2011-12-08

■Operaが重いと思ったらvpsを疑ってみる

vpsとは"visited pages search"の略で、vps フォルダの中に訪問したページのデータを貯めこんで全文検索できるようにしてあるらしいのだが、これが溜まるとOperaの動作が重くなるようだ。

最近、Operaがページを読み込むたびに1.5秒ほどフリーズしていたのがvpsを削除することでなくなった。これでOperaと出会った時の軽快さが戻ってきた。

他にもキャッシュ関連のデータはあるはずだが、自分の環境ではvpsの削除でじゅうぶん速くなった。というわけでOpera ユーザーで速度を重視する人はvps フォルダの削除も考えてもいいと思う。

2011-08-04

■独学のプログラムでエロ 動画 検索を作ってみた！

【お知らせ】2011/09/07

新しいエロ WEBサービス作りました。

http://d.hatena.ne.jp/uniqueweb/20110906/1315285545

プログラムは全く得意じゃないけれど最近よく見かけるようになったエロ動画検索を自分でも作ってみたくて頑張ってみました。

近年、インターネットの普及によりエロ動画が自宅で簡単に見れるという素晴らしい時代になりました。

自分が若い頃はインターネットなんてものはなくエロビデオが主流でドキドキしながらレンタルビデオ屋に行き、可愛い女の子がレジにいない隙を見計らってお兄さんにパッケージを伏せて空箱を渡しビデオを借りたものでした。

お兄さんにビデオの空箱を渡そうとした時に可愛い子がレジに戻ってきて焦って渡すのをやめてものすごく変な動きをしながらエロビコーナーに引き返していくなんてことも多々ありましたｗ

僕のお気に入りといえば「白石ひとみ」や「あいだもも」といった女優でよく借りてました。エロビを借りるということがものすごく恥ずかしい時代？年頃？でカモフラージュに普通のビデオと一緒に借りるということもしていました。それはそれは大変な思いでオナニーしてたんです！

しかも、ビデオデッキ自体が貴重な時代でリビングに一台しかないのが当たり前でした。

深夜家族が寝静まってからヘッドフォンとビデオを抱えリビングに行き暗がりの中でヘッドフォンをテレビに差し込んでビデオの再生ボタンを期待に胸をふくらませながら押したものです。いいシーンを何回も見るためにビデオを巻き戻すんですが、ビデオを巻き戻すガチャンガチャンという機械音で家族が起きてこないか？とかそれはそれはドキドキしながら見てました。一仕事終えたあとヘッドフォンを外したらジャックが外れていて大音量で喘ぎ声が響き渡っていたなんてこともありました。誰も起きてこなかったのは優しさなんでしょうか？ｗ

さて、大分前置きが長くなりましたがエロというものはものすごい技術発展させるものだと思います。エロのおかげで日本でビデオは普及しエロのおかげで日本でインターネットはものすごく普及したと言っていいと思います。自分もエロを通して技術の発展に貢献し自分自身のスキルアップになれば。という高い志を持ってこのサイトを制作しました。決して自らのオナニーライフの充実と性癖を充たすため作ったわけではありません・・・ｗ

※2011.08.07 利用中のサーバーに障害が発生しているようで現在サーバーに接続できない状態となっています・・・

※2011.08.07 23:53 復帰した模様です。

サイト名：ヌキネーター

サイト名の由来は抜きネタからきています。抜きネーター、ヌキネーターという感じですｗ

エロサイトの制作工程を日記にしてみたんで良かったら読んで下さい。そしてこのサイトを使って夜いろいろと励んでくれたら嬉しいです。

では制作日記を書いていきたいと思います。

サーバー選び

まず前提条件としてお金をほとんどかけたくない。アダルトサイトであるということから

サーバー選びからはいりました。

月の予算は5000円以内で考えていたのでけっこう探すのが大変でした。

日本でアダルトサイトを許可している所はかなり限られていてさらにやりたいことができるのは

専用サーバーかVPS しかないのでそうなると専用サーバーは予算オーバーなので

VPSで探すことになり検索しまくってはじめに見つけたVPSはKAGOYAのVPSだったのですがβ版で募集を締め切っていて泣く泣く諦めました。

KAGOYAはかなり評判がいいみたいなので使ってみたかった。

次に見つけたのが○○○VPS。海外サーバーで日本語サポートがあり転送量の制限なしディスク容量100G

月1300円程度で借りれるということで初期設定費用に5000円程度かかりましたが借りてみました。

結果、ここは最悪でした。

通信が頻繁に切れる
激重
借りて一ヶ月もしないうちにサービスの継続が困難になりそうなのでIPが変わるとかメールがくる
あまりに通信環境が悪すぎるとメールすると環境調査に協力してくれとメールがくる
時間をかけて沢山の項目を調べて返信するも全く返答がない。

あまりの酷さに1ヶ月で解約。

よく調べてみたら評判がものすごく悪い某VPSの再販らしいです。

お金と時間をドブに捨てました・・・

もう失敗したくないと思い今度は比較的有名な海外サーバー LINODE。

日本語サポートはないけれど抜群のサポートです。

iptablesの設定でどうしてもうまくいかなくて拙い英語でメールしてみたら

10分しないうちに返信がきました！

メールに書かれているとおりにコマンドを入力したらあっさり解決。

素晴らしい！はじめから LINODEにすればよかった。

担当のブライアンはなぜか分からないけどとてもフレンドリーで親切に感じましたｗ

サーバー設定

LINODEは複数のディストリビューションから好きなものを選択できるので

とりあえず、64bit版を選択。

サーバー設定はほんとに面倒ですね。

一番面倒だけど重要だということで

Tripwire

その他各種監視ツールの導入をしました。

ほんとに面倒でした。

データベース

はじめはmysqlにストレージエンジンgroongaを使おうと思ったのですが

初めに借りた最悪なVPSはOSが32bit版だったのでgroongaがのソースが見つからずなぜかと思っていたら

どこかで見つけた記事で32bit版ではgroongaの性能を発揮しきれないということで32bit版の提供をやめてしまったらしいと書いてたので

じゃあ、sennaにするかということで最悪VPSでsennaをインストール。

その後LINODEに変更したのでOSに64bit版を選択し念願のgroongaをインストール。

しかし、調べてみると

マルチセクション機能に対応していない（複数カラム一発で無駄なく全文検索したい）
boolean modeの挙動が若干おかしい

などが理由で、結局sennaに戻して2度手間に・・・

プログラムもそれに合わせてその都度書き換えたので2度手間どころか3度手間4度手間でした・・・

senna導入はrpmでさくっといけるので簡単ですが

依存関係で少しはまりました。

まず
# rpm -qa | grep -i mysql
でmysqlがインストールされてたら削除
perl-DBIが必要なのでインストール
# yum install perl-DBI
そして下記の順番でインストール
rpm -ivh mecab-0.98-tritonn.1.0.12a.x86_64.rpm
rpm -ivh mecab-ipadic-2.7.0.20070801-tritonn.1.0.12a.x86_64.rpm
rpm -ivh senna-1.1.4-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-shared-5.0.87-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-client-5.0.87-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-server-5.0.87-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-devel-5.0.87-tritonn.1.0.12a.x86_64.rpm
my.cnfの設定をして終了

で肝心の全文検索ですがデータ件数が5万件程度で少ないせいなのか、あいまい検索と比べてそれほど速さを実感できなかったです・・・

でもきっとすごく速くなったはず！

ちなみに「麻美ゆまおっぱい」で検索した場合、0.01 secで結果が返ってきました。

動画 データの作成

さて、動画データの作成ですがいくつかのエロサイト等制作記事でもあるようにスクレイピングということをします。

スクレイピングとはWEBサイトから特定の情報だけを取得することでネット上にあるサイトをクロールして必要なデータだけを拾ってデータを作るといった感じでしょうか。

スクレイピングのプログラム自体は以前にTidy 関数を使って為替データを10分おきに取得するような物を作ったことがあったのでそれほど時間はかからないかなと思ったのですがけっこう時間かかりました。

スクレイピングにはTidyとhtml SQL、それにPHP Simple HTML DOM Parserを使いました。

下記のサイトを参考にしました。

phpによるスクレイピング処理入門

SQL みたいな文法で HTML を抽出する PHP のライブラリ

htmlSQLよりアツい!?jQueryみたいにセレクタでHTMLをparse(解析)する「PHP Simple HTML DOM Parser」

３つの中で抜群に使えるのはPHP Simple HTML DOM Parserだったんですが

ループ処理させるとメモリがすごいことになって今回のようなスクレイピングに向いてないみたいで

結局、html SQLとTidyの両方を使ってスクレイピングしました。

両方ともPHP Simple HTML DOM Parserに比べるとうまくデータの取得ができないことが多く残念な感じなんですが他に選択肢がないので・・・

使える順に並べると

PHP Simple HTML DOM Parser

html SQL

Tidy

といった感じかもしれません。

おおまかにデータを取得して正規表現で特定データを抜き出しました。

広告との連携

広告にはDMM アフィリエイトを利用しています。

http://affiliate.dmm.com/link.html

利用可能な物はパッケージ画像、サンプル画像（縮小）と書かれていたのでそれに従い画像を利用。

注記に※ユーザーレビューは引用いただけません。とだけ書かれているのでそれ以外は引用ありと判断して説明文とタイトルなどを利用

女優データとジャンルデータ、DVD データ、を紐付けたデータベースを作成し検索ワードに応じて検索結果に関連する商品を表示させるようにしました。

現状、売り上げ0で意味があるのか分かりませんけどｗ

負荷対策とか転送量とかDOS攻撃対策とか

エロサイトということで多少はチューニングとか設定とかしないとまずいかもと思い色々調べて設定しました。

やったこと

iptablesで攻撃してきそうな国からのアクセスを遮断
mod_evasiveの導入で一定時間での連続的なアクセスを遮断
httpd.confの設定 KeepAlive等

KeepAlive On

MaxKeepAliveRequests 60

KeepAliveTimeout 3

&lt;IfModule prefork.c>
StartServers       7
MinSpareServers    5
MaxSpareServers   10
ServerLimit       30
MaxClients        30
MaxRequestsPerChild  4000
&lt;/IfModule>

mod_expiresでキャッシュ設定

様子見ということで2日間で設定してみました。

mysql クエリーキャッシュの設定

query_cache_limit=1M

query_cache_min_res_unit=4k

query_cache_size=16M

query_cache_type=1

APCの導入

とりあえずこんなところを設定してみましたが、爆発的なアクセスがあるわけでもないので有効なのか今のところ分かりません(-_-;)

Apache Benchでテストはしてみましたけど問題はない感じですが実際にチューニングができているか分かりません。

サイト デザイン

プログラマーとして有名なゆうすけさんのサイトとgoogleを参考にしました。

シンプルで使いやすいようにしようと思いこのデザインにしました。

3カラムの中央可変となっています。

クロスブラウザはIE7、firefox3、chromeで行いました。

可変ものって作ったことなかったんですがけっこう面倒なんですね。

サイト 機能

ブックマーク機能とメニューの折りたたみ機能、検索結果の表示方法切替を作りました。

まず、ブックマーク機能ですがログインなしで気に入った動画をブックマークできるようにしました。

ブックマークに追加した動画はブックマークページで確認できるようにしました。

cookie 機能を利用したらいけると思い色々調べてjquery.cookie.jsを利用。

保存したクッキー情報を呼び出してphpに渡して処理し指定要素にブックマーク一覧をloadメソッドで表示させるという感じです。

$(function(){
$("#youso").load("xxx.php");
});

メニューの折りたたみ機能は人気AV女優やAV女優別、人気タグなどをそのまま表示させるとずらっと長くなって邪魔だったのでつけました。

これには同じくjquery.cookie.jsを利用しました。

参考サイト：http://blog.caraldo.net/2009/03/newjqqookiemenu.php

検索結果の表示方法切替にはZoomer Galleryを利用しました。

参考URL：http://phpjavascriptroom.com/?t=ajax&p=jquery_plugin_zoom#a_zoomergallery

検索結果ページで表示される

[ここの画像]
××× の検索結果
44件中 1～10件目を表示

ここの画像の部分をクリックするとgoogle イメージ検索みたいに一覧でイメージ表示できるようにしてみました。

動画表示ページ

基本的に動画の埋め込みを許可しているサイトのみプレイヤー表示をしそれ以外は画像を表示し動画データへリンクするようにしました。

埋め込み部分はあらかじめそれぞれのサイトに対応したプレーヤー部分のコードを記述しVIDEOIDの部分に置き換えるような形にしました。

XVIDEOSを例にすると

XVIDEOSの場合かならず動画のurlがhttp://www.xvideos.com/videoXXXXXX/のようになりますのでXXXXXXの部分を

VIDEOID部分に置き換えるようにプログラムを組みました、

埋め込み部のソース

>||<object width="510" height="400" classid="clsid:d27cdb6e-ae6d-11cf-96b8-444553540000" codebase="http://fpdownload.macromedia.com/pub/shockwave/cabs/flash/swflash.cab#version=8,0,0,0" ><param name="quality" value="high" /><param name="bgcolor" value="#000000" /><param name="allowScriptAccess" value="always" /><param name="movie" value="http://static.xvideos.com/swf/flv_player_site_v4.swf" /><param name="allowFullScreen" value="true" /><param name="flashvars" value="id_video=VIDEOID" /><embed src="http://static.xvideos.com/swf/flv_player_site_v4.swf" allowscriptaccess="always" width="510" height="400" menu="false" quality="high" bgcolor="#000000" allowfullscreen="true" flashvars="id_video=VIDEOID" type="application/x-shockwave-flash" pluginspage="http://www.macromedia.com/go/getflashplayer" /></object>
||<

その他の動画サイトもURLの一部分のデータを使っているので同様の処理をしました。

まとめ

実際の作業は２、３週間ですが色々調べる時間が多くて制作に2ヶ月くらいかかりました。

自分でエロ動画検索を作ってみて有名プログラマーさん達がいかに優秀なのか思い知らされました。

皆さん思いついて数日で作ってしまうのでびっくりです。

全くWEBの知識がない人で４、５ヶ月ですごいの作っちゃう人とかもいるみたいですし世の中広いな～と思います。

しかし、エロサイト作りで勉強になりますね～

大分、色んな知識を得ることができました。

これからプラグラムを勉強しようと思う人はぜひエロサイトから入ってみて下さい。

きっと楽しいですよ！

そんなこんなで？頑張って作ってみたエロ動画検索、良かったら使ってみて下さい。

これで少しは技術の発展に役立てたでしょうか？ｗ

アダルト動画検索ヌキネーター

P.S エロサイトを作っていてはじめは楽しくて興奮しながら作ってたのですが最後の方はエロい物を見ても全く反応しなくなりましたｗ

　　不能ではないんですけど・・・今現在も性欲が著しく減退しております・・・

　　そしてスーパーpre 記法がうまういかないのはなぜ？はてな匿名ダイアリー初投稿で全然分からない・・・

　　そしてそしてプログラマーさんとかデザイナーさんとかエロい人とかお気軽にお声をおかけ下さい。

【お知らせ】2011/09/07

新しいエロ WEBサービス作りました。

http://d.hatena.ne.jp/uniqueweb/20110906/1315285545

Permalink | 記事への反応(9) | 02:13

2010-11-11

■http://anond.hatelabo.jp/20101111110504

調べてみたら、どうやらこのApricotというのが

Windowsでいろいろとできるみたい（要.NET Framework 4.0）

初音ミクのスキンもあるし

これはよさそう　(^o^)

新着RSS/Atomフィードの表示
現在流行っているキーワードの表示
RSS/Atomフィードの関連エントリの表示
過去の取得済みのRSS/Atomフィードを全文検索
スクリプト(Python)で機能拡張
お気に入りのエントリを共有
天気予報
タイマー
Gmailの新着メールの通知
Twitter クライアント
公式サイト
http://www.apricotan.net/
作者のページ
http://d.hatena.ne.jp/kawatan/