しかしながら書き込みのほうではhandlersocketもmemcachedの10倍近くの時間がかかっており、少々速度的な影響が気になってきます。memcachedの倍のパフォーマンスを記録したという記事を見たことがあるので、設定、チューニングについて生かしきれていない部分があるのかもしれないとも思いましたが、知識が不足しているところで無理をすると問題が発生した時に対処できないと考え、候補から除外することとしました。

結局、今回の用途では読み込み処理より書き込み処理のほうが圧倒的に多いことも考慮し、kyotoTycoonを採用しました。実際の利用箇所に組み込んでabで計測してみたところ、だいたい30%程度のパフォーマンス低下にとどまっており、これなら許容範囲かと考えています。

mySQLのレプリケーションが止まる

実行系と参照系に分ける形でmySQLのレプリケーションを行なっていたのですが、度々レプリケーションが停止する現象が発生しました。

一部のテーブルについて肥大する可能性が考えられたため、参照系に接続するプログラムで使わないテーブルをレプリケーションから除外していたのが原因です。

例えばtabelAをレプリケーションし、tableXをレプリケーションしないという設定にしたうえで

実行系でINSERT INTO `tableA` SELECT `value` FROM `tableX`などといったクエリを発行すると、参照系にtableXが無いためエラーが発生して止まってしまいます。

レプリケーションするテーブルを限定する場合はプログラム側でも注意を払わないと危険です。当たり前ですが。

サーバ 監視にmonitを使用

監視といえばcactiやnagiosが定番なのかもしれませんが、設定が複雑そうで尻込みし、monitを使用することにしました。

簡単な設定でloadaverageやメモリ、HDDの使用量をチェックできるほか

httpdやmysqldなどといったサービスのプロセスを監視し、もし落ちていたら自動で起動してくれるので助かります。

Web アプリの秘匿

パスワード保護を行うとしても、サイト全体の管理画面など自分しか使わないプログラムはWebに晒しておきたくない。

というわけで、一部のWeb アプリを秘匿する設定を行いました。

管理画面のWeb アプリを9999番など閉じているポートに設置した上で、SSHを利用したトンネルを掘ります。といっても

ssh -t -L 9999:localhost:9999 user@xxx.xxx.xxx.xxx

上記のようなコマンドで管理画面のWeb アプリを置いたサーバへログインするだけです。

ブラウザのアドレス欄にhttp://localhost:9999/と打ち込めば、接続が開いている間のみアクセス可能になる感じですね。

サーバにログインできる人でなければ実行できないことなので、気分的にある程度安心します。

SSHでログのバックアップ

自動でログのバックアップを行いたいと考えたのですが、パスワード無しの鍵でログインして転送する形には抵抗がありました。

調べてみたところ、authorized_keysに公開鍵を記入する際の設定で、その鍵でできることを制限するという手段があるようでした。

具体的には、authorized_keysに

no-port-forwarding,no-X11-forwarding,no-agent-forwarding,no-pty,command="some commands" ssh-rsa AAAAB3NzaC1yc2EAAA...

などとして公開鍵を追加しておくと、その鍵でログインした直後にcommand=""の部分で設定したコマンドを実行して接続を終了する挙動となり

接続のフォワードもできなくなるため、パスワード無しでも鍵の流出に関するリスクを最低限に留めることができるというわけです。

commandの実行結果は標準出力から受け取ることができるので、例えばcommand=""の部分にファイルの内容を表示する処理を設定していたとすれば

ssh -i .ssh/no_password_key user@xxx.xxx.xxx.xxx > /path/to/file

などとしてログインの結果をファイルに書き込むだけで、簡単にファイルの転送が実現できます。

まとめ

他にも大小さまざまな問題に行きあたりましたが、忘れてしまったor書ききれないのでここまでとします。

たった1つのサイトを公開するにしても問題というのは尽きないものだと実感させられました。

今は基本的な情報だけでなく、ちょっと突っ込んだ内容でも検索で解決していけるので嬉しいですね。手がかりを残してくれた先達に感謝することしきりです。

現状ではひとまずの見切りを付けて公開していますが、より堅牢で負荷に強いサーバとなるよう、随時チューニングを行なっていこうと考えています。

最後に

作ったWebサービスについて少し書きます。

サイト名は「Radiosonde」

個人サイトや小規模な商業サイトなどプロモーションにあまりお金をかけられないサイトを主な対象とした、無料で出稿できる広告ネットワークサービスです。

既存のサービスで近いのは「あわせて読みたい」や「zenback」、各社提供のRSS 相互リンクサービスなどになるでしょうか。

広告としての体裁がある分、それらより若干積極的な性質になるのではと考えています。

現時点ではサービス本体のプロモーションに苦心するという本末転倒そのものの状況でありますが、もしよろしければ見ていただけると嬉しいです。

Permalink | 記事への反応(1) | 16:58

2012-08-31

■

iptables

パケットはログを記録せずに破棄

これどんだけコピーされてんだよ

Permalink | 記事への反応(0) | 01:51

2012-05-01

■これから プログラムを始めようと思ってる人へ

はじめに僕はプログラムが苦手です。

ほんとに苦手です。

やりたいことにどうしても必要だから仕方なく組んでるだけで

誰かがやってくれるんであれば絶対自分でプログラムしようなんて思いません。

寝る時もあーやってこうやったらこうなるとか考えてしまって睡眠不足になるし

自分で向いてないなとよく思います。

そもそもプログラムに一番最初に触れたのは

9年くらい前のことです。

はじめてのプログラムはperlでした。

仕事でプログラムを使う必要があったので仕方なくparlの本を買ってきてシコシコやってました。

おなじみの「 hello world 」とかをモニターに表示させたりしました。

ものすごく簡単に理解してもらうためにこういう感じ書いてるんでしょうけど

ぶっちゃけ、本やネットの通り学習していくと大半の人が前半で飽きるか挫折します。

だって、全く興味がないことをしてるんですものね。

最後に掲示板の作り方とか解説してる本とかありますけど

掲示板作ってどうするの？

一人で投稿して一人でレスするの？

とか思ってしまいます。

自分に興味のないことをやるのって絶対続かないし覚えないんですよね！

僕もperlを学習したあとJavaを覚えようかなと本を買ってきて一通りやってみたんですけど

書かれてあるとおりに電卓とか作っても全く興味ないし作りたくもなかったので

全然頭に入ってきませんでした。

しかし、これがエロい物だったらどうでしょう？

多分、すごい勢いでいろんなことを覚えていくと思います！（男ならｗ）

最近、そんなことをエロい WEBサービスを作りながら考えていました。

エロサービスを作っていると楽しいんです！

もうほんとに楽しくて、夢中になって自家発電・・いえ、プログラムしていました。

本屋に行ってプログラム関係の棚に

「楽しいエロサイトの作り方」

「はじめてのエロサイト」

「3日でできるエロ」

「エロで覚えるphp」

「phpでアダルトサイトを作ろう」

「できるエロサイト」

「エロとデータベースとチューニング」

こんな感じのタイトルの本があったら僕だったら間違いなく買いますｗ

そして、ものすごごいスピードで学習しますｗ

そんなわけでこれからプログラムを始めようと思っている人はエロい物をプログラムで作ってみてはいかがでしょうか？

そして、僕が今回作ったエロサービス（エロ動画検索兼ランキングサイト）

http://adultmovie-clip.com/ を作るのに必要だった知識について書いてみますので参考にしてみて下さい。

【今回作った物はどんなWEBサービスか？】

アダルト動画をキーワードで検索できるようにして一覧表示させ

お気に入りの動画はログインなしでブックマークできるようにする。

人気ブログランキングのように外部サイトを登録できるようにし逆アクセスランキング機能をつける。

【必要な知識】

■html

htmlの学習

http://www.tohoho-web.com/wwwbeg.htm

今回はhtml5でやってみた。

http://www.html5-memo.com/

http://webdesignrecipes.com/semantic-html5-with-outline/

■jQuery

http://higashizm.sakura.ne.jp/jquery_first/

http://webdesignrecipes.com/jquery-beginners-guide-for-web-design/

クリップ（ブックマーク）機能に利用

jquery.cookie.jsを使う。

http://helog.jp/javascript-2/jquery-javascript-2/1406/

動画 IDをcookieに保存しておく。

■php

phpの基礎からできるからおすすめでかつデータベースの勉強もできる

これを覚えればエロ検索サイト作れる。

http://php5.seesaa.net/

エロデータの作成はスクレイピング（エロ動画データの収集）により行う。

htmlSQLでさくっとエロデータを収集

http://bowz.info/1916

エロデータは色んな動画サイトから収集する。

例えば

http://example.com/?name=女優名

みたいに女優の名前を変更していくプログラムなんかを書いて

該当ページをhtmlSQLで取得する。

そこから必要なデータを抜き出す。

必要な最低限のデータ項目は

・動画タイトル

・動画 URL

・動画サムネイル URL

登録ユーザーログイン機能

http://tenderfeel.xsrv.jp/php/628/

画像のアップロード

http://plog.pya.jp/program/php/lesson11/sample01.html

■MySQL

phpのところで紹介したサイトと同じ人が作ってるっぽい。

非常に分かりやすいのでここで学習するとさらにいい。

http://mysqlweb.net/

■google アナリティクス

ランキング部に利用、APIがあるのでリファラーでサイトのアクセス数をカウント

http://kota.oue.me/php%E3%81%A7google-analytics-api%E3%82%92%E3%81%84%E3%81%98%E3%82%8B%E3%80%82/

https://developers.google.com/analytics/resources/articles/gdataCommonQueries?hl=ja

■負荷対策

APC インストール

http://www.doyouphp.jp/tips/tips_apc.shtml

mod_evasive

DOS対策

http://www.makizou.com/archives/1341

mod_expires

これがないとアダルトサイトは死ねる。

http://www.ahref.org/tech/server/apacche/389.html

mysql クエリーキャッシュの設定

http://thinkit.co.jp/free/article/0707/2/6/

■サーバー関係

centos

VPSを借りてこのサイトの通りやればWEBサーバーが構築できる。

できればメモリは1Gほしい。

無修正じゃなければKAGOYAのVPSでいいんではないでしょうか。

外部に公開しないのであればローカルでシコシコして下さい。

http://centossrv.com/

※レンタルサーバーを借りるのであればあまり必要じゃないかも

SSH ・・・クライアント(Windows)から Linux サーバーをリモート操作する

apache ・・・WEBサーバー ※チューニング関係はググりまくって下さい。

mysql ・・・データベース全文検索を利用する場合、一旦mysqlは削除してsennaをインストール。インストールする順序に気をつける http://anond.hatelabo.jp/20110804021353

Tripwire・・・ファイル改竄検知システム導入

chkrootkit ・・・rootkit検知ツール導入

Clam AntiVirus ・・・アンチウィルスソフト導入

iptables ・・・ファイアウォール構築

SSL ・・・通信の暗号化

■全文検索

senna

http://qwik.jp/tritonn/

■アフィリエイト広告

経験上、サーバー代にもならないと思うので今のところ掲載しません。

以上です。

今回このサービスを作ることになったきっかけは

3月くらいから心身ともに疲れきっていたのでリフレッシュする意味で作ってみました。

エロサービスは以前にも何度か作っていてその時は非常に楽しくてわくわくしながらプログラムしていたので

それを思い出して、じゃあ作ってみようという感じです。

エロいの作ってるとストレス解消になりますｗ

いろんな意味でｗ

初めてのプログラムがエログラムってなかなかないと思うし

学生が就職活動で、WEB系の会社で面接した時なんかにプログラムでどんなの作ったことある？と聞かれて

エロサイト！

とか言っちゃうと「こいつできる」と思われるかもしれませんので（あくまで僕がそう思うだけですｗ）

これからプログラムをやろうと思ってる人はエロサービス作りで覚えてみて下さいｗ

きっとあっという間にできるようになりますｗ

さて最後になりますがこんなの作ってみたんでよかったら利用してみて下さい。

アダルト動画クリップ

http://adultmovie-clip.com/

ではでは！よりエロライフを！

動画検索は前にも日記を書いてるので興味のある方は参考にどうぞ。

http://anond.hatelabo.jp/20110804021353

Permalink | 記事への反応(0) | 18:18

2012-03-18

■WEBサイトを発注してみた。

アニメやゲームのキャラクター情報をまとめてるサイトがないから作りたいなぁって

思ってたんだけどhtmlは初歩しか分からないしプログラミングもできないので構想するだけで作れなかった。

ゼロから 4ヶ月でWEBサービスをリリースした人の記事を見つけて｢自分にもできるかな！｣なんて思い挑戦してみたけど理解できず挫折･･･orz

WEBサービスを個人で作ってる人達が羨ましいです。

それでもWEBサイトを作りたかったので制作会社に発注してみようと思い立った。

ただのキャラクターのデータベースだけではつまらないのでコミュニティ要素なども付けて

ネットで見つけた制作会社に見積もってもらうと下記のようになった。

合計1,483,125円

以前、SNS｢ウェブカレ｣のサイト制作費が1千万円で安く仕上がった(潰れたけど･･･)という話があったから

なんとなく3～400万くらいかかるんじゃないかなと不安だったんだけど予想より安い見積もりだったので、

このくらいの金額ならなんとか出せる！ということで制作してもらうことにしました。

本当は何社かに見積もってもらって比較しようと思ったんだけど面倒だったのでそのまま制作をお願いすることにした。

（最初はもう少し高かったけど機能の簡略化とオープンソースのライブラリを使用してもらう事で費用を抑えてもらった。）

去年の10月の頭くらいから打ち合わせを始めて第1フェーズでワイヤーフレーム作成と仕様策定をして第2フェーズのhtml､システム開発に

移ったのは中旬だったかな？その段階で前金で4割の580,650円を支払いました。

制作会社には3回くらい打ち合せに行って、あとはメールでやり取りしていました。

当初は12月中にリリースを予定してたんだけど、なんだかんだで伸びてあらかた出来上がったのが2月の中旬くらい。

見積もりがちょっと甘かったんじゃないかなぁって思うｗ

ちなみに僕はヒッキー(どれくらいヒッキーかというと外出は3日に1回くらい)なので制作してもらっている間は

家でずっとサイトに必要なアニメのデータを収集していました。

↓作ったサイト

http://neoapo.com/

以下、サイトの設計を担当してくれた人の製作記。

サーバ設定

サーバはさくらのVPS 8Gを使用。CentOS5の64bit

設定した項目は以下のとおり

HDDが3つあって、普通に/var/wwwにコンテンツを入れていくとHDDが溢れそうだったので、容量の大きいものを使うように工夫したりなど。

メモリもそこそこ積んであるサーバなので、mysql、php、apcに多めにメモリを割り当てる設定をした。

データベース

本当はmyISMやInnoDB エンジンでLIKE "%word%"のようなクエリーを投げて十分なパフォーマンスが出ればいいんですけどね。

それはムリなので、全文検索エンジンとしてgroongaを使用。

groongaを使用するために先にインストールしたのはこんな感じ

mecab(日本語の形態素解析用)
ipa 辞書(形態素解析用の辞書)

この時点でいざ、groonga!と思ってgroongaをインストールしようとすると競合を起こして入らない。

epel、remiレポジトリからインストールしてあったmysqlと衝突してたのでyum remove "mysql*"で

一旦mysqlを消して、groongaレポジトリから mysqlとgroongaをインストール。

するとgroongaは入ったものの、今度はphp から使おうとしてもphp-mysql パッケージが入らない。

あちらを立てればこちらが立たぬ状態で本当にこまった。

どうしようもないので、やりたくないけどyum-downloadonlyを使ってパッケージに含まれる設定やら、soファイルなどを直接とってきて入れた。

mysql.so、mysqli.so、pdo_mysql.soを/usr/lib64/php/modules/にコピーしたり、設定をコピーしたり、少しずついじりながら、なんとか動いてくれた。

状態としてはmysqlとgroongaはgroongaレポジトリから、phpと本来php-mysql パッケージでインストールされるmysql.soは手動で置いたことになる。

シェルから直接mysqlにログインするときはgroongaレポジトリのやつを、php から mysqlを呼ぶときは手動で置いたmysql.soを使うことになっている。

ちょっと心境的にしんどい。別の方法があったかもしれないけど、調べても分からず結局1日くらいかかった。

アクセス カウンタ

アクセスは、サイト全体(トータル)、サイト全体(当日分)、各コンテンツ日別、各コンテンツ週間、各コンテンツトータルのアクセスをとるようにしています。

高速だとうわさのredisにアクセス回数を残しています。

検討した候補はmemcaced、apc、mysql、redis、fileあたりなんですが、

memcacheはサーバがリスタートするとデータが消える。

apcはapacheがリスタートするとデータが消える。

fileは候補にあがったものの、メンドウ、、どうせなら楽な既製品がいい。と思って候補から外しました。

残るはmysqlかredisだけど、redisが高速って聞いていたのでredisにしてみました。

最初全部redisに入れて、集計した結果をmysqlに入れるつもりでしたが、週間ランキングなどはINSERT INTO .. DUPLICATE ONを使って、

アクセスした週の月曜日00:00:00のタイムスタンプとコンテンツ IDをキーにしたレコードを作ればそのまま週間ランキングになるなー。と思ってmysqlを使っています。

コンテンツのトータルアクセス数もコンテンツのレコードにpvという項目をつくってUPDATE table SET pv=pv +1 WHERE id = ? のようにしました。

最初難しく考えていたけど、こうすることによって大分楽になったなーといった感じ。

まとめ

全文検索エンジンや対話検索、ここにこのリンクがあればなぁ。。という所に何とかしてリンクを作るのが本当に大変だった。

使い勝手を良くするために、ここにこの機能をなど、さくっと思いつくのは簡単でもそれを実現するために、あーでもない、こーでもないと

DB・プログラムとにらめっこしながら「あ！こうすればできる！でもそうすると今度はこっちが･･･」みたいなのがあったりでとても大変だった。

そんなに機能がないような感じがしても、このサイトだけでテーブルが20個あって、途中本当に死にそうだった。

Permalink | 記事への反応(18) | 12:26

2011-08-04

■独学のプログラムでエロ 動画 検索を作ってみた！

【お知らせ】2011/09/07

新しいエロ WEBサービス作りました。

http://d.hatena.ne.jp/uniqueweb/20110906/1315285545

プログラムは全く得意じゃないけれど最近よく見かけるようになったエロ動画検索を自分でも作ってみたくて頑張ってみました。

近年、インターネットの普及によりエロ動画が自宅で簡単に見れるという素晴らしい時代になりました。

自分が若い頃はインターネットなんてものはなくエロビデオが主流でドキドキしながらレンタルビデオ屋に行き、可愛い女の子がレジにいない隙を見計らってお兄さんにパッケージを伏せて空箱を渡しビデオを借りたものでした。

お兄さんにビデオの空箱を渡そうとした時に可愛い子がレジに戻ってきて焦って渡すのをやめてものすごく変な動きをしながらエロビコーナーに引き返していくなんてことも多々ありましたｗ

僕のお気に入りといえば「白石ひとみ」や「あいだもも」といった女優でよく借りてました。エロビを借りるということがものすごく恥ずかしい時代？年頃？でカモフラージュに普通のビデオと一緒に借りるということもしていました。それはそれは大変な思いでオナニーしてたんです！

しかも、ビデオデッキ自体が貴重な時代でリビングに一台しかないのが当たり前でした。

深夜家族が寝静まってからヘッドフォンとビデオを抱えリビングに行き暗がりの中でヘッドフォンをテレビに差し込んでビデオの再生ボタンを期待に胸をふくらませながら押したものです。いいシーンを何回も見るためにビデオを巻き戻すんですが、ビデオを巻き戻すガチャンガチャンという機械音で家族が起きてこないか？とかそれはそれはドキドキしながら見てました。一仕事終えたあとヘッドフォンを外したらジャックが外れていて大音量で喘ぎ声が響き渡っていたなんてこともありました。誰も起きてこなかったのは優しさなんでしょうか？ｗ

さて、大分前置きが長くなりましたがエロというものはものすごい技術発展させるものだと思います。エロのおかげで日本でビデオは普及しエロのおかげで日本でインターネットはものすごく普及したと言っていいと思います。自分もエロを通して技術の発展に貢献し自分自身のスキルアップになれば。という高い志を持ってこのサイトを制作しました。決して自らのオナニーライフの充実と性癖を充たすため作ったわけではありません・・・ｗ

※2011.08.07 利用中のサーバーに障害が発生しているようで現在サーバーに接続できない状態となっています・・・

※2011.08.07 23:53 復帰した模様です。

サイト名：ヌキネーター

サイト名の由来は抜きネタからきています。抜きネーター、ヌキネーターという感じですｗ

エロサイトの制作工程を日記にしてみたんで良かったら読んで下さい。そしてこのサイトを使って夜いろいろと励んでくれたら嬉しいです。

では制作日記を書いていきたいと思います。

サーバー選び

まず前提条件としてお金をほとんどかけたくない。アダルトサイトであるということから

サーバー選びからはいりました。

月の予算は5000円以内で考えていたのでけっこう探すのが大変でした。

日本でアダルトサイトを許可している所はかなり限られていてさらにやりたいことができるのは

専用サーバーかVPS しかないのでそうなると専用サーバーは予算オーバーなので

VPSで探すことになり検索しまくってはじめに見つけたVPSはKAGOYAのVPSだったのですがβ版で募集を締め切っていて泣く泣く諦めました。

KAGOYAはかなり評判がいいみたいなので使ってみたかった。

次に見つけたのが○○○VPS。海外サーバーで日本語サポートがあり転送量の制限なしディスク容量100G

月1300円程度で借りれるということで初期設定費用に5000円程度かかりましたが借りてみました。

結果、ここは最悪でした。

通信が頻繁に切れる
激重
借りて一ヶ月もしないうちにサービスの継続が困難になりそうなのでIPが変わるとかメールがくる
あまりに通信環境が悪すぎるとメールすると環境調査に協力してくれとメールがくる
時間をかけて沢山の項目を調べて返信するも全く返答がない。

あまりの酷さに1ヶ月で解約。

よく調べてみたら評判がものすごく悪い某VPSの再販らしいです。

お金と時間をドブに捨てました・・・

もう失敗したくないと思い今度は比較的有名な海外サーバー LINODE。

日本語サポートはないけれど抜群のサポートです。

iptablesの設定でどうしてもうまくいかなくて拙い英語でメールしてみたら

10分しないうちに返信がきました！

メールに書かれているとおりにコマンドを入力したらあっさり解決。

素晴らしい！はじめから LINODEにすればよかった。

担当のブライアンはなぜか分からないけどとてもフレンドリーで親切に感じましたｗ

サーバー設定

LINODEは複数のディストリビューションから好きなものを選択できるので

とりあえず、64bit版を選択。

サーバー設定はほんとに面倒ですね。

一番面倒だけど重要だということで

Tripwire

その他各種監視ツールの導入をしました。

ほんとに面倒でした。

データベース

はじめはmysqlにストレージエンジンgroongaを使おうと思ったのですが

初めに借りた最悪なVPSはOSが32bit版だったのでgroongaがのソースが見つからずなぜかと思っていたら

どこかで見つけた記事で32bit版ではgroongaの性能を発揮しきれないということで32bit版の提供をやめてしまったらしいと書いてたので

じゃあ、sennaにするかということで最悪VPSでsennaをインストール。

その後LINODEに変更したのでOSに64bit版を選択し念願のgroongaをインストール。

しかし、調べてみると

マルチセクション機能に対応していない（複数カラム一発で無駄なく全文検索したい）
boolean modeの挙動が若干おかしい

などが理由で、結局sennaに戻して2度手間に・・・

プログラムもそれに合わせてその都度書き換えたので2度手間どころか3度手間4度手間でした・・・

senna導入はrpmでさくっといけるので簡単ですが

依存関係で少しはまりました。

まず
# rpm -qa | grep -i mysql
でmysqlがインストールされてたら削除
perl-DBIが必要なのでインストール
# yum install perl-DBI
そして下記の順番でインストール
rpm -ivh mecab-0.98-tritonn.1.0.12a.x86_64.rpm
rpm -ivh mecab-ipadic-2.7.0.20070801-tritonn.1.0.12a.x86_64.rpm
rpm -ivh senna-1.1.4-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-shared-5.0.87-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-client-5.0.87-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-server-5.0.87-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-devel-5.0.87-tritonn.1.0.12a.x86_64.rpm
my.cnfの設定をして終了

で肝心の全文検索ですがデータ件数が5万件程度で少ないせいなのか、あいまい検索と比べてそれほど速さを実感できなかったです・・・

でもきっとすごく速くなったはず！

ちなみに「麻美ゆまおっぱい」で検索した場合、0.01 secで結果が返ってきました。

動画 データの作成

さて、動画データの作成ですがいくつかのエロサイト等制作記事でもあるようにスクレイピングということをします。

スクレイピングとはWEBサイトから特定の情報だけを取得することでネット上にあるサイトをクロールして必要なデータだけを拾ってデータを作るといった感じでしょうか。

スクレイピングのプログラム自体は以前にTidy 関数を使って為替データを10分おきに取得するような物を作ったことがあったのでそれほど時間はかからないかなと思ったのですがけっこう時間かかりました。

スクレイピングにはTidyとhtml SQL、それにPHP Simple HTML DOM Parserを使いました。

下記のサイトを参考にしました。

phpによるスクレイピング処理入門

SQL みたいな文法で HTML を抽出する PHP のライブラリ

htmlSQLよりアツい!?jQueryみたいにセレクタでHTMLをparse(解析)する「PHP Simple HTML DOM Parser」

３つの中で抜群に使えるのはPHP Simple HTML DOM Parserだったんですが

ループ処理させるとメモリがすごいことになって今回のようなスクレイピングに向いてないみたいで

結局、html SQLとTidyの両方を使ってスクレイピングしました。

両方ともPHP Simple HTML DOM Parserに比べるとうまくデータの取得ができないことが多く残念な感じなんですが他に選択肢がないので・・・

使える順に並べると

PHP Simple HTML DOM Parser

html SQL

Tidy

といった感じかもしれません。

おおまかにデータを取得して正規表現で特定データを抜き出しました。

広告との連携

広告にはDMM アフィリエイトを利用しています。

http://affiliate.dmm.com/link.html

利用可能な物はパッケージ画像、サンプル画像（縮小）と書かれていたのでそれに従い画像を利用。

注記に※ユーザーレビューは引用いただけません。とだけ書かれているのでそれ以外は引用ありと判断して説明文とタイトルなどを利用

女優データとジャンルデータ、DVD データ、を紐付けたデータベースを作成し検索ワードに応じて検索結果に関連する商品を表示させるようにしました。

現状、売り上げ0で意味があるのか分かりませんけどｗ

負荷対策とか転送量とかDOS攻撃対策とか

エロサイトということで多少はチューニングとか設定とかしないとまずいかもと思い色々調べて設定しました。

やったこと

iptablesで攻撃してきそうな国からのアクセスを遮断
mod_evasiveの導入で一定時間での連続的なアクセスを遮断
httpd.confの設定 KeepAlive等

KeepAlive On

MaxKeepAliveRequests 60

KeepAliveTimeout 3

&lt;IfModule prefork.c>
StartServers       7
MinSpareServers    5
MaxSpareServers   10
ServerLimit       30
MaxClients        30
MaxRequestsPerChild  4000
&lt;/IfModule>

mod_expiresでキャッシュ設定

様子見ということで2日間で設定してみました。

mysql クエリーキャッシュの設定

query_cache_limit=1M

query_cache_min_res_unit=4k

query_cache_size=16M

query_cache_type=1

APCの導入

とりあえずこんなところを設定してみましたが、爆発的なアクセスがあるわけでもないので有効なのか今のところ分かりません(-_-;)

Apache Benchでテストはしてみましたけど問題はない感じですが実際にチューニングができているか分かりません。

サイト デザイン

プログラマーとして有名なゆうすけさんのサイトとgoogleを参考にしました。

シンプルで使いやすいようにしようと思いこのデザインにしました。

3カラムの中央可変となっています。

クロスブラウザはIE7、firefox3、chromeで行いました。

可変ものって作ったことなかったんですがけっこう面倒なんですね。

サイト 機能

ブックマーク機能とメニューの折りたたみ機能、検索結果の表示方法切替を作りました。

まず、ブックマーク機能ですがログインなしで気に入った動画をブックマークできるようにしました。

ブックマークに追加した動画はブックマークページで確認できるようにしました。

cookie 機能を利用したらいけると思い色々調べてjquery.cookie.jsを利用。

保存したクッキー情報を呼び出してphpに渡して処理し指定要素にブックマーク一覧をloadメソッドで表示させるという感じです。

$(function(){
$("#youso").load("xxx.php");
});

メニューの折りたたみ機能は人気AV女優やAV女優別、人気タグなどをそのまま表示させるとずらっと長くなって邪魔だったのでつけました。

これには同じくjquery.cookie.jsを利用しました。

参考サイト：http://blog.caraldo.net/2009/03/newjqqookiemenu.php

検索結果の表示方法切替にはZoomer Galleryを利用しました。

参考URL：http://phpjavascriptroom.com/?t=ajax&p=jquery_plugin_zoom#a_zoomergallery

検索結果ページで表示される

[ここの画像]
××× の検索結果
44件中 1～10件目を表示

ここの画像の部分をクリックするとgoogle イメージ検索みたいに一覧でイメージ表示できるようにしてみました。

動画表示ページ

基本的に動画の埋め込みを許可しているサイトのみプレイヤー表示をしそれ以外は画像を表示し動画データへリンクするようにしました。

埋め込み部分はあらかじめそれぞれのサイトに対応したプレーヤー部分のコードを記述しVIDEOIDの部分に置き換えるような形にしました。

XVIDEOSを例にすると

XVIDEOSの場合かならず動画のurlがhttp://www.xvideos.com/videoXXXXXX/のようになりますのでXXXXXXの部分を

VIDEOID部分に置き換えるようにプログラムを組みました、

埋め込み部のソース

>||<object width="510" height="400" classid="clsid:d27cdb6e-ae6d-11cf-96b8-444553540000" codebase="http://fpdownload.macromedia.com/pub/shockwave/cabs/flash/swflash.cab#version=8,0,0,0" ><param name="quality" value="high" /><param name="bgcolor" value="#000000" /><param name="allowScriptAccess" value="always" /><param name="movie" value="http://static.xvideos.com/swf/flv_player_site_v4.swf" /><param name="allowFullScreen" value="true" /><param name="flashvars" value="id_video=VIDEOID" /><embed src="http://static.xvideos.com/swf/flv_player_site_v4.swf" allowscriptaccess="always" width="510" height="400" menu="false" quality="high" bgcolor="#000000" allowfullscreen="true" flashvars="id_video=VIDEOID" type="application/x-shockwave-flash" pluginspage="http://www.macromedia.com/go/getflashplayer" /></object>
||<

その他の動画サイトもURLの一部分のデータを使っているので同様の処理をしました。

まとめ

実際の作業は２、３週間ですが色々調べる時間が多くて制作に2ヶ月くらいかかりました。

自分でエロ動画検索を作ってみて有名プログラマーさん達がいかに優秀なのか思い知らされました。

皆さん思いついて数日で作ってしまうのでびっくりです。

全くWEBの知識がない人で４、５ヶ月ですごいの作っちゃう人とかもいるみたいですし世の中広いな～と思います。

しかし、エロサイト作りで勉強になりますね～

大分、色んな知識を得ることができました。

これからプラグラムを勉強しようと思う人はぜひエロサイトから入ってみて下さい。

きっと楽しいですよ！

そんなこんなで？頑張って作ってみたエロ動画検索、良かったら使ってみて下さい。

これで少しは技術の発展に役立てたでしょうか？ｗ

アダルト動画検索ヌキネーター

P.S エロサイトを作っていてはじめは楽しくて興奮しながら作ってたのですが最後の方はエロい物を見ても全く反応しなくなりましたｗ

　　不能ではないんですけど・・・今現在も性欲が著しく減退しております・・・

　　そしてスーパーpre 記法がうまういかないのはなぜ？はてな匿名ダイアリー初投稿で全然分からない・・・

　　そしてそしてプログラマーさんとかデザイナーさんとかエロい人とかお気軽にお声をおかけ下さい。

【お知らせ】2011/09/07

新しいエロ WEBサービス作りました。

http://d.hatena.ne.jp/uniqueweb/20110906/1315285545

Permalink | 記事への反応(9) | 02:13

2010-04-03

■

簡単で完璧な阻止率100%のスパム対策の実装について

ttp://wota.jp/ac/?date=20100401#p01

ということで、ユーザが、トップページのコンテンツに「おまじない」を入れるだけで

中国の全ホストを定義することなく
自分の iptables もよごすことなく
保守コストも0で常に最新データになり
経路のルータレベルでパケットをカット
という夢のようなシステムを構築したので、紹介します。

私のアイディアに賛同し、国を挙げてその実現・保守・運用に尽力してくれている中国政府に深く感謝したい。

Permalink | 記事への反応(0) | 20:14

2009-09-03

■http://anond.hatelabo.jp/20090816230506

今度からはiptablesで弾くようにしたから、http以外でもアクセスできなくしたぞ！

206.135.108.5

190.196.23.170

208.94.173.168

213.194.149.20

86.121.126.226

193.134.218.28

193.135.56.227

72.249.191.226

次は、この辺を試すか。

mod_dosdetector

mod_evasive

http://www.cafechantant.com/trac/wiki/apache_module_5_dos_prevention

それとも、特定のURLの組み合わせにアクセスしてきたIPをiptablesのブラックリストに入れるスクリプトでも書くか。

Permalink | 記事への反応(1) | 23:38

「iptables」を含む日記

■IPv6をよくわかってもないのにあーだこーだ言うやつが多すぎる

■Kubernetesがいっこうに理解できない

■情弱IT企業への怒りと愚痴

■サーバ初心者がWebサービスを公開するうえで考えたこと

SSHとファイヤーウォールの設定

Webアプリの動作が重い

サーバから送信したメールが迷惑メールと判定される

KVSの変更

mySQLのレプリケーションが止まる

サーバ監視にmonitを使用

Webアプリの秘匿

SSHでログのバックアップ

まとめ

最後に

■これからプログラムを始めようと思ってる人へ

■WEBサイトを発注してみた。

サーバ設定

まとめ

■独学のプログラムでエロ動画検索を作ってみた！

サーバー選び

サーバー設定

動画データの作成

広告との連携

負荷対策とか転送量とかDOS攻撃対策とか

動画表示ページ

まとめ

■情弱 IT 企業への怒りと愚痴

Web アプリの動作が重い

Web アプリの秘匿