  |
はてなキーワード: スクレイピングとは
こんばんは。27歳のニートです。
ひょんなことからエロサイトを作ったら結構デカいサイトになったのでそのことについて書きたいと思います。
巨乳動画ストリーム
http://kyonyudouga.com/
さすがにニート生活にも飽き、何かやりたいなと考えた時にアフィリエイトを思いつく。
実はアフィリエイトについては以前から知っていて実際にやったこともありました。
しかしその時は全く稼げず、またその時は他にやることもあった為すぐにやめてしまいました。
腰を据えてやったらどうなるだろうと思い、再度アフィリエイトを始めることにしました。
どんなサイトを作ろうかと考えた時に真っ先思いついたのがエロサイトでした。
アダルトサイトはアクセスを集める手法としてアクセストレードと呼ばれる
他のアダルトサイトと相互にアクセスを送り合う手法が主流です。
そのため他サイトの画像リンクが増え、とても使いにくいものになっています。
画面をずっとスクロールさせないとコンテンツに辿り着けなかったり、ひどいところは騙しリンクもあります。
当初は私もアクセストレードメインで集客をしており、サイトは画像リンクだらけ。
ごちゃごちゃしていてコンテンツの位置もわかりにくいというお世辞にも良いサイトとは言えませんでした。
そしてアクセストレードというのは結局のところ自サイトのアクセス数により送れるアクセス数に限界があるため、ある程度のところでアクセス数が頭打ちになります。
実際のところ私のサイトも1日3万PV程度で頭打ちになりました。
そのためやる気を無くし半年程放置して2ちゃんまとめブログを始めました。
そこで２ちゃんまとめブログ運営で得たノウハウをエロサイトの方で実行したことろこれが上手くいきました。
これは一般サイトでは当たり前のことなのですがエロサイトは大手サイトでさえ非常にわかりにくい構成のサイトが多いです。
一方で２ちゃんまとめブログは大手サイトほど他サイトへのリンクも少なくわかりやすい構成になっていました。
なので思い切って画像リンク等を全て外し、わかりやすいデザインに変更しました。
②多更新にする
そこで私もエロサイトに多更新を取り入れ1日に1～3回更新だったのを１日24回、1時間に１回更新というスタイルに切り替えました。
③表示速度の改善
エロサイトはとにかく重たいところが多いです。
それは①で書いた通り画像リンクが異様に多いからというのもあるのですが動画共有サイトを利用したエロサイトは誰でも簡単に作れるため
その辺りがかなり適当なところが多いのです。
CSSspriteの使用やCSS,JSファイルのminify等ページの表示速度に関する施策を行っていないところがほとんどです。
無料ブログで運営しているエロサイトはスマートフォンページをしっかり作っていないところがほとんどです。
ほぼ広告ページとしてしか使用しておらず、コンテンツと紛らわしい広告を載せていたり、
コンテンツがあっても共有サイトのプレーヤーのサイズをスマホの画面サイズに合わせていないなど
そこで私はスマートフォンページのテンプレもしっかり作り込み最適化させました。
これらを実行した結果、ページ数が増えるに従い検索からのアクセスが右肩上がりで増え
PCページ40万PV/日、スマホページ20万PV/日というサイトに成長しました。
アクセスが増えた後いくつかの動画配信サイトとサンプル配信提携をすることが出来ました。
これには凄く驚きました。こんなことがあるのかと。
SEO施策はググれば出て来るような基本的なことしかやっていません。
SEO業者も利用していませんし、今のところこのサイトしか持っていないので自演リンクも一切やっていません。
SEOについてもエロサイトは基本すら出来ていないところが多いのでそれだけでライバルと差をつけることが出来ます。
ちなみに私のサイトはビッグキーワードでアクセスを集めているのではなく(一応「巨乳」で4～7位くらいですがそのワードでの流入は少ないです)
ロングテールってやつですね。
ロングテールは検索順位の変動にビクビクせずに済むので良いです。
やはり無料ブログでは出来る事に限界があり、エロサイトとはいえ良いサイトにしたいという思いがあったからです。
wordpressでの運営経験もなくサーバー関係のスキルもないので移転にはかなり苦労しました。
我ながら良いサイトに仕上がったことと移転を期に今までの足跡を残そうと日記を書きました。
jwplayer
Sidr(スマホ)
001 Prime Strategy Translate Accelerator
Contact Form 7
Count Per Day
Exec-PHP
Head Cleaner
Infinite Scroll
Multi Device Switcher
Quick Comments
Search Everything
Search Regex
WP-PageNavi
WP-PostRatings
WP-PostViews
多分これが一番気になるところだと思います。
アフィリエイトという観点からもスマホページの重要性がわかりますね。
あとcookieを利用したブックマーク機能も実装したいです。
エロだけじゃなくて一般サイトやWEBサービスも作りたいと色々模索しております。
どうしようもないクズニートでも頑張ったらこれぐらいのことは出来ました。
ニートでも頑張れば出来るんだ！と思って頂けたら幸いです。
-----------------------------------------
03:59追記
たくさんのブックマークありがとうございます！
とても嬉しいです。
確かに見やすくて使いやすいな。
けどリンク切れ報告フォームはなくていいの？実際他のサイトでそれが有効に使われてるのかはよくわからないが…
カテゴリ分けがシチュエーション別とかもあるといいなーと思ったけどこれ以上多くすると大変かな。あまり項目を多くするとまた見にくくなるかもしれないし。
リンク切れ報告フォームは以前は置いていたのですがあんまり報告してくれないんですよねｗ
自動でリンク切れをチェックするシステムを導入する予定なのでそちらで行います。
シチュエーション別もFC2の時はタグを利用してリストを作っていたのですが
FC2はタグをエクスポート出来ないのでwordpressではなくしちゃいました。
出来ないことはないのですが手作業でタグを登録し直さなければならないので…
それだけのスキルを身につけたらどこかに就職できそうだｗ
WordPressテーマは何を使っているんだろう？
-----------------------------------------
25日02:13追記
えーと下の方でステマだとおっしゃっている方がおりますがそのサイトの製作者と私は別人です。
私はRubyなんて使えません。
こういう事を書くと余計に怪しいと思われてしまうのでしょうけども。
ステマというのは運営者や製作者、その関係者が”利用者のフリをして”モノやサービスを薦める行為の事です。
運営者や製作者自身が「こういうのやってるんですけどどうですか？作ったんですけどどうですか？」と紹介するのはステルスではないただの宣伝です。
上でも書きましたが我ながら良いサイトに仕上がったので見てもらいたいなと思ったのです。
見てもらって感想を聞きたいなと。
エロ動画サイトってアクセスが多くてもコメントもほとんど付かないし感想を聞く機会がほとんどないんですよ。
でもFC2ブログだとさすがに恥ずかしいのでね。
wordpressならまぁ見せても恥ずかしくはないんじゃないかと思いまして。
この日記はたくさんブックマークされましたけどサイトの方はほとんどブックマーク増えてません。
結局この日記を書いた主な理由はただの自己満足と自己顕示欲ですね。
仕事で３ヶ月ほどRuby on Railsに触れる機会があったので、色々と調べているうちにRailsでエロサイトを作るのが流行っているというのを知りました。
そこで、自分でも作ってみようかと思いました。
２番煎じなのは重々承知ですが、とにかく作ってみることが重要なのです。
今回のエントリでは、個人的にエロサイトを作成して公開するまで自分でやった方法を紹介します。
※公開後の状況なども書き込みします。
CuteClipper : http://cuteclipper.night-generations.info/
既にあるものなら新しく作る必要はないわけで、、、今回は自分の使いたい機能を作ってみました。
Xvideosの動画サイトの多くは、動画を選択すると他のサイト（ブログみたいなやつ）に飛ばされてしまい、
そのサイトで、動画のある場所を探さないといけないことが多くてめんどくさい。
自分で作るのならh300さんのように分かりやすいサイトにしたいと思いました。
たくさんの動画を観て廻るものの、本当にいいと思う動画は大体３本くらいです。（自分の場合）
なので、３本まで動画をストックする機能があるといいなと思いました。
本番環境のherokuはドメインの設定も簡単で助かりました。
rails newしてdb作成して、基本的なアプリを作成しました。
動画情報の解析のため、RailsのGemのnokogiriを使用しました。
nokogiriはhtmlなどの解析をして、情報を取得することができます。
Ruby - Nokogiriでスクレイピング - Qiita [キータ]
//localStrage.setItem("key","value");
localStorage.setItem("test","テスト");
//localStrage.getItem("key");
localStorage.getItem("test"); //"テスト"
レイアウトにはあまり時間を掛けず、bootstrapを利用しました。
twitter bootstrap railsを使ったら職が見つかり彼女も出来て背も3センチ伸びました。 - ppworks blog
タグクラウドはacts-as-taggable-onで簡単に実装できます。
ということで、ここまでで出来上がったものを本番環境にアップします。
herokuはgitでpushをするだけで簡単に本番環境にデプロイ出来ます。
とにかく動かすという目標のためにはherokuはベストチョイスです。
スピードに関しては、海外サーバという点が難点ですが、今回はjavascriptをメインにしたことで、それほど問題はありませんでした。
解析の仕方を覚えるためにもGoogle Analyticsを使用しました。
公開の準備として以下の作業をしました。
ただ、公開することを最優先にしたので、しっかり作りこんではいないです。
公開します。
今の投稿方法だとエラーが発生しやすいので修正してからじゃないとなぁ
後は、並び替えるだけなんですが、まずはカウントが貯まるまではソートも何もないので・・・
ストック回数だけじゃ物足りないので、評価をつけれるようにしたいです。
でも、たくさんの人に使ってもらえるものを作るというのは、とても大変ですね。
今回、CuteClipperを作りながら、他のWebアプリを観てきました。
そういうアプリの中で、自分のアプリを埋もれさせない努力を続けていかないといけないですね。
がんばります。というやる気がでました。
ども。
以前、はてな匿名ダイアリーで日記を書いた者です。
→【Ruby on Rails勉強】 xvideosまとめサイトっておいしいの？
上の記事でも書いていますが、Railsはおろか、Rubyを初めて触った人間がゼロからWebサービスをリリースするために利用しているGemを公開したいと思います。
| サイト名 | onalife(オナライフ) |
|---|---|
| URL | http://www.onalife.com |
| 説明 | xvideos動画の共有・ユーザー参加型のまとめサイト |
developmentモードで起動する際のデータベースはsqlite3を使うようにしています。
コーディング→サーバー起動→動作確認→コーディング…という流れになりますが、サーバーを起動する際に、
$ rails s
と実行するだけでサーバーが起動できるため大変手軽です。
サーバー起動後はブラウザで http://localhost:3000/ でアクセスすれば開発用のサイトを確認できます。
productionモード（本番環境）で利用するのはMySQLを使うようにしています。
理由は他のWebサイトで推奨されていたため。
sqliteの場合だと、単純にDBのデータをファイルとして扱っており、同時に複数アクセスがあった際、最初のアクセス中にファイルがロックされてしまう仕様との記事をどこかで見たため、MySQLを使うようにしています。
developmentとproductionで動作を分けるには、 config/database.ymlで分けることができます。
development:
database: db/development.sqlite3
pool: 5
timeout: 5000
production:
encoding: utf8
pool: 5
timeout: 5000
よくWebサービスのページ下にある [1][2]･･･[X]といったリンクが表示されている、あれです。
http://memo.yomukaku.net/entries/238
https://github.com/amatsuda/kaminari
Unicorn + Nginx + Rails で構築しています。
効果の違いなどはGoogle先生に質問すると大量に返答がありますのでこちらでは割愛。
ONALIFE(オナライフ)では、xvideosの動画URLや画像パスを抜き出す為に、こちらのGemを使っています。
http://himaratsu.hatenablog.com/entry/2013/04/27/002249
自作するとなるとかなり労力使いますから…こういったところは極力他の人が作ってくれたものを流用してもバチはあたらんでしょう。
https://github.com/mbleigh/acts-as-taggable-on
通常だと管理画面も rails g xxx とかやって controller 作って、 view 作って…とかやらないといけませんが、こちらのGemを使うと一瞬で終わります。
素晴らしい！！
当サイトでは、投稿していただいたxvideosの動画が不適切な場合などに消去する必要があるため、どうしても管理者向けの画面が欲しかったのでこちらを使いました。
データベースを直接操作して delete とかできちゃいます。
http://www.func09.com/wordpress/archives/1136
自分のサイトのアクセス傾向を解析して、どうすればアクセスが伸ばせるか、ということを考察するのに必要不可欠な機能です。
通常、Google Analytics にサイトを登録すると、Javascript のコードが生成されるので、それをWebサービスに貼り付けるだけで完了ですが、こちらのGemを使うと、Google Analytics で生成されるID番号のみを登録するだけで自動的に挿入されるようになります。
まだONALIFE(オナライフ)は発展途上のサービスです。
機能を拡張していくうえで、先人たちのありがたいGemをどんどんこれからも活用していければ、と思っています。
みなさんもこれは便利！というお勧めのGemがあれば是非教えて頂ければと思います。
以上、ONALIFE(オナライフ)で利用しているGem一覧の紹介でした。
http://anond.hatelabo.jp/20101206224349
http://anond.hatelabo.jp/20101203150748
http://anond.hatelabo.jp/20120914214121
まだまだ出演アーティストの予習が全然できていないので、プログラミング初心者の私が頑張ってFujiRock出演アーティストのYouTube動画をまとめて再生できるWebアプリケーションを作成しました。
まだまだ至らない部分もありますが、フジロック行く人も行かない人も楽しんでいただければ光栄です。
■使ったもの
Twitter Bootstrap
など
■参考にしたもの
・ドットインストール http://dotinstall.com/
上記で挙げた使ったもののほとんどを管理人の百式さんがわかりやすく解説してくれ非常に助かりました。
個人的には気になる言語の学習の入り口としてドットインストールを利用して、さらに詳しく知りたいときは書籍やGoogle先生で補うという流れで学習を進めています。
・よくわかる○○の教科書シリーズ http://www.amazon.co.jp/%E3%82%88%E3%81%8F%E3%82%8F%E3%81%8B%E3%82%8BPHP%E3%81%AE%E6%95%99%E7%A7%91%E6%9B%B8-%E6%95%99%E7%A7%91%E6%9B%B8%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA-ebook/dp/B007UYYU32/ref=dp_kinw_strp_1
自分は「よくわかるPHPの教科書」を読んで、実際に手を動かしてサンプルプログラムを作成していました。
・Webサービスのつくり方 ――「新しい」を生み出すための33のエッセイ http://www.amazon.co.jp/Web%E3%82%B5%E3%83%BC%E3%83%93%E3%82%B9%E3%81%AE%E3%81%A4%E3%81%8F%E3%82%8A%E6%96%B9-%E2%80%95%E2%80%95%E3%80%8C%E6%96%B0%E3%81%97%E3%81%84%E3%80%8D%E3%82%92%E7%94%9F%E3%81%BF%E5%87%BA%E3%81%99%E3%81%9F%E3%82%81%E3%81%AE33%E3%81%AE%E3%82%A8%E3%83%83%E3%82%BB%E3%82%A4-Software-Design-plus-ebook/dp/B00DUSKOFA/ref=sr_1_1?s=digital-text&ie=UTF8&qid=1373890964&sr=1-1&keywords=web%E3%82%B5%E3%83%BC%E3%83%93%E3%82%B9%E3%81%AE%E3%81%A4%E3%81%8F%E3%82%8A%E6%96%B9
私がWebアプリケーションを作りたいと思うようになったきっかけとなった本です。
どのようにWeb開発を進めていくのか和田さんがわかりやすく解説してくれています。
■FujiTubeの内容
・FujiRockの公式サイトからアーティスト名をスクレイピングしてきてDBに格納する。
↓
・YouTubeAPIを利用してDBに格納されているアーティスト名でサムネイルを取得。
↓
■今後について
今後はまた新しいWebアプリケーションを作成したいと思っているので、Webアプリケーションを作りたいと思っている方はFujiTubenのContactページから
気軽にご連絡ください。喜んで手伝います。
どっかで作ってほしいみたいなの見かけたので作りました。
※以下、開発系の話
主な使用gem) New Relic, Nokogiri, twitter bootstrap
参考)
当たり前ですが、有料会員向け動画,コンテンツマーケットの動画などは見れません。
もうすぐ30歳になるのに、昨年末で職場がなくなりハローワークに行っても求人が無いので
PHP ruby Nginx WordPress Bootstrap を使ってWebサービスを作りました。
今までバックエンドしか作ったことがなく、フロントエンドをやりたかった。
趣味でやっていて目標の物を作ったら満足し、継続してやらない。
なので今まで覚えてた事を忘れて一からやり直す事が多かった。
とゆう勢いで…
Bootswatch
Mechanize
スクレイピングしなきゃ！
いつもスクレイピングはSimple HTML DOM Parser
http://t-taira.hatenablog.com/entry/20120429/1335658939
「なにこれRubyすごいこんな数行で」
RubyでスクレイピングしたデータをMYSQLに保存までは完成。
次はサイトをどうしようかと考え…
cakePHPかな…
WordPressに決定。
一番時間がかかった…
デザインは昔からまったく出来なかったので Bootstrap に。
http://webdesignrecipes.com/first-time-wordpress-origin-theme/
ここを見ながらテーマに落としていくのは簡単でした。
WordPress初めてなのですごく参考になりました。
http://kray.jp/blog/wordpress-tuning/
http://tech.aainc.co.jp/archives/3022
Webサービスを作って公開するのが、こんなに楽しいとは思わなかった。
次はCakePHPとかフレームワークを覚えて新しいサービスを作りたい。
ruby on railsもいいな
でも、早く再就職したいです…
世界的ですもんね
乗るしかない
最近エロサイト作ってみた。みたいなエントリがすごい多いですよね。こんなエントリがあるくらい『最近流行の「エロサイト作ってみました」をいったん整理する http://anond.hatelabo.jp/20130124061507 』。
僕が知ってるだけで５個くらいそんなエントリを見た気がします。エロサイト作りのビッグウェーブが来ている！！エロサイトなら僕にも作れそう！そこで、このエロサイトビッグウェーブに乗るために僕も作ってみました！この手のエントリに食傷ぎみの方はすいません。。
『xvideos将軍』
名前はシンプルでインパクトのあるものにしようと思い、時代物が好きなので『xvideos大臣』『xvideos関白』『xvideos将軍』の３つで悩んだのですが、この中で１番偉いのは将軍だろうということで、将軍にしました(今考えたら関白のほうが偉い気がしてきました)。
まあとにかく、これで僕もアフィリエイトで年収１５０万円を稼いで社畜を脱出してイケダハヤト師のように生きれるはずです！やったね！年収150万円で僕らは自由に生きていくんだよ！
上記のまとめに登場するエロサイトは技術的に高度なことをやっていたり、かなり綺麗なUIだったりします。それはそれで素晴らしいのですが、はたしてそんなものがこの真冬に下半身裸な状態で見るエロサイトに必要でしょうか？
『可愛い子・好きなAV女優で抜ける』これがエロサイトに１番大切なことだと僕は思います。
xvideos将軍は「エロサイトは好きなAV女優の動画で抜ければ良い」という設計思想になっております。なのでデザインはお世辞にも綺麗と言えないですが、AV女優名からは結構な数の動画を探せるようになっています(例えば僕の大好きな鮎川なおちゃんだと２２本の動画が登録されています)。動画は毎日５０本づつぐらい追加されるようになっていますので、ぜひみなさん好きなAV女優で楽しんで下さい。
xvideos将軍がオシャレエロサイト原理主義に警鐘を鳴らせれば、と考えております。
技術的には特に大したことをしてないのですが、誰かの参考になるかもと思い一応のせておきます。
特筆すべきところもないですが、普通にrailsを使って作りました。現在、動画数は１万件近く入ってるのですが、サーバーが貧弱なせいかそれぐらい入れると結構クエリによっては重くなるので、New Relicを使って重いところを調べて、キャッシュしたり遅延ロードしたりするようにしています。New Relicは初めて使ったのですがherokuの場合本当にすぐ簡単に使い始められて素晴らしかったです。スマホ対応はjpmobileをつかってスマホからのアクセスの場合は別のviewを読み込みようにしていますが、、なんかbootstrapがうまくできなくて今はひどいことになっております。
サーバーはアダルトが大丈夫な日本のサーバーがよくわからかったので、とりあえず海外のは大丈夫なんだよね？ということでherokuを使いました。もしherokuはアダルト駄目だった場合すぐに移転するので教えてください。GMOのクラウドもアダルト大丈夫らしいのですが、一瞬使ってみて、コンソールとかが非常に使いづらかったので、お試し期間でやめました。
・DB mysql Xeround Cloud Database
無料プランですが、これは貧弱すぎてやばいです。お金がなくて上位プランに変更できないですが、xvideos将軍を出した今となってはすぐにアフィリエイトで秒速で１億円稼ぐ予定なので変更できるはずです。
・スクレイピング nokogiri
スクレイピングには敬愛するbabyshark http://d.hatena.ne.jp/inouetakuya/20121117/1353145846 でも使われているnokogiriを使っています。とにかく女優名にこだわって動画を保存したかったので、まず始めにAV女優名を全部スクレイピングして保存しました。現在３５００人のAV女優が保存されています。AV女優ってたくさんいるんですね。ありがとうございます。
その後女優名がのっている動画サイトを定期的にスクレイピングするようにしています。まだまだ動画が保存されていないAV女優もたくさんいるので、その辺は今後の課題です。あとリンク切れをおこしている動画も多少あるので、それを定期的に削除するようなコードも今書き中です。
デザインはbootstrapのデフォルトなんですが、ずるいデザインテクニック https://speakerdeck.com/ken_c_lo/zurui-design に登場するズルい背景を使いました。背景をちょっと替えるだけで、かなり高級感が出るのでオススメです!背景はこちらのサイトから探せます(http://subtlepatterns.com/)
広告は全然かわからないので、とりあえず一番有名そうでAPIもあるDMMのを貼ってみました。動画の下には同じ女優が出ている作品をAPIを叩いてレコメンドするようにしてます。エロサイトは儲からないってなんかで読んだので、結構広告はベタベタ貼ってみて、herokuにちょっと課金してる分くらい稼げたらなーと思ってます。
・ユーザーが動画やタグ、出演女優名を登録できたりするようにしたら面白いのかなーと思っているのでそういった機能をつけたいです。「みんなで作るエロサイト」みたいな感じです。
・bootstrapがツンデレ過ぎて結構萎えてるスマホ対応をなんとかしたいです。
・あと、スーパーフリーエージェントになって秒速で１億円稼ぐのも最近流行ってるみたいなので、そっちのビッグウェーブにも乗りたいところですがうまくいってません。
宣伝乙とか言われてしまうと思いますが、その通りなので言い返せません。でもせっかく作ったから多くの人に使ってもらえたら嬉しいじゃないですか！
xvideos将軍をよろしくお願いします。 http://www.xvideos-av.com/
まったくの素人がNginx＋Bootstrap＋WordPressでWebサービスを作成しました。
オシャレエロサイト「h300」をリリースして、10万PV/日を捌くためにやったこと
http://d.hatena.ne.jp/inouetakuya/20120410/1334058296
http://anond.hatelabo.jp/20120914214121
http://anond.hatelabo.jp/20120930171125
--------------------------------------------------------------------------------------------------------
35歳 今は事務系の仕事をしてます。たまに運転。限りなくパートに近い労働条件ですが、
仕事がないよりはマシですので、続けているわけです。
前（5年ぐらい前）からWebサービスみたいなものを自分自身で作ることができたら楽しいだろうなぁと。
TwitterとかFacebookとか数回利用したことはあるけど、詳しいことはさっぱり。
朝6：00から夜18:00まで車を走らせてゴミ回収をしていた者です。
パッカー車って知ってますか。街でよく見かけるゴミ収集車のことです。
ドラッグストアとか回るんですよ。休憩時間は15分ぐらいなんですよ。一日。馬車馬のように働いていました。
そのパッカー車で物損事故を起こしてしまい、会社に居続けることはできなくなり仕事をやめました。
エロはもともと好きだったのですが、車を運転する以外の技術は持っていません。
何か手に技術を身につけたいと考えるようになりました。ただ３０歳も過ぎたおっさんにあまり時間はないので、
資源の集中を意識し時代の流れはパソコンだということで、始めたわけです。
はじめはHTML,CSSの本で基本的なホームページ制作を学ぶ。
-----------------------------------------------------------
Bootstrap
-----------------------------------------------------------
Webサービスを作るにはプログラミングが必要なことは知っていたけど、初めてみて暗号のように思える。
プログラミングの中でもPHPは簡単なのでしょうか？最近の流れからすると、Rubyなのでしょうけど、
PHPは自分の実現したいサービスが組み立てやすい気がします。
http://www.amazon.co.jp/gp/product/toc/479733245X/
foreachやif,forなどの基本的な使い方を身につける。
プログラムは結局小さいプログラムの集まりだとどこかに書いてあった。ことを思い出す。
PHPはベタのプログラムだどセキュリティ的に弱いということでPEARを使うように。
ほかのプログラミング言語は知りませんが、PHPerというらしい。
プログラムに慣れてくるとPEARライブラリなどのクラスに抵抗がなくなってきた。
それでも、オブジェクト指向という考え方を体で理解するまで時間がかかる。
----------------------------------------------------------
http://php.xenophy.com/index.html
http://kumicyou.sakura.ne.jp/php/index.html
http://www.amazon.co.jp/gp/product/toc/479733245X/
http://www.amazon.co.jp/gp/product/toc/4797367571/
----------------------------------------------------------
----------------------------------------------------------
Simple HTML DOMParser メモリーオーバー？が発生するので頻繁には使えない。
正規表現って便利ですよね。（preg_match("/ab/", $string);など）
Webサイトのどんな情報でも切り取ったり、貼りつけることができるので。
Web上で特定の情報を好きなように集めてきて、加工することができるスクレイピングを発見。
PHPでスクレイピングするにはどうしたらいいか考えるようになり、かなり時間を使いました。
該当URLのサイトマップからリンクページ（aタグ）をすべて取得する。
ページの中にあるエロ動画URLやサムネイル画像などをファイルへ出力。
$fp = fopen("/var/www/html/sample.txt", "a"); fwrite($fp, $title."\n"); fclose($fp); }
出力したファイルの中で重複データなどないように一つにまとめて使えるように加工する。
あらかじめCronで時間を指定してファイルの情報をデータベースへ投入。
これから欲しい情報は、著作権に気をつけながらスクレイピングして集めてくると楽しいなぁと思ってます。
自分でホームページを公開するためにはサーバーが必要なことは以前から知っていたのですが、具体的には手探り状態からで
サーバはレンタルサーバとか専用サーバなどいろいろあるのですね。
全部自分で管理しないといけないため、めんどくさい気がした。結局VPSサーバに。
スピードアップのためにやったこと。データベースとアプリケーションサーバを分ける。
データベース最適化、query_cache_sizeを設定したりなど。
http://anond.hatelabo.jp/20101203150748
ウェブ開発者のための、1時間でできるLAMP環境構築術（CentOS編）
http://tanaka.sakura.ad.jp/2011/05/centos-linux-apache-php-perl-mysql-lamp.html
定番のPHP MYSQL Apacheから調べていくとNginxというWebサーバが高速だという
記事が多いので、使ってみることに。
NginxだけではPHPは動かない。php-fpmをインストール。
------------------------------------------------------------------------------------
http://d.hatena.ne.jp/yoshi-ken/20120205
http://kray.jp/blog/wordpress-tuning/
http://server-setting.info/centos/apache-nginx-2-php-fpm-install.html
http://hara19.jp/archives/5817
http://tech.aainc.co.jp/archives/3022
------------------------------------------------------------------------------------
以上の記事でNginxのproxyを設定することができ、とても参考になりました。
どうにか既存のサイトをWordPressで作れないかと考えていたら、
WordPressは固定ページとブログ用のページを分けるテンプレート構造だと知る。
WordPressはindex.phpファイル一枚あれば動くらしく、ページを表示する優先順位があるらしい。
メインページ front-page.php → home.php → index.php
そのため、fromt-page.phpに自分で作ったSmartyをそのままコピペして,なんとか既存のサイトとWordPressをミックスさせることに。
詳しくは以下の本が参考になりました。
http://www.amazon.co.jp/gp/product/toc/479736758X/
WordPress奥が深いです。
途方にくれていたところ、CSSフレームワークのTwitter Bootstrapを知る。
HTMLに少し手を加えるだけで今っぽいデザインにできる。その分、余った時間をweb構築に集中することができる。
http://panpanwatch.net/douga.php
http://panpanwatch.net/newdmm.php
DMM動画の当日配信が開始されたコンテンツをDMMのapiから収集。
http://panpanwatch.net/?page_id=5382
ネット上のエロ更新情報を収集して表示。メインはWordPressで構築。
--------------------------------------------------------------------
常日頃からネットのエロにはお世話になっていたので、なんか恩返しではないですけど、
Webサービス作るまで、ずっとパソコンの前ばかりにいたので、
こんにちは。みなさまからのブクマとコメントを多数いただき、ありがとうございます。
いろいろご意見あると思いますが、大げさな嘘などは書いていないです。
PHPを理解するのも、こちらの本を一冊やれば、それなりに理解できるようになりました。
http://www.amazon.co.jp/gp/product/toc/479733245X/
次のサービスを作成するときは本格的なアプリケーションやソーシャルゲームなどやりたいなぁと
野望だけは持っています。ですけど、ずっとこのサイトだけに集中してきたので、今はパソコンから少しだけ距離を置くつもりです。
webサービス作ってみました。
ばあちゃんの介護が必要になり高校中退し、家にいる時間ばっかりになって就職もできず手に職もないのでなんかしなきゃと思い始めたwebの勉強だけど、何を作ればいいとかアイデアなんか全然なくて成長してるのかわからず焦ってた時に下の記事を見た。
探してみると他にも色々あって、
【2012超まとめ】確実にWEBサービスを作りたい人へ【前編】
勉強するのはいいけどこのままじゃ一向に先に進めない気がしてとにかくなんか作ってみようと。
上記の通り学歴無しスキル無しの超初心者です。htmlとcssは理解できる程度。
増田あんてな
コンセプト（？）
はてな匿名ダイアリーの中で興味のあるものだけてっとりばやく読めないかなー
■0.大まかな流れ
サーバーとドメイン所得→はてな匿名ダイアリーから人気記事絞込み→Google AJAX Feed APIをつかって人気記事のFeedを出力→Bootstrapで見やすくデザイン→アップロード&公開
■1.まずはサーバーとドメイン所得（途中で投げ出さないように自分を追い込むため先に所得）
■2.はてな匿名ダイアリーから人気記事絞込み
ここではてな匿名ダイアリーのURLで絞り込んでから左下の方にあるRSSアイコン右クリックでFeedのURLが所得できます。
■3.Google AJAX Feed APIをつかって人気記事のFeedを出力
2.の項目で絞り込んだ人気記事のfeedを出力します。
特に意味は無いけどBootstrapデフォルトデザインのサービスが多いのでMetro風にしました。（なんか見た目軽そうだったので）
Bootstrap
http://twitter.github.com/bootstrap/
BootMetro(BootstrapTheme)
■注意したこと
コードの勉強とは違い実際に作ってみると色々実戦的（？）な経験が積めた。
例えばはてブuser数での切替ひとつとっても、切替ポイントをいくつ作るのか、何user以上で切り替えるのかなど使いやすさに対して深く考えるようになったり。
※ちなみに増田あんてなでは１日に更新される記事数を考慮して3user,30user,100user,1,000userで切り替えています。
これは、、
3user以上→毎日チェックしたいが意味のない記事などを省きたいユーザー向け。
30user以上→一日1～5記事くらいの更新頻度。毎日～数日に一回見る人がちょうど良いくらいの一覧。
100user以上→他人が知ってる記事だけじゃ物足りない、ちょっと差を付けたい人向け。
1,000user以上→知らなきゃ遅れる（？）レベルの有名記事だけチェックしたい人向け。
としてます。（全て目安です）
最初は、5user,10user,50user以上,1000userで考えてたんですが、下の理由により微妙に数を変更しました。
5user以上→「はてなブックマークは3user以上がブックマークすると注目の記事に載る」＝「はてブ人気記事の可能性」なのでリアルタイムに人気記事が見れない（僅かな時間差ですが）。
10user以上→更新される記事数的に3user（毎日見る）と30user（2～3日に一回見る）の間なのでターゲットがどっちつかずになる中途半端な数字（必要のないコンテンツになる可能性が）。
http://ozpa-h4.com/2012/11/20/jquery-window-scroll-position-fixed/
最初アドセンスでやろうと思って調べてみたらどうやら規約違反のようなので。
http://d.hatena.ne.jp/Hamachiya2/20120820/adsense_sidewinder
各ページを作ってるうちにサイドバー部分とか共通のコンテンツの更新が面倒になってきたのでphpで一括更新出来るように。便利。
http://benri-tools.net/contents.php?code=kyotu_menu
年末から作り始めて1月2日に完成＆公開。年越しなど未作業日もあり作業日数は3～4日間くらい。
最初2日の日にすぐ記事を公開しようと考えたが少しでも多くの人に見てもらえるよう年明けは避けた。
仕事始めの人が多い4日に公開するつもりだったが金土日は閲覧数が少ないだろうから待機。
そうこうしてる内に
http://anond.hatelabo.jp/20130104184115
webサービス系の記事が新しく投稿&１,000はてブ超え。
ひとつひとつ勉強するのもいいけどひとつのものを完成→公開させる事によって一連の流れが把握でき課題も見つかる。今後勉強する際にも理解しやすくなった。
僕が見た作ってみた系の記事は、Feedやスクレイピングとかを使ったwebサービスが多かったのでほとんど知識のない僕は同じ様なものを作ってみただけだけど、自分用にコード書き換えるときとか実用的な勉強ができ、最初から一人で一から作ろうとしてた時より、結果成長できた。最初はコピペでもいいからとにかく作るべきな気がする。
作品というには程遠いがひとつのものを完成させたことによってモチベーションが上がった。
自分が使いたいものを作るってゆうのは大前提なんだろうけどその上で他の人が使いやすいってゆう客観的な対極の目線も必要なんだなと実感。
はてぶ数でのタブ切替をページ内でやったり各月間ランキングとか後々勉強しながら追加して行こうと思ってます。
まだ全然最終型ではないですが、とりあえず見れるようにはなったので公開しました。
切込隊長のまとめが的確。
"smartnews"なるアプリがコンテンツ泥棒と批判された件で
SmartNewsは、ニュースのタイトルがタップされたときに、アプリ内Webブラウザでニュースサイトを開きます。その後、スマートフォンの接続環境上の理由でニュースサイトの読み込みに時間がかかる場合などのために、「Smartモード」としてキャッシュを表示できるようにしております。
公式サイトの記事では「キャッシュ」という言葉でぼかされているが、ではこの「キャッシュ」とは何か。
SmartNewsのSmartモードでは、圏外の際にも記事の内容を読むことが出来る。ネットワークにも繋がっていない、スタンドアロンの状態で記事が読めるということは、記事の全文は、各ニュースサイトのサーバでも、ゴクロのキャッシュサーバでもなく、手許にあるスマートフォンのデータベースに格納されていることになる。
SmartNewsとは、つまり以下のような仕組みで出来ている。
つまり、各ニュースサイトの記事を自サーバから配信しているだけではなく、各ユーザのスマートフォンの中に挿入しているのである。これは新聞をポストに投函するのに近い。著作権的にはアウトな気がするが（詳しくないので詳しい人に解説を譲る）、ゴクロ社の言い分では「きちんと元サイトに誘導する導線を作ってますから、許してね、ね」という感じか。
著作権とユーザの利益というのは、本質的にぶつかりやすい。全ての小説家が書いた小説を全部無料で読めれば、ユーザにとっては利益があるが、作者の収益はなくなってしまう。その綱引きのバランス調整を行うツールの一つが著作権なわけだけれど、少なくともwebにおける著作権の線引きって、多分にパワーゲームで決まることが多い。
Youtubeが出てきた時、「こんな著作権無視の無法サイトはすぐに潰れる」という声が多く上がった。だがYoutubeは莫大な訴訟を抱えつつ、多くの企業と折衝しながらルールを確立し、未だなお多くの違法性を抱えながら現在は社会的な認知を得ている。Googleのページキャッシュなども同様。
ゴクロ社も、今後同じように、訴訟を起こされながら、各社と粘り強く折衝をし、線を引いていくという段階を辿ることになる。マネタイズは更にその先の話。ただSmartNewsが侵害している著作権の対象は、CGMであるYoutubeや、Botが収集し続けるGoogleのページキャッシュなどとは異なり、限定されている。故に訴訟の件数は抑えられるし、ミッションの難易度も低いのではないかと思う。ただしそれらは華やかな成功とは程遠い、汗臭いドブさらいのようなフェーズであって、一介のベンチャー企業にとってはしんどい道のりになるかもしれない。
サービスの企画会議なんかをやってると、この手の著作権侵害型サービスって思いつく人は多いのだが、大体「それやばいでしょ」と一笑に付されて没になる。要は「そんなうんこにまみれるような仕事はやりたくないよね」ということだ。
ただ「やりたくない」と書くのはかっこつけすぎて、普通の会社や普通の人だと「出来ない」というのが正確だ。なぜなら、訴訟を起こされ、Twitterや2chでは犯罪者と罵倒され、無料アプリなので金は入ってこない、こういう仕事はしんどすぎるからだ。この手の仕事は「それ儲かりそうっすね」的な軽いノリで成し遂げられるものではなくて、なんともしてもこのミッションをやり遂げるという信念や欲望がないと、途中で折れてサービス自体が終わりを迎える。
なのでこのフェーズを乗り越えるには、CEOやプロデューサーの覚悟と使命感、体力と気力が必要になる。ここから先は小器用なだけでは乗り越えられない。ゴクロはもう肥溜めに足を突っ込んでしまったわけで、ここから死にものぐるいで戦って線を引き、コンテンツ事業者とユーザに新しい価値を提供できるようになってほしいと思う。
例に漏れず件のエントリーに影響を受けまして、Ruby on Rails を利用したサービスを作ってみました。
一つもアクセスがないため宣伝ついでに利用したgemや作成する際に参照したサイトを載せますので、「Rails初心者っす」とか、自分と同じく「そもそもプログラミングとか知らねっす」という方はちょっとしたナレッジとしてご活用くださいまっせ。開発ガンガンやってる方には価値ある情報たぶんないよー。
最初はMac標準のエディタで書いてたけど、どこかの記事を読んでからは「Sublime Text 2 (http://www.sublimetext.com/)」に乗り換えました。すごく…便利です…。ターミナルはMac標準のアレです。オススメがあったら教えてください。
完成までにやったこと、実装するために参考にしたサイトを並べます。
RubyとRailsの環境を構築する。(http://www.oiax.jp/rails/rails3/install.html)
簡単にウェブアプリの土台を作れるScaffoldという機能を使って遊んでみる。(http://www.techscore.com/tech/Ruby/Rails/quick-start/Rails4/4-1)
行き詰まったので本を買う。（たのしいRuby、Ruby on Rails 3 アプリケーションプログラミング、Rails 3 レシピブック）（※ 同タイミングで買ったわけではないです。簡単にウェブアプリを作るだけなら「Ruby on Rails 3 アプリケーションプログラミング」とインターネットに接続できる環境があれば十分だと思います。ていうか他の二冊はまだ全部読んでない。）
ひと通り分かった気になり、作りたいものを作る作業へ。
$ rails new sicolip
色んなgemがあって迷う。
・Device(https://github.com/plataformatec/devise) ・omniAuth(https://github.com/intridea/omniauth)
でも、
・Deviceはメールアドレスでの認証 ・omniAuthはtwitter/fb認証
個人的に
・エロサイトにメアドを登録したくない ・エロサイトの認証がtwitter/fbってなんか怖い
ということで、自前で実装。has_secure_password(gem:bcrypt-ruby) を利用する。
サイトをクリップ（URLを投稿）したときに該当するサイトのタイトルとか内容を取得する処理。
Nokogiri::HTML(open(target_url))
こんな感じでNokogiriオブジェクトを取得して、
return doc.xpath('//title').text
こんな感じでタイトルを取得する。こちらでxpathほかのお勉強。
ログインしている人にしかクリップ（URLの投稿）をさせたくない。そんなときに使える認可処理。
クリップしたサイトの情報をタグで管理したい。タグ機能の実装を手抜きできるのがこのgem。
・https://github.com/mbleigh/acts-as-taggable-on
・http://prototype-beta.com/tags/acts-as-taggable-on
上記を参考に。
クリップしたサイトの情報をタイトルや内容、またはタグから検索したい。
その処理を手抜きさせてくれるのがsunspotさん。サーバにデプロイしたあとに
$ rake sunspot:solr:start
・http://railscasts.com/episodes/278-search-with-sunspot?language=ja&view=asciicast
・http://outoftime.github.com/sunspot/docs/
will_pagenateっていうgemもあるんだけど、kaminariが最近の流行りらしい。
・https://github.com/richardiux/sunspot_with_kaminari
ということで、はてなブックマークみたいなブックマークレットを作る。
・http://d.hatena.ne.jp/ky2009/20090108/1231405893
herokuとやらが設定周りの色々めんどくさいことを肩代わりしてくれるという噂。しかも無料。
→ sunspotが有料オプションでした。やめる。
AWSというAmazonのサービスが設定によっては無料らしい。
→ ほんとに無料だった。AWS内のElastic Beanstalkというサービスが、herokuみたいにめんどくさいことを色々やってくれる。
・http://blog.serverworks.co.jp/tech/2012/06/28/aws-elastic-beanstalk/
・http://qiita.com/items/811cd9b614d8d300628e
そんなこんなで出来上がったものは陳腐なものかもしれませんが、まがいなりにもひとつのサービスができました。ここ1カ月だらーっとRubyとRailsをさわってみて感じたことは、ウェブアプリを作るのって特別なことじゃないんだなーっていう。どこかで誰かも言ってましたけど、開発している最中はパズルを解いてる感覚でした。ウェブに転がるピースを探して、フレームワークにあてはめていくようなそんな感覚。
おしまい！
目標としてはとりあえず新しそうなことをやってみるということで作りました。
作ったサイトは２つ。
「えっちなハイ！ムービー」（通常のアダルト動画サイト）
「えっちなハイ！ムービー in tumblr」（えっちなハイ！ムービーのtumblr bot）
えっちなハイ！ムービー in tumblrはbot作りに挑戦してみたのとtumblrでの動画の配信を試してみました。
といったところです。
自分が知らなかっただけかもしれませんが、
比較的目新しかったのはtwitterのbootstrapで、
これでcss周りがだいぶ楽になりました。
前にも使っていて割とすぐに実装できそうだったので作りました。
絞り込みで使っています。
フレームワークのcodeigniterは特に本を買ったりするわけでもなく
手順に何通りもバリエーションがあるというわけではないので
なんとかなりました。
今回は仕事などで得た知識や経験のまとめとして一人でどこまで作れそうかやってみました。
今後もまた思いついたものをちょくちょく作ってみたいと思います。
「みんなの役に立つサイトを作って、一発大きく儲けたい！」と、
思い続けて、早10年(泣)。。
とりあえず、エロサイトを作るのってすごく勉強なる？楽しい？らしいので、
誰にも利用されない「へぼツール」作るより必ず誰かの為になるなぁと考え、
できるだけ、誰でもわかるように、詳細を書いていますので、
これを見るだけで、ノンプログラマーの方でも、
※記事は毎日10件更新予定です。つまり毎日このサイトだけ見に行けば困らないってことです。
http://anond.hatelabo.jp/20101219185436
http://anond.hatelabo.jp/20101203150748
http://d.hatena.ne.jp/inouetakuya/20120331/1333192327
http://anond.hatelabo.jp/20120318122617
http://anond.hatelabo.jp/20120914214121
http://anond.hatelabo.jp/20110804021353
http://anond.hatelabo.jp/20120926165533
saasesのVPS OsukiniサーバーLT メモリ512MB 月450円！ アダルトOK
CentOS 64bitを選択。（メモリを食うだけなので、特に用がなければ、32bitにしよう！）
※どこにも書いてないけど、2週間以内なら取り消しできます。
☆契約時、webmin&mysqlの選択は必須にしておいたほうがいいです。私は間違えて、webmin無しにしてしまった。。
後から、再インストール(初期化)すれば、再選択することができるようです。。
申し込み後、たったの30分で接続できるようになりました。
をバリュードメインで取得。280円！安い。
/sbin/chkconfig auditd off
/sbin/chkconfig autofs off
/sbin/chkconfig avahi-daemon off
/sbin/chkconfig firstboot off
/sbin/chkconfig kudzu off
/sbin/chkconfig lvm2-monitor off
/sbin/chkconfig mcstrans off
/sbin/chkconfig mdmonitor off
/sbin/chkconfig messagebus off
/sbin/chkconfig netfs off
/sbin/chkconfig nfslock off
/sbin/chkconfig portmap off
/sbin/chkconfig rawdevices off
/sbin/chkconfig restorecond off
/sbin/chkconfig smartd off
/sbin/chkconfig xfs off
※190MBが150MBぐらいになります。
http://support.saases.jp/index.php?action=artikel&cat=63&id=312&artlang=ja
# vi /etc/httpd/conf/httpd.conf
NameVirtualHost *:80 ←これを探して、コメントアウトを削除。その下に以下を設定。
DocumentRoot "/home/ユーザーＩＤ/iphone-xvideos.info"
ServerName iphone-xvideos.info
<Directory "/home/ユーザーＩＤ/iphone-xvideos.info">
order deny,allow
Options FollowSymLinks
# /etc/rc.d/init.d/httpd restart
「httpd: Could not reliably determine the server's fully qualified domain name, using...」
その時はこちらで解決⇒http://d.hatena.ne.jp/uriyuri/20100511/1273575287
で、このままだとIPアドレスでもアクセスできてしまうので、以下もやっておく。
http://fedorasrv.com/memo/log/29.shtml
mkdir /home/ユーザーＩＤ/iphone-xvideos.info
chown ユーザーＩＤ /home/ユーザーＩＤ/iphone-xvideos.info
/home/ユーザーＩＤ/以下はpermission errorとなりアクセスできないので、権限を変える。←いいのかな？
http://blog.verygoodtown.com/2010/02/centos-apc-install-how-to/
↑これを実行した際に、「error: expected specifier-qualifier-list before 'pcre'」なんちゃらっていうエラーがでたので、以下を実行。
再度実行して、無事インストールできた。
【APCの設定】
extension=apc.so
[APC]
apc.enabled = 1
/ ←検索
n ←次の検索文字へ
]] ←最後尾に移動
:q! ←保存せずに終了
--------------------------
# /etc/rc.d/init.d/httpd restart
vi /home/ユーザーＩＤ/iphone-xvideos.info/index.php
phpinfo();
?>
http://tanaka.sakura.ad.jp/2011/05/centos-linux-apache-php-perl-mysql-lamp.html
↑これを参考に適当に変更してみた
MaxClients 256 ←これを40に
MaxRequestsPerChild 4000 ←これを1000
このサーバは、512MBしかないからもっと小さくしたほうがいいのかも。。
# ab -c 10 -n 100 http://iphone-xvideos.info/
【変更前】
Requests per second: 40.01 [#/sec] (mean)
【変更後】
Requests per second: 137.57 [#/sec] (mean) ←1発目
Requests per second: 552.79 [#/sec] (mean) ←2発目以降(キャッシュ後)
最新版をやってみるとエラーが発生。
「サーバーの PHP バージョンは 5.1.6 ですが WordPress 3.4.2 は 5.2.4 以上のみでご利用になれます。」
3.1系を選択する。。
http://ja.wordpress.org/releases/
※↑結局、後日phpとmysqlのバージョンアップをやりました。
ソースをUP
DBを作る
ホームの「新規データベースを作成する」と書いてある所の下にある、
を修正する。
【プラグイン】
WPtouch ←/wp-content/plugins/wptouch/themes/core/core-header.php をちょこっと変更すればiphoneでxvideo再生ができる。
○人気記事一覧
http://the-fool.me/wordpress/plugins/wordpress-popular-posts.html
設定⇒投稿設定⇒Atom 投稿プロトコル＆XML-RPCにチェック
キャッシュが効いていて問題ないことを確認。
○wikipediaから取ってきた女優名をカテゴリテーブル(wp_terms)に突っ込む。（5,260人でした。）
↑これは月に2回更新。cronで動かすことにした。
○googleブログ検索(24時間以内のもの)に女優名をつっこんで、
(とりあえず、引退した人の動画は少ないだろうと考え、現役2,762人分のxvideosを取得してみた。処理時間8時間、192件取得できた。)
http://www.kaasan.info/archives/1457
動画のURLを取得したら、削除されていないか調べて、OKだったら投稿。
http://www.multiburst.net/sometime-php/2009/04/newpost-with-wordpress-xmlrpc-api/
↑ここらへんを参考に
http://pear.php.net/package/PEAR/download
↑pear自体はここにあるので、「XML」フォルダのみをUP。
だいたい、30分で10記事取得できることがわかったので、
【cron設定】
$ crontab -e
00 04 * * * /bin/sh /home/ユーザーID/iphone-xvideos.info/insert_X.sh >/dev/null 2>&1
00 03 1,15 * * /bin/sh /home/ユーザーID/iphone-xvideos.info/insert_XXX.sh >/dev/null 2>&1
http://miya0.dyndns.org/pc/settei/crontab.html
----------------------------------------------------
↑旬な情報が取れないが、とりあえず。。
前日のterm_idを記録して、
次の日はそれ以降のデータを取得する。
----------------------------------------------------
☆jqueryでお気に入り作成。cookieを使う。（PCのみ？）
☆好きな女優を登録しておけば、記事の更新情報をメールで通知。
☆デザイン修正。。
実際、なんとなく勉強になった気もするし、楽しく作業できました。
まったくアクセス無くても、自分用にとても良いものができたと思っているので満足です。
もし繋がりにくくなったりしたら、
別のレンサバに変更しますー。
随時こちらに追記していきますね。
最後まで読んで頂いてありがとうございます。
サイトオープンから10日ほど過ぎたので状況をお知らせします。
はてぶは全くだめだった。。
（日々増加しているが、検索エンジンからくるようになってもまだこんだけ。。）
メモリは問題なし。512MB中ピークでも300MBぐらいしか使ってない。
# chmod 744 /usr/local/bin/memrep.sh
※本日、テスト的にDMMの広告を張ってみました。。←すぐ消した。。
また、後日お知らせしますね。
1か月経ったので。。
ページビュー2500/日
自動更新なのに、きっちりアクセスは日々増えて続けています。エロは強い。
アクセス少ないので、負荷は全く問題なし。
Swapも全く使ってない。
前編はこちら
http://anond.hatelabo.jp/20120926165407
会員情報や文章などのコンテンツを保存しておくデータべース、ＭｙＳＱＬを調べます。
データベースは他にもPostgreSQLやSQLiteなどが有名ですが、やはり王道を勉強します。
MySQLはCakePHPや、ステップ４のWordPress他、よく使いますので把握しておきましょう。
今はまだ関係ありませんが、余裕があればこれも読むといいです。
操作はコマンドラインを覚えていく方向で、始めはブラウザで操作できるphpMyAdminを使ってＯＫです。
技術調査はこの位にして、これからは実際にWebサイトを作っていきます。
ここまで来ると何となく、Webサイトがどんな仕組みで動いてるかが分かってくるので、
ステップ０でイメージした作りたいサイトがどんな技術で実現出来るか調べます。
TwitterやGoogle、Yahoo、AmazonなどのAPIを使ってサテライトサイトを作っても良いと思います。
が、高度な事をするとはまりやすいので、ある程度やって無理だったらあきらめて次回にまわしましょう。
まずは何か一つ完成させる事のほうが大切です。
それから開発効率ＵＰのため、Chromeにプラグインを入れましょう。
説明はそれぞれのリンク先を見て下さい。
https://chrome.google.com/webstore/detail/ggfgijbpiheegefliciemofobhmofgce
Firebug Lite for Google Chrome
https://chrome.google.com/webstore/detail/bmagokdooijbeehmkpknfglimnifench
View Selection Source
https://chrome.google.com/webstore/detail/fbhgckgfljgjkkfngcoeajbgndkeoaaj
Pendule
https://chrome.google.com/webstore/detail/gbkffbkamcejhkcaocmkdeiiccpmjfdi
BuiltWith Technology Profiler
https://chrome.google.com/webstore/detail/dapjbgnjinbpoindlpdmhochffioedbn
iPSim
https://chrome.google.com/webstore/detail/gcligifbhamdimemnemmlkffkpmflehh
Color Picker
https://chrome.google.com/webstore/detail/ohcpnigalekghcmgcdcenkpelffpdolg
CSS Tester
https://chrome.google.com/webstore/detail/pjncppaiejjkcjlcgegcbmhgkflhenfp
MeasureIt
https://chrome.google.com/webstore/detail/pokhcahijjfkdccinalifdifljglhclm
あとはFireFoxにはFireBug。デバッグの定番らしいです。
https://addons.mozilla.org/ja/firefox/addon/firebug/
それから、空いた時間に無料のプログラミング動画サイト「ドットインストール」を見ておくと
ここまでの知識が定着すると思います。
ステップ７で作りたいサイトがイメージ出来てきたら、ドメインを取りましょう。
サーバーがさくらの場合はドメインもさくらで取得すると楽ですが、もっと安いところもあります。
希望するドメインが空いているか調べて取得、空いていなければ他のドメインを考えます。
http://www.sakura.ne.jp/domain/
定番の.com、.net、.orgは誰が見ても親しみがあるし安いので、できればこの３種類のどれかにしたい所ですが、
一般的な言葉はほぼ埋まっているので、その場合は.jp等にしても良いでしょう。
日本語ドメイン(www.日本語.netみたいな)は流行っていないですが、
自分のサイト名が「○○○.com」のような名前の場合は一緒に取得して、アルファベットのドメインにリダイレクトしましょう。
（ChromeユーザーがURL欄で検索する時、「○○○.com」のように後ろに.xxxが付いているとそのURLに直接アクセスしてしまい、
僕はバリュードメインで取得して、サーバーはさくらのレンタルサーバーにしました。
その際の親切な設定方法の解説はこちら。
VALUE DOMAIN で取得したドメインをさくらのレンタルサーバで使う
http://nekohacks.com/wordpress/domain/value-domain/
どんなサイトで、どんな機能があって、どんなページがあるかノートに書き出して行きます。
サイトの基本的なレイアウトをCSSで組みながら、デザインのイメージもしておきましょう。
ここではデザインはまだやりません。
先にデザインを作っても、プログラムを進めていく過程で変更がでたりする為です。
（でもあんまり後回しにしても、見た目がチープなせいでモチベーションが下がったりするので、次のステップでやります）
あと、ここで気をつけたいのは、あくまでメインとなる機能の開発を優先することです。
外堀から埋めていくとそこでモチベーションが尽きてしまったり、
メインの機能を実装してみたら外堀の修正が発生してしまったりするためです。
始めると分からない事がどんどん出てくると思うので、本を読み返したりGoogle先生で検索しながら進めて行きます。
なかなか進まなくて検索８割、コーディング２割くらいの進め方になると思いますが、それでＯＫです。
いじっているだけでモチベーションを使い切ってしまったりするので危険です。
ＣＧソフトは色々ありますが、おすすめはフォトショ(Photoshop)です。
WebサイトのデザインはFireworksなども有名ですが、学習コストがかかるので、
Webサイトにもそれ以外にも使えて一番つぶしが効くフォトショップでOKです。
今年からクラウド契約が始まり、今なら１ヶ月８０００円、年間契約なら１ヶ月５０００円で
http://www.adobe.com/jp/products/creativecloud.html
お勧めの本はこれ
一から全部自分で作らなくても、素材サイトからダウンロードして加工するなどして手間を省きます。
ＰＣ・スマホ・携帯(ガラケー)全部に対応するのは大変なので、
初めはそのサービスを最も使うだろうと思われるどれか１つに絞ります。
ＰＣ用サイトならスマホでも最低限アクセスはできるし、携帯は縮小傾向なので優先度低、
スマホは画面サイズがまちまちでタブレット端末が目下発展中、AndroidはブラウザがたくさんあるがChromeに統一されていくかも、
対応する際はＣＳＳを切り替えてレスポンシブレイアウトにするのがお勧めです。
その他、困ったらTwitter社が公開しているブートストラップを使うのもお勧めです。
ブートストラップはcssのフレームワークで、簡単にシャレ乙なデザインに仕上がります。
超便利！Twitter BootstrapでさくさくWeb開発
どうしても自分でイケてるデザインが出来ないと思ったら、友だちに頼んだり、ＳＮＳのコミュで募集したり、
デザイン系の大学や専門学校の掲示板にビラを貼らせてもらったりしましょう。制作費が出せればランサーズで募ってもいいかも。
Lancers - 仕事をフリーランスに発注できるクラウドソーシングサービス
僕はたまたまフォトショップの使用経験があったので、ここにかけた時間は30時間ではなく5時間程です(トータル275時間で開発)。
後編はこちら
はじめに僕はプログラムが苦手です。
ほんとに苦手です。
誰かがやってくれるんであれば絶対自分でプログラムしようなんて思いません。
寝る時もあーやってこうやったらこうなるとか考えてしまって睡眠不足になるし
9年くらい前のことです。
仕事でプログラムを使う必要があったので仕方なくparlの本を買ってきてシコシコやってました。
おなじみの「 hello world 」とかをモニターに表示させたりしました。
ものすごく簡単に理解してもらうためにこういう感じ書いてるんでしょうけど
ぶっちゃけ、本やネットの通り学習していくと大半の人が前半で飽きるか挫折します。
掲示板作ってどうするの？
自分に興味のないことをやるのって絶対続かないし覚えないんですよね！
僕もperlを学習したあとJavaを覚えようかなと本を買ってきて一通りやってみたんですけど
書かれてあるとおりに電卓とか作っても全く興味ないし作りたくもなかったので
全然頭に入ってきませんでした。
多分、すごい勢いでいろんなことを覚えていくと思います！（男ならｗ）
最近、そんなことをエロいWEBサービスを作りながら考えていました。
もうほんとに楽しくて、夢中になって自家発電・・いえ、プログラムしていました。
「はじめてのエロサイト」
「3日でできるエロ」
「できるエロサイト」
こんな感じのタイトルの本があったら僕だったら間違いなく買いますｗ
そんなわけでこれからプログラムを始めようと思っている人はエロい物をプログラムで作ってみてはいかがでしょうか？
そして、僕が今回作ったエロサービス（エロ動画検索兼ランキングサイト）
http://adultmovie-clip.com/ を作るのに必要だった知識について書いてみますので参考にしてみて下さい。
【今回作った物はどんなWEBサービスか？】
お気に入りの動画はログインなしでブックマークできるようにする。
人気ブログランキングのように外部サイトを登録できるようにし逆アクセスランキング機能をつける。
【必要な知識】
■html
http://www.tohoho-web.com/wwwbeg.htm
今回はhtml5でやってみた。
http://webdesignrecipes.com/semantic-html5-with-outline/
http://higashizm.sakura.ne.jp/jquery_first/
http://webdesignrecipes.com/jquery-beginners-guide-for-web-design/
http://helog.jp/javascript-2/jquery-javascript-2/1406/
■php
phpの基礎からできるからおすすめでかつデータベースの勉強もできる
エロデータの作成はスクレイピング（エロ動画データの収集）により行う。
例えば
該当ページをhtmlSQLで取得する。
http://tenderfeel.xsrv.jp/php/628/
http://plog.pya.jp/program/php/lesson11/sample01.html
ランキング部に利用、APIがあるのでリファラーでサイトのアクセス数をカウント
http://kota.oue.me/php%E3%81%A7google-analytics-api%E3%82%92%E3%81%84%E3%81%98%E3%82%8B%E3%80%82/
https://developers.google.com/analytics/resources/articles/gdataCommonQueries?hl=ja
■負荷対策
http://www.doyouphp.jp/tips/tips_apc.shtml
mod_evasive
DOS対策
http://www.makizou.com/archives/1341
mod_expires
http://www.ahref.org/tech/server/apacche/389.html
http://thinkit.co.jp/free/article/0707/2/6/
■サーバー関係
VPSを借りてこのサイトの通りやればWEBサーバーが構築できる。
できればメモリは1Gほしい。
無修正じゃなければKAGOYAのVPSでいいんではないでしょうか。
外部に公開しないのであればローカルでシコシコして下さい。
SSH・・・クライアント(Windows)からLinuxサーバーをリモート操作する
apache・・・WEBサーバー ※チューニング関係はググりまくって下さい。
mysql・・・データベース 全文検索を利用する場合、一旦mysqlは削除してsennaをインストール。インストールする順序に気をつける http://anond.hatelabo.jp/20110804021353
chkrootkit・・・rootkit検知ツール導入
■全文検索
経験上、サーバー代にもならないと思うので今のところ掲載しません。
以上です。
3月くらいから心身ともに疲れきっていたのでリフレッシュする意味で作ってみました。
エロサービスは以前にも何度か作っていてその時は非常に楽しくてわくわくしながらプログラムしていたので
それを思い出して、じゃあ作ってみようという感じです。
いろんな意味でｗ
学生が就職活動で、WEB系の会社で面接した時なんかにプログラムでどんなの作ったことある？と聞かれて
とか言っちゃうと「こいつできる」と思われるかもしれませんので（あくまで僕がそう思うだけですｗ）
これからプログラムをやろうと思ってる人はエロサービス作りで覚えてみて下さいｗ
きっとあっという間にできるようになりますｗ
さて最後になりますがこんなの作ってみたんでよかったら利用してみて下さい。
動画検索は前にも日記を書いてるので興味のある方は参考にどうぞ。
【お知らせ】2011/09/07
http://d.hatena.ne.jp/uniqueweb/20110906/1315285545
独学のプログラムでエロ動画検索を作ってみた！でエロ動画検索サイトを作った者ですが
あれからエロを通して技術の更なる発展に貢献したいという思いから昼夜問わず情報収集に励んでおりました。
技術の発展に貢献するということが目的であり、決して個人的趣味で熟女物の柔らかおっぱいの動画を中心に収集していたなんてことはありません。
尿意を催したのでトイレに行くためにパソコンの前をほんの少しの間離れていた時にたまたま自分の部屋に母親が爪きりを借りにきました。
その時、モニターには大好きな「白石さゆり」の動画が映しだされていました。
当然、モニターの電源など切るわけもなくつけっぱでトイレに行っていました。
母親は画面に映し出されていた白石さゆりをしっかりと見たでしょう！
別に思春期の男の子じゃないんでエロ動画見てたのがバレたくらいなんてことはありません。
でもね、トイレから帰ってきてふと画面に視線を移した時、見ちゃったんです。
「近親相姦 マン毛ボーボーの母」
ぎゃあああああああああああああああああ！！！！１１１１１１１１１
違う！違う！違～う！！！
母だけでも大問題なのになぜ「マン毛ボーボー」・・・
トイレから帰ってきた時、自分を見る母親の目が汚い物を見るような感じがしたのはこのせいなんですね。分かりました。
そっと部屋を出ていく母
呆然とする俺
まあそんなことがありつつ新しいツールが完成しました！
いったいどんなサイトかというと
エロ動画収集をしてると、この動画の女優最高すぎる！なんて名前なんだろう？って思うことがありませんか？
ありますよね？
そこで、エロい私は閃きました。
俺って変態じゃね？じゃなくてすごくね？
と思い勢いで作ってみました。
ただ、データ件数が非常に少なかったので新たにデータを追加するためのスクレイピングが非常に大変で
やっつけぎみで作ろうとしたら想定外に時間がかかってしまいました。
使い方ですが
↓
↓
googleイメージ検索のパラメータに女優名を設定したURLのリンクと
ヌキネーターの検索パラメータに女優名を設定したURLのリンク
それに、該当女優の動画へのサムネイルつきリンクを最大5件で表示させるようにしました。
例えば
http://www.xvideos.com/video811376
URLデータがデータベースに存在するので該当するデータが表示されていると思います。
こんな感じで気になるあの子の名前とか関連動画とか分かっちゃうかもしれません。
対応動画サイトはxvideos yourfilehost megapron megavideo pornhost tube8
tokyotube 裏アゲサゲ slutload fc2 megafilex xhamster
となっています。
さて、この間と同様に簡単に作り方を書いて行こうかと思います。
サーバーやデータベース、負荷対策など細かい設定は前回のエロ動画検索作ってみた！のときと同様です。
今回は元となるデータの作成方法について少しくわしく書いてみたいと思います。
この方法でマニアック（検索しても女優名が分からないような）なAV女優のデータを収集します。
すごくめんどくさいですｗ
この間はここについて説明がなかったと思うので軽く説明します。
大抵の場合動画ページにサムネイル画像のURL情報が記載されていたり
megafilexとかtokyotubeなんかの場合だと画像サーバーが複数に分かれていて
動画URLの数値等からではサムネイルの情報が取得できません。
通常の場合 http://example.co.jp/videoimg/動画関連数値等.jpg こんな感じで取得できたりするんですが megafilexなどは http://j.www.megafilex.com http://f.www.megafilex.com http://g.www.megafilex.com http://h.www.megafilex.com http://i.www.megafilex.com みたいな感じで複数の画像サーバーがあるのでどのサーバーに該当動画のサムネイル画像ファイルがあるのか分からなくなっています。
そこから画像サーバーにはアルファベットが付くことが推測できます。
aからzまでを付加したURLに動画関連数値を付加しアクセスするプログラムを書きます。
HTTPステータスコードを取得します。
200だった場合、画像が存在するのでそのURLをサムネイル画像のURLとして記録します。
とりあえずリリースしてみました。
動画URLを5万件くらい追加したんですけどまだまだデータが足りないかも・・・汗
分かったらラッキー！くらいでこれなんてAV女優？をご利用頂ければと思います・・・。
ではではまた技術の発展のためにエロ情報の収集に戻りたいと思います。
エロい人やプログラマーさんデザイナーさんエログ運営者さんWEB制作会社さん
ヌキネーターの問い合わせフォームがありますのでお気軽にお声をおかけ下さい。
それとツイッターをはじめてみたんでフォローしてくれると嬉しいです。
※追記 2011/08/25 23:09
風呂入ってサイトにアクセスしたら全くつながらなかったんでアクセス解析見たらえらいことになっててびびりました・・・
とりあえず、httpd.confの設定変更したので今はつながると思います。
ご迷惑をおかけしました。
※追記 2011/08/26 13:46
自分的にはむしろ頑張って恥ずかしいエピソードを書いたこっちが本体で
サービスはオマケなんだ！ｗｗ
そして動画データ件数をカウントしてみたら22万件くらいでした。
※追記 2011/09/07
| 日記途中だけど緊急事態＞＜、一番下まで呼んで誰か助けてください＞＜ | |
|---|---|
今日から夏休みが始まったのでプログラミングを勉強しようと思う。
３日坊主にならないようにがんばる。
去年の二の舞にならないようにモチベを維持するために日記を書く。
プログラミングができたらかっこいい！
サークルも友達もいなくさびしい夏休みを有意義にしようとするため
都内の大学に通う２年生。
前述のとおりサークルもやってない、友達もいない、典型的なインドアオタク。
でも顔はイケメン。
プログラミングは３年前にJavascriptとHTMLをネトゲでの戦いを整形するために覚えた程度。ほとんど忘れてる。
C言語を大学で習ったが「苦しんで覚えるＣ言語」というサイトにのっている範囲しかやってない。
一応プログラミングの知識は少しはある。
やっぱり、目標はあったほうがいい。
うーん、やっぱり完全に一致みたいな情報網羅サイトを作ってみようと思う。
色々な技術が手に入りそうだし。
色々な言語も学べそう
| どんなサイトにするか？ | 大規模情報サイト |
|---|---|
| 学ぶ言語 | HTML,PHP,Ruby,Javascript,CSS |
とりあえずプログラミングにはエディタとアップロードするやつが必要なので色々いれてみた。
| エディタ | |
|---|---|
| Netbeans | 重い、すごく重い |
| phpエディタ | phpしか編集できない |
| terapad | 色分けが出来ない |
| K2Editor | これが一番最強。でもphpに対応してない |
| HIDEMARU4000YEN | win7じゃ使えなかった。 |
| アップするやつ | |
| FileZilla | 使いづらい、糞 |
| ALFTP | これが一番しっくりきた |
というわけで色々悩んだ結果、基本K2Editor、php編集はNetbeans,アップロードはALFTPにした。
phpとhtmlとrubyやjavascript対応してて色分けも出来るwin7で動くエディタないのが残念
実は１ヶ月前にプログラミングを勉強しようと思ってサーバーは借りてた。
ググったり、2chに質問したりして悩んで悩んでロリポップのチカッパプランを借りる事にした。
http://lolipop.jp/service/plan-chicappa/
| 初期費用 | ¥1,575 |
| 料金(６ヶ月) | ¥3,150 |
| （１ヶ月あたり） | ¥525 |
| 合計金額 | ¥4,725 |
しかしながら無料のレンタルさばより色々といじれて、なにより「お金はもう払った、使わないともったいない」という意識を持つ事でだらけないで出来ると思う。
まず師匠の日記をみてみる。HTMLとCSSからはじめたと書いてあるが、多分これからはじめると飽きる。
なのでWebの情報を自動で集めてくれる（これをスクレイピングという）BOTを作ろうと思う。
日記を読むとMechaniseというのを使ってるらしい。
そうするとRuby jamというもので動いているものらしく、Ruby jamはRubyで動いている。
Rubyは鯖にはいっているがどうやらjamのほうははいっていないらしくMechaniseもはいっていない。ということで
ロリポップの解説ページをみてPuTTyていうのをいれてSSH操作ってやつをしてた。
http://d.hatna.ne.jp/taramonera/20100601/1275388515
このページをみながらやってたら
% vi ~/.cshrc
これを実行して
setenv RUBYLIB /home/アカウント名/lib
setenv GEM_HOME /home/アカウント名/lib/rubygems
:wqで保存終了らしいんだけど、入力したところで終われない＞＜
教えて得ろい人＞＜
【お知らせ】2011/09/07
http://d.hatena.ne.jp/uniqueweb/20110906/1315285545
プログラムは全く得意じゃないけれど最近よく見かけるようになったエロ動画検索を自分でも作ってみたくて頑張ってみました。
近年、インターネットの普及によりエロ動画が自宅で簡単に見れるという素晴らしい時代になりました。
自分が若い頃はインターネットなんてものはなくエロビデオが主流でドキドキしながらレンタルビデオ屋に行き、可愛い女の子がレジにいない隙を見計らってお兄さんにパッケージを伏せて空箱を渡しビデオを借りたものでした。
お兄さんにビデオの空箱を渡そうとした時に可愛い子がレジに戻ってきて焦って渡すのをやめてものすごく変な動きをしながらエロビコーナーに引き返していくなんてことも多々ありましたｗ
僕のお気に入りといえば「白石ひとみ」や「あいだもも」といった女優でよく借りてました。エロビを借りるということがものすごく恥ずかしい時代？年頃？でカモフラージュに普通のビデオと一緒に借りるということもしていました。それはそれは大変な思いでオナニーしてたんです！
しかも、ビデオデッキ自体が貴重な時代でリビングに一台しかないのが当たり前でした。
深夜家族が寝静まってからヘッドフォンとビデオを抱えリビングに行き暗がりの中でヘッドフォンをテレビに差し込んでビデオの再生ボタンを期待に胸をふくらませながら押したものです。いいシーンを何回も見るためにビデオを巻き戻すんですが、ビデオを巻き戻すガチャンガチャンという機械音で家族が起きてこないか？とかそれはそれはドキドキしながら見てました。一仕事終えたあとヘッドフォンを外したらジャックが外れていて大音量で喘ぎ声が響き渡っていたなんてこともありました。誰も起きてこなかったのは優しさなんでしょうか？ｗ
さて、大分前置きが長くなりましたがエロというものはものすごい技術発展させるものだと思います。エロのおかげで日本でビデオは普及しエロのおかげで日本でインターネットはものすごく普及したと言っていいと思います。自分もエロを通して技術の発展に貢献し自分自身のスキルアップになれば。という高い志を持ってこのサイトを制作しました。決して自らのオナニーライフの充実と性癖を充たすため作ったわけではありません・・・ｗ
※2011.08.07 利用中のサーバーに障害が発生しているようで現在サーバーに接続できない状態となっています・・・
サイト名の由来は抜きネタからきています。抜きネーター、ヌキネーターという感じですｗ
エロサイトの制作工程を日記にしてみたんで良かったら読んで下さい。そしてこのサイトを使って夜いろいろと励んでくれたら嬉しいです。
まず前提条件としてお金をほとんどかけたくない。アダルトサイトであるということから
月の予算は5000円以内で考えていたのでけっこう探すのが大変でした。
日本でアダルトサイトを許可している所はかなり限られていてさらにやりたいことができるのは
専用サーバーかVPSしかないのでそうなると専用サーバーは予算オーバーなので
VPSで探すことになり検索しまくってはじめに見つけたVPSはKAGOYAのVPSだったのですがβ版で募集を締め切っていて泣く泣く諦めました。
KAGOYAはかなり評判がいいみたいなので使ってみたかった。
次に見つけたのが○○○VPS。海外サーバーで日本語サポートがあり転送量の制限なしディスク容量100G
月1300円程度で借りれるということで初期設定費用に5000円程度かかりましたが借りてみました。
結果、ここは最悪でした。
あまりの酷さに1ヶ月で解約。
よく調べてみたら評判がものすごく悪い某VPSの再販らしいです。
もう失敗したくないと思い今度は比較的有名な海外サーバーLINODE。
iptablesの設定でどうしてもうまくいかなくて拙い英語でメールしてみたら
10分しないうちに返信がきました！
メールに書かれているとおりにコマンドを入力したらあっさり解決。
担当のブライアンはなぜか分からないけどとてもフレンドリーで親切に感じましたｗ
LINODEは複数のディストリビューションから好きなものを選択できるので
とりあえず、64bit版を選択。
一番面倒だけど重要だということで
Tripwire
ほんとに面倒でした。
はじめはmysqlにストレージエンジンgroongaを使おうと思ったのですが
初めに借りた最悪なVPSはOSが32bit版だったのでgroongaがのソースが見つからずなぜかと思っていたら
どこかで見つけた記事で32bit版ではgroongaの性能を発揮しきれないということで32bit版の提供をやめてしまったらしいと書いてたので
じゃあ、sennaにするかということで最悪VPSでsennaをインストール。
その後LINODEに変更したのでOSに64bit版を選択し念願のgroongaをインストール。
しかし、調べてみると
プログラムもそれに合わせてその都度書き換えたので2度手間どころか3度手間4度手間でした・・・
まず
そして下記の順番でインストール
rpm -ivh mecab-0.98-tritonn.1.0.12a.x86_64.rpm
rpm -ivh mecab-ipadic-2.7.0.20070801-tritonn.1.0.12a.x86_64.rpm
rpm -ivh senna-1.1.4-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-shared-5.0.87-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-client-5.0.87-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-server-5.0.87-tritonn.1.0.12a.x86_64.rpm
rpm -ivh MySQL-devel-5.0.87-tritonn.1.0.12a.x86_64.rpm
my.cnfの設定をして終了
で肝心の全文検索ですがデータ件数が5万件程度で少ないせいなのか、あいまい検索と比べてそれほど速さを実感できなかったです・・・
でもきっとすごく速くなったはず！
ちなみに「麻美ゆま おっぱい」で検索した場合、0.01 secで結果が返ってきました。
さて、動画データの作成ですがいくつかのエロサイト等制作記事でもあるようにスクレイピングということをします。
スクレイピングとはWEBサイトから特定の情報だけを取得することでネット上にあるサイトをクロールして必要なデータだけを拾ってデータを作るといった感じでしょうか。
スクレイピングのプログラム自体は以前にTidy関数を使って為替データを10分おきに取得するような物を作ったことがあったのでそれほど時間はかからないかなと思ったのですがけっこう時間かかりました。
スクレイピングにはTidyとhtmlSQL、それにPHP Simple HTML DOM Parserを使いました。
SQL みたいな文法で HTML を抽出する PHP のライブラリ
htmlSQLよりアツい!?jQueryみたいにセレクタでHTMLをparse(解析)する「PHP Simple HTML DOM Parser」
３つの中で抜群に使えるのはPHP Simple HTML DOM Parserだったんですが
ループ処理させるとメモリがすごいことになって今回のようなスクレイピングに向いてないみたいで
結局、htmlSQLとTidyの両方を使ってスクレイピングしました。
両方ともPHP Simple HTML DOM Parserに比べるとうまくデータの取得ができないことが多く残念な感じなんですが他に選択肢がないので・・・
使える順に並べると
といった感じかもしれません。
おおまかにデータを取得して正規表現で特定データを抜き出しました。
http://affiliate.dmm.com/link.html
利用可能な物はパッケージ画像、サンプル画像（縮小）と書かれていたのでそれに従い画像を利用。
注記に※ユーザーレビューは引用いただけません。とだけ書かれているのでそれ以外は引用ありと判断して説明文とタイトルなどを利用
女優データとジャンルデータ、DVDデータ、を紐付けたデータベースを作成し検索ワードに応じて検索結果に関連する商品を表示させるようにしました。
現状、売り上げ0で意味があるのか分かりませんけどｗ
エロサイトということで多少はチューニングとか設定とかしないとまずいかもと思い色々調べて設定しました。
やったこと
KeepAlive On MaxKeepAliveRequests 60 KeepAliveTimeout 3 <IfModule prefork.c> StartServers 7 MinSpareServers 5 MaxSpareServers 10 ServerLimit 30 MaxClients 30 MaxRequestsPerChild 4000 </IfModule>
様子見ということで2日間で設定してみました。
query_cache_limit=1M
query_cache_min_res_unit=4k
query_cache_size=16M
query_cache_type=1
とりあえずこんなところを設定してみましたが、爆発的なアクセスがあるわけでもないので有効なのか今のところ分かりません(-_-;)
Apache Benchでテストはしてみましたけど問題はない感じですが実際にチューニングができているか分かりません。
プログラマーとして有名なゆうすけさんのサイトとgoogleを参考にしました。
シンプルで使いやすいようにしようと思いこのデザインにしました。
クロスブラウザはIE7、firefox3、chromeで行いました。
可変ものって作ったことなかったんですがけっこう面倒なんですね。
ブックマーク機能とメニューの折りたたみ機能、検索結果の表示方法切替を作りました。
まず、ブックマーク機能ですがログインなしで気に入った動画をブックマークできるようにしました。
ブックマークに追加した動画はブックマークページで確認できるようにしました。
cookie機能を利用したらいけると思い色々調べてjquery.cookie.jsを利用。
保存したクッキー情報を呼び出してphpに渡して処理し指定要素にブックマーク一覧をloadメソッドで表示させるという感じです。
$(function(){ $("#youso").load("xxx.php"); });
メニューの折りたたみ機能は人気AV女優やAV女優別、人気タグなどをそのまま表示させるとずらっと長くなって邪魔だったのでつけました。
これには同じくjquery.cookie.jsを利用しました。
参考サイト：http://blog.caraldo.net/2009/03/newjqqookiemenu.php
検索結果の表示方法切替にはZoomer Galleryを利用しました。
参考URL：http://phpjavascriptroom.com/?t=ajax&p=jquery_plugin_zoom#a_zoomergallery
検索結果ページで表示される
[ここの画像]
××× の検索結果
44件中 1～10件目を表示
ここの画像の部分をクリックするとgoogleイメージ検索みたいに一覧でイメージ表示できるようにしてみました。
基本的に動画の埋め込みを許可しているサイトのみプレイヤー表示をしそれ以外は画像を表示し動画データへリンクするようにしました。
埋め込み部分はあらかじめそれぞれのサイトに対応したプレーヤー部分のコードを記述しVIDEOIDの部分に置き換えるような形にしました。
XVIDEOSを例にすると
XVIDEOSの場合かならず動画のurlがhttp://www.xvideos.com/videoXXXXXX/のようになりますのでXXXXXXの部分を
VIDEOID部分に置き換えるようにプログラムを組みました、
埋め込み部のソース
>||<object width="510" height="400" classid="clsid:d27cdb6e-ae6d-11cf-96b8-444553540000" codebase="http://fpdownload.macromedia.com/pub/shockwave/cabs/flash/swflash.cab#version=8,0,0,0" ><param name="quality" value="high" /><param name="bgcolor" value="#000000" /><param name="allowScriptAccess" value="always" /><param name="movie" value="http://static.xvideos.com/swf/flv_player_site_v4.swf" /><param name="allowFullScreen" value="true" /><param name="flashvars" value="id_video=VIDEOID" /><embed src="http://static.xvideos.com/swf/flv_player_site_v4.swf" allowscriptaccess="always" width="510" height="400" menu="false" quality="high" bgcolor="#000000" allowfullscreen="true" flashvars="id_video=VIDEOID" type="application/x-shockwave-flash" pluginspage="http://www.macromedia.com/go/getflashplayer" /></object>
||<
その他の動画サイトもURLの一部分のデータを使っているので同様の処理をしました。
実際の作業は２、３週間ですが色々調べる時間が多くて制作に2ヶ月くらいかかりました。
自分でエロ動画検索を作ってみて有名プログラマーさん達がいかに優秀なのか思い知らされました。
全くWEBの知識がない人で４、５ヶ月ですごいの作っちゃう人とかもいるみたいですし世の中広いな～と思います。
大分、色んな知識を得ることができました。
これからプラグラムを勉強しようと思う人はぜひエロサイトから入ってみて下さい。
そんなこんなで？頑張って作ってみたエロ動画検索、良かったら使ってみて下さい。
これで少しは技術の発展に役立てたでしょうか？ｗ
P.S エロサイトを作っていてはじめは楽しくて興奮しながら作ってたのですが最後の方はエロい物を見ても全く反応しなくなりましたｗ
不能ではないんですけど・・・今現在も性欲が著しく減退しております・・・
そしてスーパーpre記法がうまういかないのはなぜ？はてな匿名ダイアリー初投稿で全然分からない・・・
そしてそしてプログラマーさんとかデザイナーさんとかエロい人とかお気軽にお声をおかけ下さい。
【お知らせ】2011/09/07