  |
はてなキーワード: スクレイピングとは
毎日毎日、動画を探してきてはシコシコと投稿して暮らしています。
ふと思い立って1日の記事更新数を12回から24回に増やしてみたところ…
いやもうほんと大変。
う～ん、どうにか楽できないもんかね？
ということで、
XVIDEOSの動画ページのURLを貼り付けたらサムネイルが出てくるという、
エロ動画サイトの管理人には夢のような更新補助ツールを自作してみました。
このツールを使えば、
動画を再生して、良い感じのとこで一時停止して、キャプチャーソフトで保存する…。
そんな面倒くさい作業から解放されるのです！これはすごいっ！！
何がすごいのか分からない一般人には糞の役にも立たないツールです。
※当サイトについてというページの「サムネイル自動取得ツール」のリンクで公開してます
ご存知の方も多いと思いますが、
XVIDEOSでは1つの動画に対して30枚の画像がサイズ違いで4種類も用意されています。
で、上のページにある検索窓みたいなとこに
XVIDEOSの動画ページのURLを貼り付けるとあら不思議、サムネイルが30枚ずらずら出てきます。
そして使いたい画像をクリックすれば、どどん！と下に出てくるようになっています。
「サムネイル」「小サイズ」「中サイズ」「大サイズ」の4種類のURLをコピペして使うなり、
ダウンロードして使うなり、煮るなり焼くなり好きなようにしちゃってください。
ついでに動画の埋め込みコードもコピペできるようになってます。
あと使うかわかりませんが、XVIDEOSのサムネイルURLを貼り付けても使えるようにしています。
スクレイピングサイトだったら1日50記事とか100記事とか自動で更新されてるんでしょうけど、
こっちが必死に作った記事をサクッと盗まれてるのがすっごい悔しくて。
私みたいに自力で更新している管理人さん達がちょっとでも楽できたら…。
なんて思ったりして自分一人で使うだけじゃなくて公開することにしました。
このツールを使って節約できた時間をアクトレ作業に回したり、さらに更新回数を増やしたり、SEOの勉強したり。
そんなこんなでアクセス数が倍増しちゃったりしたら最高ですよね！
そんでもってスクレイピングサイトが検索結果の下位ページに追いやられたらもう言うことなし！！
とりあえず、サイトはこちら
エロサイトはたくさんあるが、どれも似たようなものでいまいち使いにくい
世の中の男性には万人に理解されない性癖があると思う（自分も）
エロサイトのほとんどはカテゴリも大まかにしかまとめらていないので完全に自分が求めている動画に出会えないので自分で作ってみることに。
厳選したエロ動画を集めたいのでスクレイピングはしないで完全手動で運営することにした。
wordpressをインストールしてオリジナルデザインのテーマを作成
熟女の種類も三段階で分けてみた。(他サイトでどうみても20代が人妻という理由で熟女扱いされている時があったから)
他にもいろいろ細かく分けている。
ネットで検索しもっとマニアックなものがあったら随時追加していきたい。
エロサイトを作ったのは中学の時ぶりだったが、やはり制作しているときが一番楽しい。
かつて好きだった人の写真や好きな芸能人の写真から顔が最も似ているAV女優を検索するサービス。
既に好きなAV女優から新たなAV女優を発掘するという利用もできます。
僕はAV女優を顔重視で選ぶのですが、いろんなエロ動画サイトを見ていると、有名ではないが、自分の好みな顔のAV女優を見付けることがよくあります。
既存のエロ動画サイトはテキストで検索することは可能ですが、もしかしたら、まだ自分の知らない自分好みなAV女優がたくさん存在するかもしれないと
もし顔で検索できれば自分のAVライフももっと楽しくなるだろうと一念発起して開発しました（開発期間は半年くらい）。
| レンタルサーバー | GMOクラウド Public |
|---|---|
| WEB | Apache |
| DB | MySQL |
| プログラミング言語 | PHP |
| フレームワーク | Cakephp |
| UI | Bootstrap |
| 顔認識 | Face++ |
簡単に仕組みを説明すると、
①DMMのサイトをスクレイピングしてAV女優の基本情報（名前やスリーサイズなど）を登録
②DMMのAPIを利用して、それぞれの女優の作品を取得して、パッケージ写真中の顔面積を測り、最も面積が大きいパッケージ写真を登録
③ユーザーがアップロードした画像からFace++のAPIを利用することで顔検索して、最も似ているAV女優を8人表示
今はまだ、顔認識を他のサービスに頼っているので、いずれ内製化して全て自分で開発したいと考えています。
また、今は静止画でとどまっているので、動画に範囲を拡げて、画像をアップロードすると、
初めて書くのでいろいろと不慣れだけど許してください。
■作ったサイト
■使った技術
cron
位だったと思う。
スクレイピングをPHPでするプログラムが半年くらい掛かった気がする。
てかそもそもはなんとなくスクレイピングに興味を持って作りこんでたら「あれ？これエロサイト作れるんじゃね？」って思ったので
エロサイトを作った流れ。
Wordpressとかで実際にサイト構築したのは１日掛かってない。
■サーバー
特に目新しいことはないです。
記事一覧が表示されて、cookieでお気に入りが追加できて、タグ一覧があって、検索できるだけ、
作る方法は頭の中にあるけど、どうせ作っても誰も押してくれないんでしょ？見たいになってる。
■スクレイピングについて
ただXVIDEOSは日本語タイトルじゃないからそれを日本語にするのが手間と言う理由で今はとめてる。
翻訳APIを使ってやってもいいんだけど、サーバーが落ちそうだから嫌だ。
そうそう、スクレイピングがめちゃくちゃ重すぎてサーバーが落ちる！
これがちょっと困る。
さすがにスクレイピングを自作ではめんどくさかったので[PHP Simple HTML DOM Parser]というスクレイピングの定番ライブラリを使っている。
これが重い最大の理由なんだけど、これなしで効率よくスクレイピングさせるのはめんどくさかった。
あとは、簡単に他の動画サイトからスクレイピングできるようなつくりにしたから、やろうと思えばニコ動でもyoutubeでもいろいろなところから取得できる。
これは結構利点だと思う。
FC2が突如つぶれても他のエロ動画サイトからスクレイピングすることが出来るから。
今は0です。
だっておとといドメインを取ったばかり何だもの、インデックスだって100ページ程度しかされてないし。
とにかく更新が楽だから（自動だから）忘れたことにPVがあがってくれると助かる。
ということで、一通り書いてみました。
■追記
いろいろとコメントを頂いてうれしいです。
大変参考になりました。
アフィリエイト広告については悩んでたのですが、早めに乗せることにしてみます。
ありがとうございました。
■追記2
諸事情で1週間ほどサイトを閉鎖しています・・・(2015/5/28現在）
ちょっと復活まで待ってください。
よろしくお願い致します。
■追記3
復活しました！
ぜひお楽しみください！！
日本で最大規模を誇る電子掲示板サイトの2ちゃんねるでは3/13から新仕様APIに対応していない2ちゃんねる専用ブラウザは利用出来なくなった。
しかし、新仕様API移行に反発する有志達(主にオープンソースプロジェクトで開発れていた2ちゃんねる専用ブラウザユーザ)によって新仕様APIの規約の穴を突かれて突破されてしまっている。
新仕様APIの規約によればWebスクレイピングやJavascriptなどが禁止されているが、例えばPerlやPython、シェルスクリプトなどのユーザスクリプトによるHTTPソースの改変は規制されていない。
そこで有志達は規約通りに新仕様APIを介して2ちゃんねるのHTMLファイルを取得しユーザスクリプトによってHTMLを従来の2ちゃんねる専用ブラウザで読み込めるdatファイルへ変換する方法を編み出した。
ユーザが個人で楽しむ範囲でHTMLソースをdatファイルに変換するにのは法的にも問題が無いと思われ、2ちゃんねる運営にもそれらを規制する法的根拠を得るのは難しいと考えられている。
他にもルータのフィルタリング機能やDNSサーバー設定の変更で広告を表示しないようにしてしまうなど、2ちゃんねるの運営は思い通りにならない2ちゃんねらー達にやきもきさせられてしまう格好だ。
最近のLINE Qというアプリを入れてみた。LINE関係なので利用者の年齢層はわかっていたけど予想以上にひどい状況だった。
LINE Qは2013年12月5日にサービスを開始した。知恵袋よりも手軽にそして、Twitterのような感覚で使えるサービス。
まずはじめに、知恵袋でいう知恵コインが一定数貯まるとLINEのスタンプを購入する時に使えるコインや現金に換金できる仕組みがある。
この仕組みによってユーザーが増えていると言っても過言ではないだろう。
ただし、換金するためには30000ポイント以上貯めなければいけないし、1ポイント=0.1円なのでそう簡単には換金できない。
一気に稼ぐために「私に聞いて」という機能がある。ただ、私に聞いてと言っても答えるのはネットでかじった情報なのであまりたくさんの質問付いているのを見たことがない。
まず、質問者は一切自分で調べる気がないし、LINE Qに同じ質問があってもそれを参考にしようともしない。
賢い回答者は自分で定型文のようなものを作ってピッタリ(ベストアンサー)をつけてもらっている。
内容の多くが、
自由の翼フォントが何故か大人気でしかも製作者のページではなくそのフォントが使えるアプリを紹介する。
自分でttfファイルをフォルダに入れる気はないし解凍する意味を知らない。
違法アップロード動画の在処を堂々と聞くだけでなく、投稿されているサイトまで指定してくる。
ググらない
スクショ付きでそこに答えが書いてあるのになぜか聞く。自分のために回答されたものでないと信じられないのだろう。
魔法石800個プレゼントのようなアプリのスクショ付きで聞いてくる。そんなうまい話はない。こういう層がいるからなくなならないんだなぁと実感。
工夫しない、なんでもアプリで出来ると思ってる。Photoshopなどの高度な画像編集ソフトですることもスマホのアプリできるはずだ信じている。
比べるものが違う
著作権とか肖像権なんて知らない。「利用にあたっての約束」という利用規約やネットのマナーを小学生がわかるくらい簡単に説明しているページがあるのに読まない。
未発表情報や未来のソシャゲのイベントの予定なんて教えられるわけがない。
このような質問をユーザー名を出さずに「匿名」設定でする上に回答がつかなければ削除してもう一度質問する。自分の思ってたこと違う回答がついても自分の考えと同じ回答が来るまで質問する。
「ヤフー知恵おくれ」と言われる知恵袋よりもひどい。LINEのトラブルや依存も問題ではあるが、調べる前に人に聞き、そして反論は受付ない。もしかしたらLINE QはTwitter以上の性能を持つバカ発見器になるのかもしれない。(もうなっているのかもしれない)
【どうでもいい追記】
これは増田がこのWebサービスの本質をわかってないのでは。これって人力のSiriでしょ？Siriには何回も同じこと聞くよね？「この前教えたやらろググレや」ってsiriに言われたらどう思う？
その通りだと思います。ただ人力のSiriとは言えど、Siriのような的確な回答がついている質問は少ないです。回答者が小中高生なので仕方ないですが、間違った情報を「何人もこう言ってるからそうなんだー」と思ってしまわないかという懸念です。
スマホが普及したことによって今まで見えなかったものが見えるようになったのかもしれません。
この層を相手にいかに商売をするかがネットで儲けるために重要なんですかね。
そういえば人力検索はてなっていうサービスがありましたね。今どうなってるかしらないですけど。
LINE Qはパソコンのブラウザでも見れるので、スクレイピングして、文章内の単語から内容を推測して定型文を自動投稿するbotを作ったらガッポガッポかもしれないけど技術もないし運営に怒られそうなのでやりません。
【最後の追記】
予想以上のブクマがついたので説明したいのですが、まず私はおっさんではなくただの高校1年生です。前々からLINE Qの質問内容も見ていましたが「さすがにこれはどうなのだろう?」と重い一石を投じたくて記事を書いたつもりが大岩を投じるような感じになってしまいました。父親の影響でDSiでインターネットが見れるようなった頃(小学5年生くらい?)からはてブを見てきたので煽りすぎるタイトルや大げさに書きすぎてしまった部分がありました。ただ言いたいのはこのLINE Qを潰したいとかそういうことではなく何かいい方に進むきっかけになってほしい気持ちでこの記事を書いたことです。
https://chrome.google.com/webstore/detail/masudalert/clkiaalhgfhgcllngddndbghoaahhnfa
とりあえず自分が投稿した日記にトラバやブクマがついたらわかるようになってます。
現時点で申請後にいくつか修正したので、バージョン1.1を申請してます。
できればバージョンを見て1.1であることを確認してからいれてください。
仕様は下記のような感じ
なんかフィードバックもらえると嬉しいです。
http://anond.hatelabo.jp/20150201190857
--
（追記）：いろいろトラバやブクマありがとうございます。
火狐版は簡単そうならやろうかと調べてみました。どうやらFxはバッジないんですね・・・。
メールみたいに常にページを開いておいてもらって、タブで通知するとかはアリかもしれませんが、自分があまりFx使わないので正解がわかりません。
Github にソースもあげたので誰かがやってくれるのを期待します。
https://github.com/katsuren/masudalert
--
（追記2）
バッジがあがってきても、どの記事なのか、トラバなのかブクマなのかわかりづらかったので、
リンクに見出しとトラバ/ブクマ数を表示するようにしておきました。
--
（追記3）
＊＊内容はxvideoとかpornhubとかにある動画のリンクサイト
＊＊ちょこちょこスクレイピングしてるまぁ一般的にあるエロサイト
＊運用を初めて3ヶ月位
＊＊まだまだ儲からない
＊＊運用していて思うのは、他にあるエロ動画のまとめサイトは組織的にやってるんじゃない？っておもったりする。
＊＊あと、いいアドってどこなんだろうかな。nendでもいれてみるかな。
＊懸案事項として
＊＊これって違法じゃないよね？
＊＊＊とはいえ、そもそもうｐされてる動画が著作権的にNGだから限りなくグレーなのかな。
＊＊＊あと1ヶ月位して、流入ノビなければやめるかな。
＊＊＊つかまるのとか嫌だしね
＊ひとまず、つくるのは楽しい。
＝＝＝追記
＊違法性について
＊＊やっぱアウトなんですね。”アウトとわかっててやったなら”って話なら、なんとか逃げれる？笑
＊＊”ヤクザからの連絡”これってやっぱくるのかな、相互リンクの連絡用に連絡先を載せたいけど、そのあたりがこわいからやっていません。
＊うーん。やっぱり、らくして稼ぐみたいなのって良くないことが多いのかな？
skrsvideo
今回プログラミング言語はRubyを選択したため、基本的にはVPS・クラウド的なサーバーでLinuxが動作する環境を探しました。
エロサイトを運営するにあたって問題になるのがサーバー選びです。
基本的に日本のレンタルサーバーではアダルトサイトの運用を禁止しています。
普段使っているさくらのVPSが利用できず、AWSもなんだかグレーな感じ（東京リージョン以外なら・・・？）
そんなわけで探し、GMOグループのWebkeepersを使いました。
使っても良いよ〜というお墨付き、
そして価格も手頃だったためここに決定。
| DB | MariaDB |
|---|---|
| Webサーバ | Nginx |
| フレームワーク | Ruby on Rails |
MariaDBを選んだ理由はなんとなく、MySQLとの違いはほぼありません。利用するGEMもmysql2でいけます。
ちなみにJavaScriptは使わずすべてCSSで作る方針にしました。
スマホ・PC両対応のためにMedia Queryでレスポンシブにしています。
↓
↓
↓
という流れです
gem 'nokogiri'
フロントはhamlとsassで、難しいことはしていないのでcompassはいれませんでした。
あとはデバッグ用にrails_config、pry系が入っています。
skrsvideoでは動画のURLを取得するためにクローラーもどきでスケジューリングして収集しています。
コマンドはこんな感じ
Rakeタスクはnokogiriでxvideosへのリンクを集めています。
doc = Nokogiri::XML( open(URI.parse(url)).read )
urls = []
urls.push link[:href] if link[:href] =~ /xvideos.com\/video(\d+)/
end
Nokogiriのスクレイピングでaタグのリンクを取得し、URLがxvideosのものかチェックして保存って感じです。
動画を探し終えるとaタグからランダムでピックアップし次のページに進んでいきます・
動画が見つかったページはドメインをDBに記録して、しばらくしたら再びクローリングをするようにし、収集の効率化。
３０分以上の表示はちょっと頑張ったところ
これはタイトルの文字列から部分一致で引っかかったものを表示しています。
AV女優の名前を表示するためにWikipediaからとってきたら、ちょっと膨大な数になってしまったため断念。
DMMのランキングに載っていた方だけをとりあえず入れています。
どうも、最近エロサイト作ってみたエントリ書いてるニートです。
自分と同じ生きる目標を持てないニートの暇つぶしになればと思ってエントリ書いてる。という名の定期宣伝エントリ。
賢者タイムに自分でシコれるエロサイトを作ってみようと思ったのがきっかけでエロサイトをつくった。
そしてだいたい1ヶ月くらいがたった。
外にでるのも嫌いだし人と話すのも嫌いだし、ましてや働くのなんてもってのほかだし
これで少しの小銭稼ぎでもと思ってたんだけど、意外と収益が上がるのが早かったので、近況報告。
今はシステム的になにも難しいことはやっていなくて、ただ単にXvideosから動画を拾ってきて
それでもだいたい1ヶ月で7000PV/dayくらいのサイトにはなった。
で、アダルトOKなクリック保証型の広告をいくつか貼っているんだけど、それが1日200円くらい。
だから1ヶ月で6000円くらい。
ってことは1日のPV数が1ヶ月の稼ぎになるってことがわかった。
正直こんなに早く収益があがるなんておもってなかった。
1ヶ月やって100円位になればいいと思ってたし、100円にもならなかったらやーめたってするつもりだった。
なんか動機は不純だったかもしれないけど、生きる目標みたいなのが見つかった気がした。
こんなしょーもないことしか家にいてやること無いニートには変わりないから笑いたきゃわらってくれればいいよ。はは。
とりあえず1日10000PVを目標にしてるんだけど、1ヶ月やってみて10000PV/dayに届かないってセンスないのかな。
エロサイトは1日30万PVとか50万PVとかが普通みたいなこと2chによく書いてあるし、
あの人達はどうやってそこまでのし上がっていったのか本当に謎。俺のほうが時間あるのに羨ましい。
ここからはシステム的な話になるんだけど、世の中にはエロサイトの運営を自動化している連中がいるっていうのも最近知った。
この前増田に書いたスクレイピングして云々とかいう話ではなくてもっと高次的な話。
世のXvideosから指定したキーワードに関連する動画を根こそぎ持ってきて、サムネイルも引っ張ってくる。
そしてタイトルも引っ張ってくるんだけど、それも同じにしてしまうと検索エンジン的にスパムサイトみたいになるらしく、
予め用意していた置換データベースみたいなものから置換できるキーワードを探してくる。
そんで例えば「痴女」→「ド変態女」とかにタイトル内のキーワードを置換してタイトルがオリジナルなものを作る。
いつもシコシコしてるサイトがこの方法で自動運用されているってしったときは驚愕した。
革新的なサービスを作る人はいつの時代もテクノロジカルな人なんだな。俺には到底ムリな作業だ。
いわゆる月額でいくら払うから広告はってよってやつ。月極広告。
で、びっくりしたのが今の時代でもお前らこんなことやってんのかよって内容。
紹介された広告を試しにクリックしてみたら「登録が完了しました。3日以内に下記料金をお支払いください。」みたいな。
1ヶ月5万〜10万くらい払ってくれそうな雰囲気だったけどさすがにサイト訪問してくれたユーザーに
ワンクリック詐欺広告を踏ませるわけにもいかないし、それはなんかナンセンスな気がしたので、やめた。
地道にクリック保証広告で稼いでいけるように頑張る道を選んだ。
今の時代でもワンクリック詐欺で振り込んでしまう人がいることに驚いた。まあいるから成り立ってるんだろうが。
お前もエロサイト運営とかやってること変わんねーからってのは無しな。
これはまだ手をつけてないんだけど、広告をクリックしてくれてその人が無料会員登録をしたり
実際にAVを買ってくれたりしたらいくら払いますよってのもエロサイトのマネタイズ手法として存在するらしい。
ある程度アクセスが多くなってきたらこっちのほうが儲かるっぽい。月額5000円の有料会員とかになってもらえれば
半永久的に自分のところにそのうちの数十％とかがチャリンチャリンしてくるらしいし、
買い切りの商品だったとしても1件あたりの報酬額が結構いい値段だから少ない成約件数でいい感じの金額が稼げる。
DMMに限ってはアダルトじゃなくて普通のオンラインゲームの会員登録とかで700円もらえるからそこら辺の成果報酬型アフィよりよっぽど割がいいよね。
クリック保証で手堅い収入を毎月稼ぎつつプラスαを成果報酬型のアフィで稼ぐみたいなのがエロサイトの王道っぽいこともわかった。
テレビとかで報道されているようになんかFC2がいろいろとアレな感じになってる。
WordPressで構築しておいてよかった。
2ch見てるとFC2終わったみたいに言われてるけど、たぶんオンラインのエロ産業は廃れないよね。
なんかこの前ここで書いたダイアリーが400はてブとかついてすごいビックリした増田だよ。
お陰ではてブしてもらった日はいろんな人に見てもらえたみたいで
1日で12,000PVくらいいったんだけど、次の日から順当にPVは下がり続けて
今は1日1000PVくらいをうろうろしてる弱小エロサイトになった。
あれからPHP書いたりWordPress更新したりってちょくちょくやってるんだけど、
PHPってなんであんなむずいんだよ。ふざけんな。アドバイスしろくださいおまいら。
いろいろ改善してみたり、失敗したりした。
こんなめんどくさがりな俺でも続けていけるものが見つかるなんて
まずこれ。これはなかなか成功したんじゃないかと思う。
といってもテーマファイルを差し替えて、自分で少しHTML/CSSいじった程度なんだけど。
iPhoneからみてもPCから見てもそれなりな感じになったのでとりあえずこれで満足。
プロからみたらダメなところたくさんあるかもしれないけど妥協しとく。
うん、まともに変わったところといえばこれくらいか。
SEOについて調べていくとどうやらエロサイトは検索流入と同じくらい
アクセストレードってのが大事らしい。性質上ソーシャルからの流入はあまり見込めないから当然か。
なのでよくわからんけど主要っぽいアンテナサイトに相互RSS登録した。
いまのところあんまアクセス流れてこない。どうなってんだよアンテナどころか圏外じゃねーか。
そんでこれが本題。
やっぱり記事の更新作業がくそだるい。ニートなのでラクをしたい。そのためなら勉強する。
やりたいことってのはまとまってるんだけどそれを実現するためのソースコードが思い浮かばない。
Simple HTML DOM Parserってのを使えばいいってところまではわかった。
・指定のサイト、もしくはXVIDEOSから新着のサムネイルとXVIDEOS埋め込みタグを拾ってくる。
・それをデータベースに登録する。(この時にWordPressには下書きの状態で投稿されると最高)
・6時間おきとかに1日4回くらい実行する。
こんなことがしたいんだけどもうわけわかめ。
さらにそれぞれに紐づく下層ページにある埋め込み動画タグをスクレイピングするってのがわからない。
ここで書くのは間違いかもしれないけど教えてエロい人。
いい感じのタイトルを自動でつけてくれるとかいう神プログラムを組みたい。
ヤフーが提供してるAPIで形態素解析なんちゃらとかいうのを使えばできそうだなーとか思ったけど、
あまりに光の見えないトンネルに突っ込みそうだったからこれはまた今度。
ってことで整理するために書き起こしてみたけど
PHP,MySQLあたりの勉強をもっと頑張ればうまくいくのかな。
他のエロサイトがどうやってスクレイピングしてるのかまじで知りたい。
やっぱりRuby on Railsとかでスクレイピングしたほうがラクなのかな。
あーなにか目標持ってこんなに1日中ひとつのことに没頭してるの何年ぶりだろ。
エロは人間の欲求そのもので、健全な成人男子は決して抗えないもの。
だから、エロサイトには絶対的な集客力がある。大したプロモーションしなくても、どんどんPVが上がっていくと思っていた時期が私にもありました。
スクレイピングで全自動なため、違法な画像が載ってしまわないようにモザイクをかけました。もちろん、それが萎えてしまうことぐらいわかってます。
どこかに70%の出来でリリースして、フィードバックもらいながら完成させろなんて名言じみたことが書いてあって、その通りにした。
なにが70%なのかよくわからんけど、CSSやりかけでリリースした。今にして思えば、これ明らかに間違った解釈。（現在でもCSSは未完）
まあ、いろいろあるけど、一番思うのがネットはエロがありふれてるんですよ。
そもそもそこに、リンク切れを早期に解決するプログラムを組み込んで、ダマシのないサイトを作ればいけるんじゃね？って誰しも考えそうなことでチャレンジしたのが間違いだったのかしれない。
まあ、でももうちょい頑張りますよ。
スクレイピングを使っているということ以外、特に特徴がないサイトですが、作成にあたって悩んだのが、無修正とリンク切れの問題です。
当たり前ですが、無修正はNGです。自分のサイト内での表示は避けないといけません。（気にしてない方が大半ですが、、、）
動画は埋め込みは使わずに、リンクのみに留めることにしました。また、そういったキーワードを含む動画はスクレイピングの対象から外しました。
大丈夫と思ってそのまま使うと、モロ見えてしまったりするんですよね。そこでプログラムの力を借りて画像にモザイクをかけました。
モザイクを自主的にかけることで、競合サイトと比べると大きく見劣りするかもしれませんが、まあ、これはしょうがないです。
競合サイトを使ってみて感じたストレスは、リンク先の動画が削除されていることでした。ひとつぐらいはいいですが、続くとイライラしますよね。
そこで、リンクが切れていないかを巡回するプログラムを作りました。それほど難しいものではないですが、FC2なんかはいろんなパターンがあって、それを調べるのに多少時間がかかりました。
リンク切れをすぐ削除とまではいきませんが、今のところ24時間以内には削除されるようになっています。
その他、モバイル対応等々やりましたが、作成期間は約10日ってところです。
昨日までプログラムを書いていたので、本稼働は今日からですが、スクレイピングを使ったエロサイトがどれぐらい儲かるのか、またここに日記を書きます。
広告のクリック率考えるとPCの方がおまけになってしまうかもしれない。
詳細ページに回遊率を上げる仕組みが必要、逆にTOPページとかはアクセスないしどうでもいいっぽい。
もうあきらめた。
Bootstrap使っても自分では無理なのでフリーのテンプレートを使用。
「simple_html_dom.php」最高だと思う。
Librahack事件を忘れないように相手のサーバーを思いやる設定（時間と頻度）にする
無修正サイトなど国内法に触れるもの以外のアダルトサイトはGMO一択だと思う。
前回はDTIを使用していた。
前回は誰にも買われなかった。放置サイトはPPCがよいのかな。
Webデザインには
「はじめにAdobeありき。」
である。
全てのサイト合わせて月5000円以上儲かったら（道のり遠い）買ってみる。
広告のクリック率考えるとPCの方がおまけになってしまうかもしれない。
詳細ページに回遊率を上げる仕組みを作って、逆にTOPページとかアクセスないしどうでもいいっぽい。
Rails3 とTwitter Bootstrapで、オシャレなエロサイトをつくってみました。
http://anond.hatelabo.jp/20120708161051
bootstrap使ってもカッコよくできないよ？
プログラマー向けじゃないの？
CSS,Components,Javascript のタグにあるサンプルを全部作ってみた。
あまりの面倒臭さに一度諦めた。
その後色々調べたら「simple_html_dom.php」の存在を知る。
スクレイピング作業が一瞬にして終わった。
メールの設定がどうしてもできない。
エラーも出ていない。
一度諦めた。
info@xxxx.com
危ない名前は使わないのは基本だよね。
MyIsamだとインデックスに容量制限があるのでInnoDB使用
表示
出来あがったサイト
数1000件のデータなのでキャッシュやインデックスいらなかったかも。
デザイナーがプログラムやるのって後者の方が敷居は高いとは思う。
でもプログラムは勉強できるけどデザインってセンスがなきゃどうしようもない。
おわり
もう少しデザイン頑張ってみる。
デザインの教本読んでみると
働くのもめんどくさいし、賢者タイムに生きる意味を考えていたらシコるためだって結論に至った。
即ハボ.com
やるならこの名前って思ってドメイン検索したら奇跡的に取られてなかった。
日本語ドメインは取られてたけど、英語ドメインでとれたから問題なし。
昔にサイトをつくったことがあったので、HTML/CSSはそれなりに書けるし読める。
でもRuby on Railsとか本格的なプログラミングはわからない。ラクしたい。けどプログラミングできない。
WordPressに決めたはいいけどサーバーを用意しなきゃなんない。
さくらインターネットとかが普通なのかなーと思ってたんだけど当然月額料金がかかる。お金ないのでむりぽ。
無料でWordPress動かせて、できるだけ重くないサーバーはないかな〜って調べてたらAWSが1年間無料で使えることに気づく。
ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!
でもAWSっていうことはクラウドだから、サーバーのインストールから自分でやらなきゃいけない。ラクしたい。
AWSでWordPressってことは答えはひとつ、網元インスタンスですね。
先人の知恵ってすごい。
自分がエロサイトを巡回してる時ってタイトルも重要だけどサムネイル画像を重視する。
ってことでPinterestみたいに画像が際立つテーマをさがした。
よさ気なテーマがあったのでこれをつかうことにした。
WordPressなので自動で動画を拾ってきて更新してくれるわけではない。
できるだけラクをしたかったけどここだけはポチポチ更新していくことにした。
だけどXVIDEOSのサムネイルを保存する作業が最強にめんどくさい
Youtubeと違って僕らのXVIDEOSはプラグインを使ってもサムネイルを自動で吐き出してくれない。
これは悩んだ。これも先人の知恵に頼ることにした。
これを使ってXVIDEOSのURLを入れたら画像をドバーっと表示するフォームをPHPでつくって、
その画像URLをWordPressにプラグイン(Remote Images Grabber)経由で登録してアイキャッチに指定する方法にすることにした。
あたかも自分でPHP書いたみたいだけどこれも先人のソースコードをパクった。
ちょっとだけソースが間違ってて最初動かなかったので、そこだけは自分で書き直した。
これでいちいち動画を一時停止してその画面をGyazoって保存してWordPressへ登録するとかいうくそめんどくさい作業をしなくてよくなった。
どうせなら先人の凄腕プログラマーの方々みたいに自分のエロサイトで収益を上げてみたいなと思ったので、アフィリエイト登録をした。
一番いいのはGoogle Adsenseだったんだけどエロはだめみたいだったので忍者AdMaxっていうのにした。
このへんは詳しくないのでよくわからない。アクセスが増えてきたら他のアドネットワークとかも検討してみようと思う。
サムネイル画像の登録方法以外は特につまづくこともなくサイトをつくれた。
WordPressってプラグインでなんでもできるからほんとにすごいとおもう。
自分でポチポチ更新作業をしなくちゃいけないからそこはやっぱりめんどくさいけど。
これからはその作業すらもやりたくないので、しっかりとPHPとやらを勉強してみようか考えてる。
どうやらスクレイピングっていう技術を習得すれば光が見えてくるらしい。
あとはSEOで検索流入を増やして毎日のアクセス数を頑張って伸ばしていくくらいか。
エロという不純な動機だけれどもちょっとだけ目標が持てたのでやっぱりエロはすごいと思った。もうちょっと頑張って生きてみよう。
即ハボ.com
ここみんは天使
なんか知らぬ間に200はてブ超えてた。すげえ。なんかすいません。
業者って言われてるけど違うよ。ニートだよ。仕事とかだったら絶対やらないし。
アフィ貼ってるからかいろいろ言われてるけど全然お金入ってこない。20円くらいｗ
忍者AdMaxより稼げるアフィあったら逆に教えてくれよ。
【続編】ニートがエロサイトを3日でつくってアフィ生活をはじめた
