  |
はてなキーワード: スクレイピングとは
どうも、最近エロサイト作ってみたエントリ書いてるニートです。
自分と同じ生きる目標を持てないニートの暇つぶしになればと思ってエントリ書いてる。という名の定期宣伝エントリ。
賢者タイムに自分でシコれるエロサイトを作ってみようと思ったのがきっかけでエロサイトをつくった。
そしてだいたい1ヶ月くらいがたった。
外にでるのも嫌いだし人と話すのも嫌いだし、ましてや働くのなんてもってのほかだし
これで少しの小銭稼ぎでもと思ってたんだけど、意外と収益が上がるのが早かったので、近況報告。
今はシステム的になにも難しいことはやっていなくて、ただ単にXvideosから動画を拾ってきて
それでもだいたい1ヶ月で7000PV/dayくらいのサイトにはなった。
で、アダルトOKなクリック保証型の広告をいくつか貼っているんだけど、それが1日200円くらい。
だから1ヶ月で6000円くらい。
ってことは1日のPV数が1ヶ月の稼ぎになるってことがわかった。
正直こんなに早く収益があがるなんておもってなかった。
1ヶ月やって100円位になればいいと思ってたし、100円にもならなかったらやーめたってするつもりだった。
なんか動機は不純だったかもしれないけど、生きる目標みたいなのが見つかった気がした。
こんなしょーもないことしか家にいてやること無いニートには変わりないから笑いたきゃわらってくれればいいよ。はは。
とりあえず1日10000PVを目標にしてるんだけど、1ヶ月やってみて10000PV/dayに届かないってセンスないのかな。
エロサイトは1日30万PVとか50万PVとかが普通みたいなこと2chによく書いてあるし、
あの人達はどうやってそこまでのし上がっていったのか本当に謎。俺のほうが時間あるのに羨ましい。
ここからはシステム的な話になるんだけど、世の中にはエロサイトの運営を自動化している連中がいるっていうのも最近知った。
この前増田に書いたスクレイピングして云々とかいう話ではなくてもっと高次的な話。
世のXvideosから指定したキーワードに関連する動画を根こそぎ持ってきて、サムネイルも引っ張ってくる。
そしてタイトルも引っ張ってくるんだけど、それも同じにしてしまうと検索エンジン的にスパムサイトみたいになるらしく、
予め用意していた置換データベースみたいなものから置換できるキーワードを探してくる。
そんで例えば「痴女」→「ド変態女」とかにタイトル内のキーワードを置換してタイトルがオリジナルなものを作る。
いつもシコシコしてるサイトがこの方法で自動運用されているってしったときは驚愕した。
革新的なサービスを作る人はいつの時代もテクノロジカルな人なんだな。俺には到底ムリな作業だ。
いわゆる月額でいくら払うから広告はってよってやつ。月極広告。
で、びっくりしたのが今の時代でもお前らこんなことやってんのかよって内容。
紹介された広告を試しにクリックしてみたら「登録が完了しました。3日以内に下記料金をお支払いください。」みたいな。
1ヶ月5万〜10万くらい払ってくれそうな雰囲気だったけどさすがにサイト訪問してくれたユーザーに
ワンクリック詐欺広告を踏ませるわけにもいかないし、それはなんかナンセンスな気がしたので、やめた。
地道にクリック保証広告で稼いでいけるように頑張る道を選んだ。
今の時代でもワンクリック詐欺で振り込んでしまう人がいることに驚いた。まあいるから成り立ってるんだろうが。
お前もエロサイト運営とかやってること変わんねーからってのは無しな。
これはまだ手をつけてないんだけど、広告をクリックしてくれてその人が無料会員登録をしたり
実際にAVを買ってくれたりしたらいくら払いますよってのもエロサイトのマネタイズ手法として存在するらしい。
ある程度アクセスが多くなってきたらこっちのほうが儲かるっぽい。月額5000円の有料会員とかになってもらえれば
半永久的に自分のところにそのうちの数十％とかがチャリンチャリンしてくるらしいし、
買い切りの商品だったとしても1件あたりの報酬額が結構いい値段だから少ない成約件数でいい感じの金額が稼げる。
DMMに限ってはアダルトじゃなくて普通のオンラインゲームの会員登録とかで700円もらえるからそこら辺の成果報酬型アフィよりよっぽど割がいいよね。
クリック保証で手堅い収入を毎月稼ぎつつプラスαを成果報酬型のアフィで稼ぐみたいなのがエロサイトの王道っぽいこともわかった。
テレビとかで報道されているようになんかFC2がいろいろとアレな感じになってる。
WordPressで構築しておいてよかった。
2ch見てるとFC2終わったみたいに言われてるけど、たぶんオンラインのエロ産業は廃れないよね。
なんかこの前ここで書いたダイアリーが400はてブとかついてすごいビックリした増田だよ。
お陰ではてブしてもらった日はいろんな人に見てもらえたみたいで
1日で12,000PVくらいいったんだけど、次の日から順当にPVは下がり続けて
今は1日1000PVくらいをうろうろしてる弱小エロサイトになった。
あれからPHP書いたりWordPress更新したりってちょくちょくやってるんだけど、
PHPってなんであんなむずいんだよ。ふざけんな。アドバイスしろくださいおまいら。
いろいろ改善してみたり、失敗したりした。
こんなめんどくさがりな俺でも続けていけるものが見つかるなんて
まずこれ。これはなかなか成功したんじゃないかと思う。
といってもテーマファイルを差し替えて、自分で少しHTML/CSSいじった程度なんだけど。
iPhoneからみてもPCから見てもそれなりな感じになったのでとりあえずこれで満足。
プロからみたらダメなところたくさんあるかもしれないけど妥協しとく。
うん、まともに変わったところといえばこれくらいか。
SEOについて調べていくとどうやらエロサイトは検索流入と同じくらい
アクセストレードってのが大事らしい。性質上ソーシャルからの流入はあまり見込めないから当然か。
なのでよくわからんけど主要っぽいアンテナサイトに相互RSS登録した。
いまのところあんまアクセス流れてこない。どうなってんだよアンテナどころか圏外じゃねーか。
そんでこれが本題。
やっぱり記事の更新作業がくそだるい。ニートなのでラクをしたい。そのためなら勉強する。
やりたいことってのはまとまってるんだけどそれを実現するためのソースコードが思い浮かばない。
Simple HTML DOM Parserってのを使えばいいってところまではわかった。
・指定のサイト、もしくはXVIDEOSから新着のサムネイルとXVIDEOS埋め込みタグを拾ってくる。
・それをデータベースに登録する。(この時にWordPressには下書きの状態で投稿されると最高)
・6時間おきとかに1日4回くらい実行する。
こんなことがしたいんだけどもうわけわかめ。
さらにそれぞれに紐づく下層ページにある埋め込み動画タグをスクレイピングするってのがわからない。
ここで書くのは間違いかもしれないけど教えてエロい人。
いい感じのタイトルを自動でつけてくれるとかいう神プログラムを組みたい。
ヤフーが提供してるAPIで形態素解析なんちゃらとかいうのを使えばできそうだなーとか思ったけど、
あまりに光の見えないトンネルに突っ込みそうだったからこれはまた今度。
ってことで整理するために書き起こしてみたけど
PHP,MySQLあたりの勉強をもっと頑張ればうまくいくのかな。
他のエロサイトがどうやってスクレイピングしてるのかまじで知りたい。
やっぱりRuby on Railsとかでスクレイピングしたほうがラクなのかな。
あーなにか目標持ってこんなに1日中ひとつのことに没頭してるの何年ぶりだろ。
エロは人間の欲求そのもので、健全な成人男子は決して抗えないもの。
だから、エロサイトには絶対的な集客力がある。大したプロモーションしなくても、どんどんPVが上がっていくと思っていた時期が私にもありました。
スクレイピングで全自動なため、違法な画像が載ってしまわないようにモザイクをかけました。もちろん、それが萎えてしまうことぐらいわかってます。
どこかに70%の出来でリリースして、フィードバックもらいながら完成させろなんて名言じみたことが書いてあって、その通りにした。
なにが70%なのかよくわからんけど、CSSやりかけでリリースした。今にして思えば、これ明らかに間違った解釈。（現在でもCSSは未完）
まあ、いろいろあるけど、一番思うのがネットはエロがありふれてるんですよ。
そもそもそこに、リンク切れを早期に解決するプログラムを組み込んで、ダマシのないサイトを作ればいけるんじゃね？って誰しも考えそうなことでチャレンジしたのが間違いだったのかしれない。
まあ、でももうちょい頑張りますよ。
スクレイピングを使っているということ以外、特に特徴がないサイトですが、作成にあたって悩んだのが、無修正とリンク切れの問題です。
当たり前ですが、無修正はNGです。自分のサイト内での表示は避けないといけません。（気にしてない方が大半ですが、、、）
動画は埋め込みは使わずに、リンクのみに留めることにしました。また、そういったキーワードを含む動画はスクレイピングの対象から外しました。
大丈夫と思ってそのまま使うと、モロ見えてしまったりするんですよね。そこでプログラムの力を借りて画像にモザイクをかけました。
モザイクを自主的にかけることで、競合サイトと比べると大きく見劣りするかもしれませんが、まあ、これはしょうがないです。
競合サイトを使ってみて感じたストレスは、リンク先の動画が削除されていることでした。ひとつぐらいはいいですが、続くとイライラしますよね。
そこで、リンクが切れていないかを巡回するプログラムを作りました。それほど難しいものではないですが、FC2なんかはいろんなパターンがあって、それを調べるのに多少時間がかかりました。
リンク切れをすぐ削除とまではいきませんが、今のところ24時間以内には削除されるようになっています。
その他、モバイル対応等々やりましたが、作成期間は約10日ってところです。
昨日までプログラムを書いていたので、本稼働は今日からですが、スクレイピングを使ったエロサイトがどれぐらい儲かるのか、またここに日記を書きます。
広告のクリック率考えるとPCの方がおまけになってしまうかもしれない。
詳細ページに回遊率を上げる仕組みが必要、逆にTOPページとかはアクセスないしどうでもいいっぽい。
もうあきらめた。
Bootstrap使っても自分では無理なのでフリーのテンプレートを使用。
「simple_html_dom.php」最高だと思う。
Librahack事件を忘れないように相手のサーバーを思いやる設定（時間と頻度）にする
無修正サイトなど国内法に触れるもの以外のアダルトサイトはGMO一択だと思う。
前回はDTIを使用していた。
前回は誰にも買われなかった。放置サイトはPPCがよいのかな。
Webデザインには
「はじめにAdobeありき。」
である。
全てのサイト合わせて月5000円以上儲かったら（道のり遠い）買ってみる。
広告のクリック率考えるとPCの方がおまけになってしまうかもしれない。
詳細ページに回遊率を上げる仕組みを作って、逆にTOPページとかアクセスないしどうでもいいっぽい。
Rails3 とTwitter Bootstrapで、オシャレなエロサイトをつくってみました。
http://anond.hatelabo.jp/20120708161051
bootstrap使ってもカッコよくできないよ？
プログラマー向けじゃないの？
CSS,Components,Javascript のタグにあるサンプルを全部作ってみた。
あまりの面倒臭さに一度諦めた。
その後色々調べたら「simple_html_dom.php」の存在を知る。
スクレイピング作業が一瞬にして終わった。
メールの設定がどうしてもできない。
エラーも出ていない。
一度諦めた。
info@xxxx.com
危ない名前は使わないのは基本だよね。
MyIsamだとインデックスに容量制限があるのでInnoDB使用
表示
出来あがったサイト
数1000件のデータなのでキャッシュやインデックスいらなかったかも。
デザイナーがプログラムやるのって後者の方が敷居は高いとは思う。
でもプログラムは勉強できるけどデザインってセンスがなきゃどうしようもない。
おわり
もう少しデザイン頑張ってみる。
デザインの教本読んでみると
働くのもめんどくさいし、賢者タイムに生きる意味を考えていたらシコるためだって結論に至った。
即ハボ.com
やるならこの名前って思ってドメイン検索したら奇跡的に取られてなかった。
日本語ドメインは取られてたけど、英語ドメインでとれたから問題なし。
昔にサイトをつくったことがあったので、HTML/CSSはそれなりに書けるし読める。
でもRuby on Railsとか本格的なプログラミングはわからない。ラクしたい。けどプログラミングできない。
WordPressに決めたはいいけどサーバーを用意しなきゃなんない。
さくらインターネットとかが普通なのかなーと思ってたんだけど当然月額料金がかかる。お金ないのでむりぽ。
無料でWordPress動かせて、できるだけ重くないサーバーはないかな〜って調べてたらAWSが1年間無料で使えることに気づく。
ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!
でもAWSっていうことはクラウドだから、サーバーのインストールから自分でやらなきゃいけない。ラクしたい。
AWSでWordPressってことは答えはひとつ、網元インスタンスですね。
先人の知恵ってすごい。
自分がエロサイトを巡回してる時ってタイトルも重要だけどサムネイル画像を重視する。
ってことでPinterestみたいに画像が際立つテーマをさがした。
よさ気なテーマがあったのでこれをつかうことにした。
WordPressなので自動で動画を拾ってきて更新してくれるわけではない。
できるだけラクをしたかったけどここだけはポチポチ更新していくことにした。
だけどXVIDEOSのサムネイルを保存する作業が最強にめんどくさい
Youtubeと違って僕らのXVIDEOSはプラグインを使ってもサムネイルを自動で吐き出してくれない。
これは悩んだ。これも先人の知恵に頼ることにした。
これを使ってXVIDEOSのURLを入れたら画像をドバーっと表示するフォームをPHPでつくって、
その画像URLをWordPressにプラグイン(Remote Images Grabber)経由で登録してアイキャッチに指定する方法にすることにした。
あたかも自分でPHP書いたみたいだけどこれも先人のソースコードをパクった。
ちょっとだけソースが間違ってて最初動かなかったので、そこだけは自分で書き直した。
これでいちいち動画を一時停止してその画面をGyazoって保存してWordPressへ登録するとかいうくそめんどくさい作業をしなくてよくなった。
どうせなら先人の凄腕プログラマーの方々みたいに自分のエロサイトで収益を上げてみたいなと思ったので、アフィリエイト登録をした。
一番いいのはGoogle Adsenseだったんだけどエロはだめみたいだったので忍者AdMaxっていうのにした。
このへんは詳しくないのでよくわからない。アクセスが増えてきたら他のアドネットワークとかも検討してみようと思う。
サムネイル画像の登録方法以外は特につまづくこともなくサイトをつくれた。
WordPressってプラグインでなんでもできるからほんとにすごいとおもう。
自分でポチポチ更新作業をしなくちゃいけないからそこはやっぱりめんどくさいけど。
これからはその作業すらもやりたくないので、しっかりとPHPとやらを勉強してみようか考えてる。
どうやらスクレイピングっていう技術を習得すれば光が見えてくるらしい。
あとはSEOで検索流入を増やして毎日のアクセス数を頑張って伸ばしていくくらいか。
エロという不純な動機だけれどもちょっとだけ目標が持てたのでやっぱりエロはすごいと思った。もうちょっと頑張って生きてみよう。
即ハボ.com
ここみんは天使
なんか知らぬ間に200はてブ超えてた。すげえ。なんかすいません。
業者って言われてるけど違うよ。ニートだよ。仕事とかだったら絶対やらないし。
アフィ貼ってるからかいろいろ言われてるけど全然お金入ってこない。20円くらいｗ
忍者AdMaxより稼げるアフィあったら逆に教えてくれよ。
【続編】ニートがエロサイトを3日でつくってアフィ生活をはじめた
全体に何を言ってるかよくわからんかったが、WWW::Mechanizeだけ使ったことがあって心当たりがあったので調べてみた。
出典は↓のサイト
http://d.hatena.ne.jp/kitamomonga/20110628/ruby_mechanize_2_0
このサイトによれば、
「2011年6月27日に、Ruby のスクレイピングライブラリ Mechanize のバージョン 2.0 が公開されました。」
「1.0.0 以前から警告されていましたが、WWW モジュールが実際に削除されました。Mechanize 2.0 では WWW::Mechanize という記述は単にエラーが出ます。」
らしい。
つまり、WWW::Mechanizeの名前で使えたのは3年前。それ以前から警告が出ていたようだから、元増田がWWW::Mechanizeを警告なしで使っていたとすれば、少なくともそれ以上前のコードなわけだ。
Perlと違い、RubyではMechanizeは標準ライブラリではなく、単なるサードパーティのライブラリだ。それが3年以上無変更で動かないからといってRubyという言語自体を否定するのは、ちょっと飛躍が過ぎるんじゃないか。
Perlが3年以上一切互換性を破壊する変更をしていならそれは結構だけど、結局それは、（よく言えば）枯れた言語だからという理由もあるだろう。単にPerlが死につつあるのを、Rubyをダシにして抵抗したいだけに見える。
テクノブレイク.jpという、エロ専用RSSサービスを公開しました。
これは、自分のお気に入りのエロサイトの更新動画を、サイトすべてに訪問して確認しなくてもチェックすることができる、というエロのための時間を効率化させるWebサービスです。
今年文系で大学を卒業し、まったくの未経験で大手IT企業に入社し、研修を経て初めてプログラミングを触ることになりました。
それでも少しはできるようになったため、「ゆとり」でも「未経験」でも「文系」でも自分でwebサービスが作れるんじゃないか？と思い至り、ちょっと力試しということでやってみるか！！！とこのサービスを作りました。
僕は以下のような人間ですが、「仕事」を通じてプログラミングを学びました。もちろん今も勉強中です。
まだまだ働き始めたばかりなので、僕はプログラミング初心者が数ヶ月勉強したという方と同じような人間です。
なので現在上記にあてはまる人でも作ろうと思えば「自分でサービスを作れる」ということがわかっていただけたらと思います。
僕はオナニーをする時は、スマホのアプリで必ずエロ動画を探すのですが、だいたい以下のようなステップを踏むんですよね。
このように１つの動画を見るために、９つのステップを踏むんです。
もう何がいやだって、（７）ですよ。これが面倒くさい。
それから（２）のブックマークからエロサイトを開くことも面倒じゃないですか。
だって（１）〜（９）をサイトごとにやらないといけないわけですから。
これらを簡単にすることができないもんかなと。
だから、毎回だらだら開発を進めると時間がかかり、最終的にモチベーションが下がり、何もしなくなってしまうんです。
プログラムだけじゃありません。デザインを考えたり、仕組みを考えたりしないといけません。
あとで、このプログラムじゃ、仕組みじゃダメだったな、ってわかり手直しをすることだってあります。
すべてをそこそこ、８０％におさめてください。
最初はすべて８０％です。
ここで言う１００％とは、あなたの考える理想を１００％叶える、という意味です。
そういった意味では１００％はありませんが、あなたにとっての理想の１００％はありますよね。
走りながら、目指してください。
早くリリースすればするほど、ユーザーからの声を早く拾うことができます。
ユーザーの声こそ、そのサービスの目指すべき姿のことが多いです。
８０％完成してリリースすればいいのに、残りの２０％を埋めようとあなたが頑張ったとします。
もしかしたらその自分勝手な２０％は、ユーザーに取っては不必要な２０％かもしれませんよね。
なぜならドメイン代を支払ってるんですから。その金を無駄にしたくないですよね。
で、サーバーは後、というのは開発が無駄に３ヶ月かかったとすると、その３ヶ月分のサーバー代金が無駄ですよね。
実サーバーテストは、テスト環境でテストを終えてからやればいいかなと思ってます。
まずどんなコンセプトか、どんな機能が必要か、どんなUIにすべきかという目標をたてましょう。
なぜこうするかというと、常に自分が何をすべきかが明確になるからです。
なにも決めずにやろうとすると、
なんてことになります。
だから、頑張りすぎなくていいんです。
Webスクレイピングとは、サイトのコンテンツから欲しいデータを取得する方法です。
僕がどうやってRSSサービスを作ったかというと、このwebスクレイピングのおかげなんです。
広告、注目動画、アーカイブなどのそのサイトのコンテンツははじきます。
で、その主要コンテンツから、記事の画像とタイトル、URLをゲットしてきます。
やり方としては、主要コンテンツからそのサイト内部のリンクが貼られたimgタグを探し出します。
そして、そのリンクのタイトルまたは記事のタイトルを取得します。
こうすることで、そのサイトの更新一覧から更新記事のURLとタイトル、画像がわかります。
BootstrapはウェブサイトやWebアプリケーションを作成するフリーソフトウェアツール集である。 タイポグラフィ、フォーム、ボタン、ナビゲーション、その他構成要素やJavaScript用拡張などがHTML及びCSSベースのデザインテンプレートとして用意されている。
これを利用すると、基本的なWebサイトのデザイン（htmlとcss）が手に入れることができ、そのまま利用できたりします。
デザインを作る上で、非常に助かります。なぜなら最初からすべて自分でコーディングする必要がないからです。
僕は以下の時間に開発をしてました
だと思います。
どうしているかというと、Readdleの「Downloads」というスマホアプリを利用しています。
これは写真やファイルをクラウド上に保存したり、Dropboxや外部サーバーとファイル共有をすることができるアプリです。
画面は小さくてストレスがかなーーーりありますが、僕は外出中はこれでプログラミングをしています。
通勤中にこれでプログラミングをし、降車した後の徒歩で続きのプログラミングをキリが良いところまでする、という感じです。
また、歩きながらでもテストはできると思うので、歩きながらプログラミングは難しいという方はテストだけでもやってみはどうでしょうか。
Webサービス俺もやってみようかなーと少しでも思ってくださった方へ、
僕は開発をしながら、本当にやりたいことがあったら、時間はいくらでもつくりだせるなって感じました。
歩いてるときだって、トイレにいるときだって、電車にいるときだって、いつだって今の時代はできるんですよ。
それだけ現代って便利で、生きやすくて、なんでも挑戦しやすい環境のある時代なんです。
恐らく、少し前の時代、スマホが出る前の時代では歩きながらプログラミングなんて考えられないと思います。
そう考えると数年前と今って格段に何かを始めることができやすい時代なんですよ。
それでも挑戦しないって、もったいないねーなーって思ったんですよね。
だから、なにか本当にやってやりたい！！！ってことがあれば、まず一歩を踏み出してみてください。
ググれば、一発ですよ。
こんなことGoogleが日本に来るまでは考えられないことですよ。
だって、昔の検索エンジンって十分に欲しい情報が手に入らなかったですもんね。
僕も高校時代とかCROOZ？とかヤフーカテゴリー？とかで携帯でぽちぽち検索してた記憶があります。
xvideosを見るよりもスクレイピングサイトを見る方が見たい動画が探しやすくて効率がいい。
俺はもうかれこれ5年前からxvideosをスクレイピングサイトで見ている。
ア動ブ
↓
アゲサゲ動画
↓
↓
http://b.hatena.ne.jp/entry/av-erodouga.com/
上記にあげた沿革に入っていないサイトも実はいろいろ使っているのだがクリックを何度かするとお金を請求される詐欺広告が散見される。エロサイトのサーバー台、サービスの対価を得るために広告は必要だと思うが詐欺広告はいかがなもんかと思う。エロの世界でも真面目に運営しているサイトもあれば不真面目に運営しているサイトもあり、管理人の人間性が透けて見えてくる。無理が通れば道理がひっこむという言葉があるけどエロの世界で無理は通らない。詐欺広告を掲載しているサイトはいずれアクセスが減るというのがこれまでの定点観測で分かった。
例によってrailsの勉強と称してエロサイトを作ってみました。
ただ、トップページからデータを引っこ抜いてきて並べ替えただけで、
技術的にどうという点は、びっくりするほどございません！
http://www.xvideos-downloading.com
問題は、先方ページの引っこ抜き。
ローカルでは問題なく動作したものの、サーバ上では当然の様に動かず。
空きポートとか見てるんですかね？
と言う訳で、
まぁ、普通に動きました。
が、
あれ？止ってる。
マイルドなDDOSをくらってませんかこれ？ｗｗｗ
こちらからアクセスすると、自動で反撃が来る構造ですｗｗｗｗｗ
ご馳走様ですｗｗｗｗｗｗｗ
暫定の暫定で、
どうにも落ち着きません。
cybersyndrome辺りから一覧を取得し、
XVIDEOS恐るべし！
みなさん、こんにちは。
俺が作ったこのサイトでもこのWeb APIを利用させて頂いていたのですが、昨日から急に利用が出来なくなりました。（サーバーダウン？）
このままだと更新作業に支障が出て来るので、劣化版ですが緊急で同様のAPIを自作しました。
エロサイトを製作されている方は俺よりも技術力をお持ちと思いますので必要無いかとは思いますが、もしかしたら困っている人が居るかもということでノウハウを共有します。
WebAPIとして一般公開したいのですが、まだ完成度が低く自分１人で使うだけでも重いので、作成方法をノウハウとして公開しました。
もしもこのままオリジナルのAPIが復旧しない場合は、別途サーバーを用意してAPIの公開・もしくはソースの配布を行いたいと思っていますので、改良方法や作成のノウハウをご存知のかたは是非トラバ・ブコメをお願いします。
Xlist : http://xlist.info
それは上位5%だけね。
ほとんどの仕事は、海外のフリーツールやエクセルでちょっと組める人が組めばなんとかなる仕事。
そもそもホントの意味で機械学習とか要求される業務ってほとんどないから。
ほんと、大手企業さんのなぞのビッグデータ予算の奪い合いでしかないので、実際の仕事はたいしたことない。
だからこそ、大手企業むけ営業につよいアクセンチュアとブレインパッドは提携したわけね。
2.コンテストとかにでて”ブランド”をあげてくれるエンジニア、なんだよね。
本当の実力いらないんだよね。電通や博報堂と同じ。営業＋クリエイティブだけど、クリエイティブに求められるのはコンテストで入賞することであって売上を上げる能力ではない。
クリエイティブで売上を上げる能力とか、大したことないのでそのへんのフリーのマーケ屋、フリーのクリエイターに外注する20倍の報酬貰うわけにはいかないじゃん。
ぶっちゃけ、ブレインパッドでの仕事の9割はランサーズで10万円でスクレイピング（）やってーっていってる連中と同じ技術水準でなんとかなる。
まあ、たまーに高度な仕事あるけどね。
社員のほとんども今後はデータサイエンティスト（）がキャリアアップだと思ってる人が多い。
ゆーすけべーさんが以前に作ってたimeeroみたいな感じです。画像Blogをスクレイピングしてエロ画像を効率的に見るサイトです。
なお、先程解約手続きを済ませたので4月末くらいに見れなくなります。エロサイト自体にあまり興味がなく、ローンチしたらやる気が無くなったのです。
テスト駆動開発がやりたく、DSLに強いロック魂を感じたRSpec。
はやりに乗ってBootstrap。
特にCapistranoは名前がキュートでやっていることがカッコイイのでどうしてもやりたい技術でした。
あと、メインとなるRailsはこの記事に書いているスキルの中で唯一経験が無かったというのが一番の理由です。Rubyが好きなのもありますけどね。
いやぁ、退職しようとすると会議室で8時間説教されるって都市伝説じゃないんですね〜。
ところで転職活動をした感覚だと、今より給与が2倍出るところでも簡単に内定が出ることが分かりました。
転職活動やエロサイト作成を通して精神的な余裕も出ましたので、もう少しSIerそのものの問題、仕事の進め方などを熟考した上で、本当に正しいSIerのあり方を考えたいと思います。無理そうなら逃げます。
以上、よろしくお願いいたします。
世の中にはマニアがあふれている。
これに尽きます。
「僕は世の中を知っている大人だ。」なんて
こんな身近に知らない世界はありました。
中でも僕を驚かせたのは
嘔吐好きとか、
ゲロはいてる女性見て、なんで興奮するんですか！？ Σ(ﾟ∀ﾟﾉ)ﾉ
そのゲロかぶって、なんで興奮するんですか！？ Σ(ﾟ∀ﾟﾉ)ﾉ
キワモノ好きなんて、
裸の女性がミミズや昆虫にまみれて、それを食ってんですよ！ Σ(ﾟ∀ﾟﾉ)ﾉ
さすがに気持ち悪くなりました。。。
男は半分の7千万人でしょ？
エロに情熱がある若者から中年層だとその半分強で4千万人として
その4千万のうち
ってどのくらいいるんでしょうね。。。
作る人がいて見る人がいるんだから、まあソコソコな人数いるんだろうなあ。。
【らぶらぶＡＶさーち】
ＡＶの検索サイトです。
ちなみに、ワンクリックで検索できるピックアップ検索は私の趣味です。ｗ
最近は、つぼみ、紗倉まな、ほしのあすか、臼井あいみがオススメです。ｗｗｗ ぐう可愛い！（゜∀゜
Nginx + php-fpm + MySQL で動いています。
言語はPHP + Smarty + Javascript(jQuery) で書いています。
あと、スクレイピング用に .NET で windowsアプリを作りました。
すぐ誤動作してしまうのですよね。。。
PHPだと対応し直しが面倒なので .NET に逃げました。。。。ヽ(°▽、°)ﾉｴﾍﾍﾍﾍ
データは、アフィリをやっている
動画サイトのduga さんと、MGS動画さんから持ってきています。
DUGA
データを常に最新にしておくために
個人的には
待ち合わせで暇なときに
てな感じで使っています。
３月で東北大学を卒業して、４月から某企業の社畜となる２２歳です。
文系の学部出身なので、ITやらプログラミングの知識は完全に独学です。
特にITに興味を持ってはいなかったのですが、就活が終わったあたりに
映画のソーシャルネットワークとかを観たりしてプログラミング勉強しようと思い立ちました。
そんで実際に勉強し始めるとなかなか興味が持てる分野だったので、去年の秋の試験で基本情報技術者を取ったりもしてました。
でもここまでひと通り勉強し終えた時点で、このあとどうしよう？ってなったんですね。
HTMLやらPHPの本を写経して、『やったー、Hello,World!を１００回分表示させたぞ！』なんてやっぱりすぐ飽きるわけですよ。
プログラマって毎日こんなことしてんの？と思ってネットを漁ってみると、色々と面白い情報をはっけん！
http://anond.hatelabo.jp/20101203150748
やっぱ何かを創ってなんぼだよね！
ということで人生最後の冬休みから構想を練り始め、今年に入ってから本格的にwebサービスの作成に取り掛かりました。
ちなみに本記事タイトルは『京大で画像処理を学んだ僕が本気でエロWEBサービス作ったった』をリスペクトさせて頂きました。
この人はIT関連が専門みたいで、創ったものもレベルが違うんですけどね。まぁキャッチーなタイトルにしたかっただけです。
やはり社会人になるとなにかと時間が限られてしまうと思うので、
多少未完成でもまずは公開してみて少しづつ付け足していこうと。
結果として、この記事を書いている時点でお問い合わせフォームとかを実装してませんし、
他にもいろいろとやりたい機能をとりあえず諦めざるを得ませんでした。
今後頑張ります。
今年の１月時点での自分の知識を大まかに説明すると、
HTML → 基本は分かる。でもdivとかをうまいこと調整するのは苦手
CSS → ぶっちゃけあんま理解してない。今回の創作物もtwitterbootstrapに頼っちゃった
PHP → 基本は分かる。forとかforeachとかwhileあたりが使えるくらいだけど、実際それで何とかなったしこれからもっと勉強するし
javascript → たしか一番初めに勉強したけど、もう忘れた。今回のサービスにも使ってない。
まぁこんなもんです。
『未痴との遭遇』
やっぱりエロいのだとモチベーションも続くし、やっててたのしいかなぁと思いまして。
１．全体像の把握
基本情報技術者を取得したんですが、サーバーとかFTPとかの単語をあまり理解してなかったんですよね。
具体的にどうすればホームページやwebサービスを公開できるのかを理解するようにしました。
上に書いたようないわゆる『つくってみた』系の記事も沢山読みました。
ふむ、手っ取り早く作るにはフレームワークとやらがいいらしい。
具体的には公式サイトのブログチュートリアルから入って、『CakePHP 入門』とかで検索して出てきたサイトをいろいろとまわりました。
覚えることは多いですが、確かに便利なので頑張って修得することをおすすめします。
とりあえずサイトの作り方はわかったので先に進む。
APIを利用したサービスがたくさんあったので僕のサイトでも使ってみようと思いました。
勉強ってほどのものではないですが、DMMAPIのコードを公開しているサイトを参考にしました。
僕の創ったサイトに必要なデータがAPIでは効率よく取得できないことがわかったので、
DMMのサイトをスクレイピングして必要なデータを集めることにしました。
Simple HTML DOM Parser ってやつを利用。
５．メイン機能搭載
まずはAPIとスクレイピングを利用してデータベースに必要なデータを集めました。
スクレイピングがうまいこといかなかったり、なぜかデータが重複しまくったりといろいろ苦労はしましたがデータベースはなんとか完成。
その後、メインページを作成して、ランダム表示ができるようなスクリプトを書く。これは簡単。
６．他のページの作成
メイン以外のページを作成。
twitterbootstrapもここで導入。
でも間に合わなそうだったので、目標達成のためにとりあえず飛ばすことに。
特に希望のものはなかったのですが、まぁそれっぽいものを購入。
問題はサーバーですよ。
初めはGMOクラウドのVPSで無料お試しをしたのですが、これがまた難しい。
ネットでいろんな情報を探して、試して、動かなくなって、OS再インストールって流れを５回ほど繰り返して断念。
結局FUTOKAのレンタルサーバーと契約しました。こちらは非常に扱いやすくて、らくちんです。
８．公開
こんなしょぼいサイトでも公開できただけでうれしいものですね。
約３ヶ月の苦労は無駄ではなかった。これで僕もクリエイターの仲間入りだ。
文系の僕でも３ヶ月でひとりでwebサービスの公開まで漕ぎ着けることができました。
この期間が長いと思うか短いと思うかは人それぞれでしょうが、自分のアイデアを現実化させることは想像以上に楽しいことですよ。
壁にぶつかることはたくさんありましたが、不思議と辛くはありませんでした。だって楽しいから。
用事がある日にも、早起きして作業することが苦になりませんでした。だって楽しいから。
変に敷居の高さを感じている人がこの記事を見て、『俺もやってみよう』と感じてくれると嬉しいです。
彼女に振られたのことと、就職がうまくいかなかったのに打ちひしがれて昨年、railsでアダルトサイトつくってみました。。
公に誰にもいうことができないので、こちらのほうでエントリーさせてもらいます。
すでに動画はたくさん!!!
• 大学4年
http://www.xvideos-av-adult.com/
• 2ちゃんねるだったりはてブが好きなのに物を作れないのが悔しかった。
• [webサービス]とか詳しい方なのにものがつくれなかった。
• Rails 3.2.8
• ruby 1.9.3p194
• sublime text 2
を使ったみました。
使いごこちはちょっとよくわからないですけど、vimとかもろもろうまくなりたいなーって思ったりしました。
• twitter-bootstrap-rails (https://github.com/seyhunak/twitter-bootstrap-rails)
• nokogiri (http://nokogiri.org/)
◦ スクレイピング。いろいろ効率よくデータがとってこれます。
• kaminari (https://github.com/amatsuda/kaminari)
◦ ページング。
• sunspot_solr
• sunspot_rails (https://github.com/outoftime/sunspot_rails)
• bullet
◦ mysql的に遅延が起きそうなコードがあるとポップアップだしてくれる
http://openbook4.me/projects/92
↑こんなサイトをみながらrailsを勉強しつつ、ネットでrubyの文法を調べたりしました。
おそらく初心者はここで一番時間かかるんじゃないんでしょうか。。
多対多のDB設計とか最初なにいってのかマジでわからないし、それをrailsで再現する方法もわかりませんでした。
bootstapをあてつつ、自分で良さそうなデザインのコードを読みながら合わせていきました。。
herokuを使いました。初心者でも使いやすい。しかも無料。
sunspotが有料オプションでしたが使ってみました。(泣ける)
それ自体は高スペックでもなんでもないですが、基本的にxvideosしかとってないので、個人的に快適に見れてます。
これからはタグ付けと動画の量を増やしていくつもりです。(動画すでに8000とかあるかな？)
http://www.xvideos-av-adult.com/
・タグ付け強化
・レコメンド強化
・キュレーション強化
毎日4時間ぐらいさわって、rubyとはなんぞや、railsとはなんぞやと調べつつ、やっていきましたら3ヶ月ぐらいでできました。
完成したらしたでオナニーがただはかどって、[彼女]振られた悲しみは増幅していきました。
彼氏いなくても人生タノシイからいらない！って言われたらかなしいですよね。
俺が楽しませてあげられなかったのかな、、と半年たった今もずるずるひきずってますね。
ちょこちょこ増加してきてリピーターがいる感じです。
プログラミングを教育に！と言ってる流れでこういうことを自力でもできたのはよかったです。
HTMLとCSS, JavaScriptはちょっとだけ分かる
dotinstallとか見てブラウザでタイマー作ってわーいって喜んでるくらいのスキル感。
→本を買ってやるのは安上がりだけど途中で挫折しそう
→じゃあお金稼ぎながら学んだらいいんじゃ
バイト始めることになった
バイト始まる
課題を出されて、できたら業務に入れる
誰も教えてくれない
ググってググってググりまくる
ひーひー言いながら2~3週間でなんとか終えた
なんとかなった
このときくらいにパーフェクトPHPを読んだ。FWは、つくれる！
あーようするにURLを受け取って振り分けたり、DBからデータ引っ張ってきて画面に表示させたりするのね
分かった気になる←分かってない
GET/POSTでごにょごにょすればいいんだね楽勝だわ←全然分かってない
FuelPHPを聞きかじって、何をトチ狂ったのか在宅でwebサービスの受託をやる
まあ良い経験になった
フレームワークいくつかやって、web開発のいろんな概念やtipsがたくさん頭に入ってきて、
あーあれかーくらいには思えるようになった
DBのCRUD操作, ORM, DBマイグレーション, RESTfulとは, コマンドラインでコード生成,認証周りのプラクティス ...
さて、バイトが本格的？になってくる
一人で開発 責任おもい
でもなんか躓いた。
書いたコードに自信が持てない
これでいいのか不安になって手が進まない
セキュリティで手直しはたくさんもらった
フレームワークにはDB操作のライブラリがちゃんとついてるのにそれ見ずに自分でSQL組み立てて案の定エスケープしてないし、とか
でも、なんとか完成させた
プッシュして、マージされて、できちんと本番環境で動いてる。やったね。
Rubyを知った
PHPと違って()が殆ど無いし、;ないし、do~endとか何だよって感じだった。
Railsも知った
それからは空いている時間の大半をRubyとRailsにつぎ込んだ
まずはRailsTutorialをやってみた
テスト周りでつまづいたけどなんとか終わらせた
dotinstallやらミニツクやら、検索して出てきた記事・チュートリアルはとりあえず手をつけて学んだ
はじめはRubyを理解せずにRailsをやっていたけど、すぐにRuby自体に興味が出てきた
はじめてのRuby・はじめてのプログラミング・たのしいRuby・プログラミング言語Ruby... 入門系の本を乱読した
PHPでさんざん苦労していたからか、Rubyでオブジェクト指向を学ぶとなんの無理もなく頭に入ってきた
その後、パーフェクトRubyで標準ライブラリやらGemやらSinatra（支那虎じゃなかった）やらについて学んだり、
メタプログラミングRubyで黒魔術を学んだりした。巻頭のMatzの言葉痺れたなー
バイトのほうも何とかこなせるようになってきた 成長すげー
Vagrantをかじる
AWSでいろいろ遊ぶ
webスクレイピングとか検索APIとか使ってムフフな画像をアハーンしたりして遊んでた
Rubyで言語をつくろうだの、スクリプティングを極めようだの、JavaとRubyがどうだの。
メタプログラミングだの、デザインパターンだの、テストだの、リファクタリングだの。
借りられる本は借りて済ませた。全部買ってると破産する
他にもRubyとつかない本もいろいろ。
プログラマが知りたい97の何とか。いい本
Rubyの関数オブジェクトからのつながりで関数型プログラミングにも手が伸びる
OOPと全く違う。
就活はじめるよー
まあ、エンジニア枠で探すことにする
エントリーめんどくさい
ので、1社受けて落ちたら次の会社エントリーするという作戦にした
無計画玉砕作戦
とはいえ、なんとかなると思ってやってく
気を揉む期間
やたらパララックスつかってゴテゴテにしてるわりに、何が言いたいのか伝わってこない
せめてよく使ってる言語くらいはのっけておいて欲しい。
で、１社選んで応募して、選考が始まった
面接、失敗したなと思ったところもあったが
嘘つかない
知らないことを知ってるように話さない
は通せたので良かったと思う。
で、進んでいって最終面接。これもなんかよく分からないうちに終わってた
相手が適宜フォロー入れて話しやすいようにしてくれたのは覚えてる
うん、ぜひ当社にご入社いただけたらと思いますとのこと。やったね。
前から気になってた会社ではあった。勝手にリスペクトしてた会社。
自分が憧れてる技術者さんたちが在籍してる会社でこれから働くことができる
いろいろと運が良かった。嬉しい
他の会社はどうしようかな。
受けてみたい気もするけれど、エントリーがめんどくさい
続けるかどうかは未定だけど、ひとまず休憩することにする
Web上に転がっている情報をプログラミングによって自動で拝借する技術を「スクレイピング」というらしい。
今まで欲しい情報を取得するときはコピーアンドペーストを繰り返していたから、もし「スクレイピング」ができたらすごい嬉しい。
ぼくは阪神タイガースが好きだから、阪神タイガースの情報をスクレイピングできたら楽しそうだと思った。
特に２軍の試合結果をスクレイピングできれば楽しそうだと思った。
だって、将来のスターは２軍で頑張っているからだ。あと、２軍の試合はいつも見れないからだ。
http://hanshintigers.jp/farm/score/score20131004.html
スクレイピングを使えばそれぞれの選手の成績を自動で拝借することができるだろうか。
もし、拝借することができたら毎日の試合結果をグラフにしてみて、２軍選手の調子を見てみたい。
２軍選手の調子が良かったら１軍にあげたほうがいいかもしれないからだ。
あいにく、ぼくには相談できる人がまわりにいない。そもそも友達がいない。友達がいないから阪神タイガースが好きな友達だっていない。
スタメン談義はいつも一人だし、唯一話すバイト先の店長は巨人ファンだ。
何をどうすればスクレイピングができるのか、よくわからない。言語はpythonとかrubyとかruby on railsとかを使うといいらしいことは分かった。
プログラミングの技術はほとんどない。昔授業でhello worldとかif文とかやったけど、もうほとんど忘れちゃった。言語はパスカルとかいうのだった。
もし助言がもらえて、pythonとかrubyとかruby on railsとかを使ってスクレイピングができたら、
みんなに公開したいし、スタメン談義をしたい。公開の仕方はよくわからないし、阪神ファンがいるかわからないけど、したい。
けど、する。
だから、助言がほしい。
プログラマといっても、大手ベンダーが作ったフレームワークに乗っかり
実際のフレームワークの仕組みがどうなっているかも全く知らない。
設計書を修正したりもするけど、言われたことを書き直すだけ。
SEなんて高尚なもんでもないし、
気が付けば来年もう３０才になろうとしている。
正直言って、うだつが上がらなさすぎる。
そんな自分を変えたくて
女性声優画像bot（https://twitter.com/w_seiyu_bot）
笑いたきゃ笑ってくれ。
できる人には数十分でできる芸当だと思う。
それでもなんとか自分を変えたくて、
０を１にしたくてがむしゃらに頑張った。
いろいろ試行錯誤を重ねて１ヶ月以上かかったと思う。
分かる人にはすぐに分かると思うけど
少しだけ特徴を紹介してみる。
仕事ではJavaやC#でプログラミングしているけど（リーマンプログラマの9割はそうだと思う。）
小規模でもいいので何か一人でものを作りたくてLLなpythonに挑戦してみた。
twitterのAPIのラッパであるtwythonっていうライブラリを使っている。
僕の唯一の趣味といっても過言ではない大好きな女性声優さん達の画像は
最近のAPIは有料のものが多いみたいなので一部スクレイピングで画像を取得している。
５分おきにtwitterのAPIで画像をアップロードしてたら、途中でbotが止まってしまった。
APIの制限で１日の画像アップロード数に制限があるみたいだ。
仕方なく時間帯を分けてtwitterのAPIでアップロードするパターンと
twitpicのAPIでtwitpicに画像をアップロードして、そのURLをつぶやくパターンを用意した。
（このtwitpicのアップロードにしょっちゅう失敗する。。。なんでかわからん）
なんとか多くの人にフォローしてもらいたいと思い、
KLOUTのAPIを利用して取得したスコアが50以上の人をフォローさせてもらっている。
（KLOUTについては僕も知らなかったけど、ググれば分かります。）
さも簡単に実装してきたような書き方だけど
一つのことをやるのに何日も何日も頭を悩ませた。
実際に運用してみてどうかというと、これがまたとんでもなくひどい。
ありがたいことに、沢山の方にフォローしていただけてはいるが、
昨日は南條愛乃さんといって三森すずこさんの画像をつぶやいてしまい
自分のユーザー名で検索するとフルボッキにされててみれたもんじゃない。
（不愉快な思いさせた方には本当に申し訳ないと思っています。すいません。）
あんなに苦労して作ったものがこんな情けない結果で本当に泣きたくなる。
所詮こんなもんかと。
それでもとりあえず、なにか変ったのかもしれない。
０が１ではなくて－１になったのかもしれないけど。。。
別に弁解したいとかそういうわけじゃないけど、
なんとかワザとじゃない、僕は声優さん達が大好きなんだ
ということが分かってほしくてモヤモヤした気持ちを
書きなぐってみた。
とりあえずこのbotをどうするかは決めてないけど、
なんとか画像間違いだけは解消していきたい。
ご助言いただきたい。
さて、そろそろ仕事に戻ろう。
最後に一つだけ言わせてほしい。
＿人人人人人人人人人人人人人人＿
＞ あすみん、愛してるっ！！ ＜
￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y￣
bootstrap使ってもカッコよくできないよ？
プログラマー向けじゃないの？
bootstrap3 の公式サイトを見ながら
CSS,Components,Javascript のタグにあるサンプルを全部作ってみた。
あまりの面倒臭さに一度諦めた。
その後色々調べたら「simple_html_dom.php」の存在を知る。
スクレイピング作業が一瞬にして終わった。
メールの設定がどうしてもできない。
エラーも出ていない。
一度諦めた。
info@xxxx.com
危ない名前は使わないのは基本だよね。
MyIsamだとインデックスに容量制限があるのでInnoDB使用
数1000件のデータなのでキャッシュやインデックスいらなかったかも。
デザイナーがプログラムやるのって後者の方が敷居は高いとは思う。
でもプログラムは勉強できるけどデザインってセンスがなきゃどうしようもない。
もう少しデザイン頑張ってみる。
デザインの教本読んでみると
この記事のブクマがすごいのでこれを生業にしてる知人Aと業界の話を書く。
Aは知り合いから教えてもらって始めたらしい。海外Amazonで買って日本Amazonで売る。
生業にしているので商品の購入金額は100万／月を超えるみたい。クレジットカード決済がメインだっけな？
法人化してて数百万の融資も受けてそれを元手にしているようです。
商品の選別とかは元増田に書いてあった通り。メジャーなものは扱わない。
売上は月間100万を超えるらしい。仕入もあるので特別儲かっているわけではないが
生活に困らない程度には利益が出るそう。キャッシュフローをうまくやれば自由にできるお金も増える。
この業界にはいま続々と参加者が増えていて数千人ぐらいのコミュニティができあがってる。
トップの人達はもうすでに自分ではやってなくてコンサルとか講師で稼いでる。
セミナー打つと1000人ぐらいは集まるらしい。
他の情報商材とは違って商品を輸入して売ってるので、先入観をとっぱらえば以外とまともな商売な気もするし
やってる本人達も「物販」なのでネオヒルズ族とかとは違うという意識を持ってやってる。
商品の選び方はツールを駆使した方法が主流。ランサーズ、クラウドワークス、SOHOビレッジに掲載されている
Amazon価格調査系の案件はたぶんほとんどこれ。AmazonAPIだけじゃ情報が足りないので
ロジックを聞いたら結構面白くて「多くの出品者が扱ってる商品で、直近で販売されて在庫数が減ってるモノ」を
スクレイピングで取得して、それを購入して出品するらしい。要は自分で商品を選ぶんじゃなくて
「他の人が扱っててかつ最近売れた商品」を機械的に販売してくらしい。そりゃ確かに売れるわな。
そんで最近はこの逆パターンをやってる人もいるらしくて、日本のAmazonで買って売るらしい。
こっちは販売数は少ないが単価／利益率が高いらしい。日本っぽいものが好きな人は海外に多いからね。
話聞いてて思ったのは無職で時間があるプログラマだったら販売管理してくれる人と組んでサラリーマンの給料ぐらいは稼げるなってこと。
そんでさらに仕組み化すれば別の人に販売できるのでチャリンチャリンビジネスにもなる。
同じ事考えてる人は多いみたいで、検索すると価格調査ツールとか出品管理とかそれ系のツールが見つかる。数は少ない。
