  |
はてなキーワード: スクレイピングとは
全体に何を言ってるかよくわからんかったが、WWW::Mechanizeだけ使ったことがあって心当たりがあったので調べてみた。
出典は↓のサイト
http://d.hatena.ne.jp/kitamomonga/20110628/ruby_mechanize_2_0
このサイトによれば、
「2011年6月27日に、Ruby のスクレイピングライブラリ Mechanize のバージョン 2.0 が公開されました。」
「1.0.0 以前から警告されていましたが、WWW モジュールが実際に削除されました。Mechanize 2.0 では WWW::Mechanize という記述は単にエラーが出ます。」
らしい。
つまり、WWW::Mechanizeの名前で使えたのは3年前。それ以前から警告が出ていたようだから、元増田がWWW::Mechanizeを警告なしで使っていたとすれば、少なくともそれ以上前のコードなわけだ。
Perlと違い、RubyではMechanizeは標準ライブラリではなく、単なるサードパーティのライブラリだ。それが3年以上無変更で動かないからといってRubyという言語自体を否定するのは、ちょっと飛躍が過ぎるんじゃないか。
Perlが3年以上一切互換性を破壊する変更をしていならそれは結構だけど、結局それは、（よく言えば）枯れた言語だからという理由もあるだろう。単にPerlが死につつあるのを、Rubyをダシにして抵抗したいだけに見える。
テクノブレイク.jpという、エロ専用RSSサービスを公開しました。
これは、自分のお気に入りのエロサイトの更新動画を、サイトすべてに訪問して確認しなくてもチェックすることができる、というエロのための時間を効率化させるWebサービスです。
今年文系で大学を卒業し、まったくの未経験で大手IT企業に入社し、研修を経て初めてプログラミングを触ることになりました。
それでも少しはできるようになったため、「ゆとり」でも「未経験」でも「文系」でも自分でwebサービスが作れるんじゃないか？と思い至り、ちょっと力試しということでやってみるか！！！とこのサービスを作りました。
僕は以下のような人間ですが、「仕事」を通じてプログラミングを学びました。もちろん今も勉強中です。
まだまだ働き始めたばかりなので、僕はプログラミング初心者が数ヶ月勉強したという方と同じような人間です。
なので現在上記にあてはまる人でも作ろうと思えば「自分でサービスを作れる」ということがわかっていただけたらと思います。
僕はオナニーをする時は、スマホのアプリで必ずエロ動画を探すのですが、だいたい以下のようなステップを踏むんですよね。
このように１つの動画を見るために、９つのステップを踏むんです。
もう何がいやだって、（７）ですよ。これが面倒くさい。
それから（２）のブックマークからエロサイトを開くことも面倒じゃないですか。
だって（１）〜（９）をサイトごとにやらないといけないわけですから。
これらを簡単にすることができないもんかなと。
だから、毎回だらだら開発を進めると時間がかかり、最終的にモチベーションが下がり、何もしなくなってしまうんです。
プログラムだけじゃありません。デザインを考えたり、仕組みを考えたりしないといけません。
あとで、このプログラムじゃ、仕組みじゃダメだったな、ってわかり手直しをすることだってあります。
すべてをそこそこ、８０％におさめてください。
最初はすべて８０％です。
ここで言う１００％とは、あなたの考える理想を１００％叶える、という意味です。
そういった意味では１００％はありませんが、あなたにとっての理想の１００％はありますよね。
走りながら、目指してください。
早くリリースすればするほど、ユーザーからの声を早く拾うことができます。
ユーザーの声こそ、そのサービスの目指すべき姿のことが多いです。
８０％完成してリリースすればいいのに、残りの２０％を埋めようとあなたが頑張ったとします。
もしかしたらその自分勝手な２０％は、ユーザーに取っては不必要な２０％かもしれませんよね。
なぜならドメイン代を支払ってるんですから。その金を無駄にしたくないですよね。
で、サーバーは後、というのは開発が無駄に３ヶ月かかったとすると、その３ヶ月分のサーバー代金が無駄ですよね。
実サーバーテストは、テスト環境でテストを終えてからやればいいかなと思ってます。
まずどんなコンセプトか、どんな機能が必要か、どんなUIにすべきかという目標をたてましょう。
なぜこうするかというと、常に自分が何をすべきかが明確になるからです。
なにも決めずにやろうとすると、
なんてことになります。
だから、頑張りすぎなくていいんです。
Webスクレイピングとは、サイトのコンテンツから欲しいデータを取得する方法です。
僕がどうやってRSSサービスを作ったかというと、このwebスクレイピングのおかげなんです。
広告、注目動画、アーカイブなどのそのサイトのコンテンツははじきます。
で、その主要コンテンツから、記事の画像とタイトル、URLをゲットしてきます。
やり方としては、主要コンテンツからそのサイト内部のリンクが貼られたimgタグを探し出します。
そして、そのリンクのタイトルまたは記事のタイトルを取得します。
こうすることで、そのサイトの更新一覧から更新記事のURLとタイトル、画像がわかります。
BootstrapはウェブサイトやWebアプリケーションを作成するフリーソフトウェアツール集である。 タイポグラフィ、フォーム、ボタン、ナビゲーション、その他構成要素やJavaScript用拡張などがHTML及びCSSベースのデザインテンプレートとして用意されている。
これを利用すると、基本的なWebサイトのデザイン（htmlとcss）が手に入れることができ、そのまま利用できたりします。
デザインを作る上で、非常に助かります。なぜなら最初からすべて自分でコーディングする必要がないからです。
僕は以下の時間に開発をしてました
だと思います。
どうしているかというと、Readdleの「Downloads」というスマホアプリを利用しています。
これは写真やファイルをクラウド上に保存したり、Dropboxや外部サーバーとファイル共有をすることができるアプリです。
画面は小さくてストレスがかなーーーりありますが、僕は外出中はこれでプログラミングをしています。
通勤中にこれでプログラミングをし、降車した後の徒歩で続きのプログラミングをキリが良いところまでする、という感じです。
また、歩きながらでもテストはできると思うので、歩きながらプログラミングは難しいという方はテストだけでもやってみはどうでしょうか。
Webサービス俺もやってみようかなーと少しでも思ってくださった方へ、
僕は開発をしながら、本当にやりたいことがあったら、時間はいくらでもつくりだせるなって感じました。
歩いてるときだって、トイレにいるときだって、電車にいるときだって、いつだって今の時代はできるんですよ。
それだけ現代って便利で、生きやすくて、なんでも挑戦しやすい環境のある時代なんです。
恐らく、少し前の時代、スマホが出る前の時代では歩きながらプログラミングなんて考えられないと思います。
そう考えると数年前と今って格段に何かを始めることができやすい時代なんですよ。
それでも挑戦しないって、もったいないねーなーって思ったんですよね。
だから、なにか本当にやってやりたい！！！ってことがあれば、まず一歩を踏み出してみてください。
ググれば、一発ですよ。
こんなことGoogleが日本に来るまでは考えられないことですよ。
だって、昔の検索エンジンって十分に欲しい情報が手に入らなかったですもんね。
僕も高校時代とかCROOZ？とかヤフーカテゴリー？とかで携帯でぽちぽち検索してた記憶があります。
xvideosを見るよりもスクレイピングサイトを見る方が見たい動画が探しやすくて効率がいい。
俺はもうかれこれ5年前からxvideosをスクレイピングサイトで見ている。
ア動ブ
↓
アゲサゲ動画
↓
↓
http://b.hatena.ne.jp/entry/av-erodouga.com/
上記にあげた沿革に入っていないサイトも実はいろいろ使っているのだがクリックを何度かするとお金を請求される詐欺広告が散見される。エロサイトのサーバー台、サービスの対価を得るために広告は必要だと思うが詐欺広告はいかがなもんかと思う。エロの世界でも真面目に運営しているサイトもあれば不真面目に運営しているサイトもあり、管理人の人間性が透けて見えてくる。無理が通れば道理がひっこむという言葉があるけどエロの世界で無理は通らない。詐欺広告を掲載しているサイトはいずれアクセスが減るというのがこれまでの定点観測で分かった。
例によってrailsの勉強と称してエロサイトを作ってみました。
ただ、トップページからデータを引っこ抜いてきて並べ替えただけで、
技術的にどうという点は、びっくりするほどございません！
http://www.xvideos-downloading.com
問題は、先方ページの引っこ抜き。
ローカルでは問題なく動作したものの、サーバ上では当然の様に動かず。
空きポートとか見てるんですかね？
と言う訳で、
まぁ、普通に動きました。
が、
あれ？止ってる。
マイルドなDDOSをくらってませんかこれ？ｗｗｗ
こちらからアクセスすると、自動で反撃が来る構造ですｗｗｗｗｗ
ご馳走様ですｗｗｗｗｗｗｗ
暫定の暫定で、
どうにも落ち着きません。
cybersyndrome辺りから一覧を取得し、
XVIDEOS恐るべし！
みなさん、こんにちは。
俺が作ったこのサイトでもこのWeb APIを利用させて頂いていたのですが、昨日から急に利用が出来なくなりました。（サーバーダウン？）
このままだと更新作業に支障が出て来るので、劣化版ですが緊急で同様のAPIを自作しました。
エロサイトを製作されている方は俺よりも技術力をお持ちと思いますので必要無いかとは思いますが、もしかしたら困っている人が居るかもということでノウハウを共有します。
WebAPIとして一般公開したいのですが、まだ完成度が低く自分１人で使うだけでも重いので、作成方法をノウハウとして公開しました。
もしもこのままオリジナルのAPIが復旧しない場合は、別途サーバーを用意してAPIの公開・もしくはソースの配布を行いたいと思っていますので、改良方法や作成のノウハウをご存知のかたは是非トラバ・ブコメをお願いします。
Xlist : http://xlist.info
それは上位5%だけね。
ほとんどの仕事は、海外のフリーツールやエクセルでちょっと組める人が組めばなんとかなる仕事。
そもそもホントの意味で機械学習とか要求される業務ってほとんどないから。
ほんと、大手企業さんのなぞのビッグデータ予算の奪い合いでしかないので、実際の仕事はたいしたことない。
だからこそ、大手企業むけ営業につよいアクセンチュアとブレインパッドは提携したわけね。
2.コンテストとかにでて”ブランド”をあげてくれるエンジニア、なんだよね。
本当の実力いらないんだよね。電通や博報堂と同じ。営業＋クリエイティブだけど、クリエイティブに求められるのはコンテストで入賞することであって売上を上げる能力ではない。
クリエイティブで売上を上げる能力とか、大したことないのでそのへんのフリーのマーケ屋、フリーのクリエイターに外注する20倍の報酬貰うわけにはいかないじゃん。
ぶっちゃけ、ブレインパッドでの仕事の9割はランサーズで10万円でスクレイピング（）やってーっていってる連中と同じ技術水準でなんとかなる。
まあ、たまーに高度な仕事あるけどね。
社員のほとんども今後はデータサイエンティスト（）がキャリアアップだと思ってる人が多い。
ゆーすけべーさんが以前に作ってたimeeroみたいな感じです。画像Blogをスクレイピングしてエロ画像を効率的に見るサイトです。
なお、先程解約手続きを済ませたので4月末くらいに見れなくなります。エロサイト自体にあまり興味がなく、ローンチしたらやる気が無くなったのです。
テスト駆動開発がやりたく、DSLに強いロック魂を感じたRSpec。
はやりに乗ってBootstrap。
特にCapistranoは名前がキュートでやっていることがカッコイイのでどうしてもやりたい技術でした。
あと、メインとなるRailsはこの記事に書いているスキルの中で唯一経験が無かったというのが一番の理由です。Rubyが好きなのもありますけどね。
いやぁ、退職しようとすると会議室で8時間説教されるって都市伝説じゃないんですね〜。
ところで転職活動をした感覚だと、今より給与が2倍出るところでも簡単に内定が出ることが分かりました。
転職活動やエロサイト作成を通して精神的な余裕も出ましたので、もう少しSIerそのものの問題、仕事の進め方などを熟考した上で、本当に正しいSIerのあり方を考えたいと思います。無理そうなら逃げます。
以上、よろしくお願いいたします。
世の中にはマニアがあふれている。
これに尽きます。
「僕は世の中を知っている大人だ。」なんて
こんな身近に知らない世界はありました。
中でも僕を驚かせたのは
嘔吐好きとか、
ゲロはいてる女性見て、なんで興奮するんですか！？ Σ(ﾟ∀ﾟﾉ)ﾉ
そのゲロかぶって、なんで興奮するんですか！？ Σ(ﾟ∀ﾟﾉ)ﾉ
キワモノ好きなんて、
裸の女性がミミズや昆虫にまみれて、それを食ってんですよ！ Σ(ﾟ∀ﾟﾉ)ﾉ
さすがに気持ち悪くなりました。。。
男は半分の7千万人でしょ？
エロに情熱がある若者から中年層だとその半分強で4千万人として
その4千万のうち
ってどのくらいいるんでしょうね。。。
作る人がいて見る人がいるんだから、まあソコソコな人数いるんだろうなあ。。
【らぶらぶＡＶさーち】
ＡＶの検索サイトです。
ちなみに、ワンクリックで検索できるピックアップ検索は私の趣味です。ｗ
最近は、つぼみ、紗倉まな、ほしのあすか、臼井あいみがオススメです。ｗｗｗ ぐう可愛い！（゜∀゜
Nginx + php-fpm + MySQL で動いています。
言語はPHP + Smarty + Javascript(jQuery) で書いています。
あと、スクレイピング用に .NET で windowsアプリを作りました。
すぐ誤動作してしまうのですよね。。。
PHPだと対応し直しが面倒なので .NET に逃げました。。。。ヽ(°▽、°)ﾉｴﾍﾍﾍﾍ
データは、アフィリをやっている
動画サイトのduga さんと、MGS動画さんから持ってきています。
DUGA
データを常に最新にしておくために
個人的には
待ち合わせで暇なときに
てな感じで使っています。
３月で東北大学を卒業して、４月から某企業の社畜となる２２歳です。
文系の学部出身なので、ITやらプログラミングの知識は完全に独学です。
特にITに興味を持ってはいなかったのですが、就活が終わったあたりに
映画のソーシャルネットワークとかを観たりしてプログラミング勉強しようと思い立ちました。
そんで実際に勉強し始めるとなかなか興味が持てる分野だったので、去年の秋の試験で基本情報技術者を取ったりもしてました。
でもここまでひと通り勉強し終えた時点で、このあとどうしよう？ってなったんですね。
HTMLやらPHPの本を写経して、『やったー、Hello,World!を１００回分表示させたぞ！』なんてやっぱりすぐ飽きるわけですよ。
プログラマって毎日こんなことしてんの？と思ってネットを漁ってみると、色々と面白い情報をはっけん！
http://anond.hatelabo.jp/20101203150748
やっぱ何かを創ってなんぼだよね！
ということで人生最後の冬休みから構想を練り始め、今年に入ってから本格的にwebサービスの作成に取り掛かりました。
ちなみに本記事タイトルは『京大で画像処理を学んだ僕が本気でエロWEBサービス作ったった』をリスペクトさせて頂きました。
この人はIT関連が専門みたいで、創ったものもレベルが違うんですけどね。まぁキャッチーなタイトルにしたかっただけです。
やはり社会人になるとなにかと時間が限られてしまうと思うので、
多少未完成でもまずは公開してみて少しづつ付け足していこうと。
結果として、この記事を書いている時点でお問い合わせフォームとかを実装してませんし、
他にもいろいろとやりたい機能をとりあえず諦めざるを得ませんでした。
今後頑張ります。
今年の１月時点での自分の知識を大まかに説明すると、
HTML → 基本は分かる。でもdivとかをうまいこと調整するのは苦手
CSS → ぶっちゃけあんま理解してない。今回の創作物もtwitterbootstrapに頼っちゃった
PHP → 基本は分かる。forとかforeachとかwhileあたりが使えるくらいだけど、実際それで何とかなったしこれからもっと勉強するし
javascript → たしか一番初めに勉強したけど、もう忘れた。今回のサービスにも使ってない。
まぁこんなもんです。
『未痴との遭遇』
やっぱりエロいのだとモチベーションも続くし、やっててたのしいかなぁと思いまして。
１．全体像の把握
基本情報技術者を取得したんですが、サーバーとかFTPとかの単語をあまり理解してなかったんですよね。
具体的にどうすればホームページやwebサービスを公開できるのかを理解するようにしました。
上に書いたようないわゆる『つくってみた』系の記事も沢山読みました。
ふむ、手っ取り早く作るにはフレームワークとやらがいいらしい。
具体的には公式サイトのブログチュートリアルから入って、『CakePHP 入門』とかで検索して出てきたサイトをいろいろとまわりました。
覚えることは多いですが、確かに便利なので頑張って修得することをおすすめします。
とりあえずサイトの作り方はわかったので先に進む。
APIを利用したサービスがたくさんあったので僕のサイトでも使ってみようと思いました。
勉強ってほどのものではないですが、DMMAPIのコードを公開しているサイトを参考にしました。
僕の創ったサイトに必要なデータがAPIでは効率よく取得できないことがわかったので、
DMMのサイトをスクレイピングして必要なデータを集めることにしました。
Simple HTML DOM Parser ってやつを利用。
５．メイン機能搭載
まずはAPIとスクレイピングを利用してデータベースに必要なデータを集めました。
スクレイピングがうまいこといかなかったり、なぜかデータが重複しまくったりといろいろ苦労はしましたがデータベースはなんとか完成。
その後、メインページを作成して、ランダム表示ができるようなスクリプトを書く。これは簡単。
６．他のページの作成
メイン以外のページを作成。
twitterbootstrapもここで導入。
でも間に合わなそうだったので、目標達成のためにとりあえず飛ばすことに。
特に希望のものはなかったのですが、まぁそれっぽいものを購入。
問題はサーバーですよ。
初めはGMOクラウドのVPSで無料お試しをしたのですが、これがまた難しい。
ネットでいろんな情報を探して、試して、動かなくなって、OS再インストールって流れを５回ほど繰り返して断念。
結局FUTOKAのレンタルサーバーと契約しました。こちらは非常に扱いやすくて、らくちんです。
８．公開
こんなしょぼいサイトでも公開できただけでうれしいものですね。
約３ヶ月の苦労は無駄ではなかった。これで僕もクリエイターの仲間入りだ。
文系の僕でも３ヶ月でひとりでwebサービスの公開まで漕ぎ着けることができました。
この期間が長いと思うか短いと思うかは人それぞれでしょうが、自分のアイデアを現実化させることは想像以上に楽しいことですよ。
壁にぶつかることはたくさんありましたが、不思議と辛くはありませんでした。だって楽しいから。
用事がある日にも、早起きして作業することが苦になりませんでした。だって楽しいから。
変に敷居の高さを感じている人がこの記事を見て、『俺もやってみよう』と感じてくれると嬉しいです。
彼女に振られたのことと、就職がうまくいかなかったのに打ちひしがれて昨年、railsでアダルトサイトつくってみました。。
公に誰にもいうことができないので、こちらのほうでエントリーさせてもらいます。
すでに動画はたくさん!!!
• 大学4年
http://www.xvideos-av-adult.com/
• 2ちゃんねるだったりはてブが好きなのに物を作れないのが悔しかった。
• [webサービス]とか詳しい方なのにものがつくれなかった。
• Rails 3.2.8
• ruby 1.9.3p194
• sublime text 2
を使ったみました。
使いごこちはちょっとよくわからないですけど、vimとかもろもろうまくなりたいなーって思ったりしました。
• twitter-bootstrap-rails (https://github.com/seyhunak/twitter-bootstrap-rails)
• nokogiri (http://nokogiri.org/)
◦ スクレイピング。いろいろ効率よくデータがとってこれます。
• kaminari (https://github.com/amatsuda/kaminari)
◦ ページング。
• sunspot_solr
• sunspot_rails (https://github.com/outoftime/sunspot_rails)
• bullet
◦ mysql的に遅延が起きそうなコードがあるとポップアップだしてくれる
http://openbook4.me/projects/92
↑こんなサイトをみながらrailsを勉強しつつ、ネットでrubyの文法を調べたりしました。
おそらく初心者はここで一番時間かかるんじゃないんでしょうか。。
多対多のDB設計とか最初なにいってのかマジでわからないし、それをrailsで再現する方法もわかりませんでした。
bootstapをあてつつ、自分で良さそうなデザインのコードを読みながら合わせていきました。。
herokuを使いました。初心者でも使いやすい。しかも無料。
sunspotが有料オプションでしたが使ってみました。(泣ける)
それ自体は高スペックでもなんでもないですが、基本的にxvideosしかとってないので、個人的に快適に見れてます。
これからはタグ付けと動画の量を増やしていくつもりです。(動画すでに8000とかあるかな？)
http://www.xvideos-av-adult.com/
・タグ付け強化
・レコメンド強化
・キュレーション強化
毎日4時間ぐらいさわって、rubyとはなんぞや、railsとはなんぞやと調べつつ、やっていきましたら3ヶ月ぐらいでできました。
完成したらしたでオナニーがただはかどって、[彼女]振られた悲しみは増幅していきました。
彼氏いなくても人生タノシイからいらない！って言われたらかなしいですよね。
俺が楽しませてあげられなかったのかな、、と半年たった今もずるずるひきずってますね。
ちょこちょこ増加してきてリピーターがいる感じです。
プログラミングを教育に！と言ってる流れでこういうことを自力でもできたのはよかったです。
HTMLとCSS, JavaScriptはちょっとだけ分かる
dotinstallとか見てブラウザでタイマー作ってわーいって喜んでるくらいのスキル感。
→本を買ってやるのは安上がりだけど途中で挫折しそう
→じゃあお金稼ぎながら学んだらいいんじゃ
バイト始めることになった
バイト始まる
課題を出されて、できたら業務に入れる
誰も教えてくれない
ググってググってググりまくる
ひーひー言いながら2~3週間でなんとか終えた
なんとかなった
このときくらいにパーフェクトPHPを読んだ。FWは、つくれる！
あーようするにURLを受け取って振り分けたり、DBからデータ引っ張ってきて画面に表示させたりするのね
分かった気になる←分かってない
GET/POSTでごにょごにょすればいいんだね楽勝だわ←全然分かってない
FuelPHPを聞きかじって、何をトチ狂ったのか在宅でwebサービスの受託をやる
まあ良い経験になった
フレームワークいくつかやって、web開発のいろんな概念やtipsがたくさん頭に入ってきて、
あーあれかーくらいには思えるようになった
DBのCRUD操作, ORM, DBマイグレーション, RESTfulとは, コマンドラインでコード生成,認証周りのプラクティス ...
さて、バイトが本格的？になってくる
一人で開発 責任おもい
でもなんか躓いた。
書いたコードに自信が持てない
これでいいのか不安になって手が進まない
セキュリティで手直しはたくさんもらった
フレームワークにはDB操作のライブラリがちゃんとついてるのにそれ見ずに自分でSQL組み立てて案の定エスケープしてないし、とか
でも、なんとか完成させた
プッシュして、マージされて、できちんと本番環境で動いてる。やったね。
Rubyを知った
PHPと違って()が殆ど無いし、;ないし、do~endとか何だよって感じだった。
Railsも知った
それからは空いている時間の大半をRubyとRailsにつぎ込んだ
まずはRailsTutorialをやってみた
テスト周りでつまづいたけどなんとか終わらせた
dotinstallやらミニツクやら、検索して出てきた記事・チュートリアルはとりあえず手をつけて学んだ
はじめはRubyを理解せずにRailsをやっていたけど、すぐにRuby自体に興味が出てきた
はじめてのRuby・はじめてのプログラミング・たのしいRuby・プログラミング言語Ruby... 入門系の本を乱読した
PHPでさんざん苦労していたからか、Rubyでオブジェクト指向を学ぶとなんの無理もなく頭に入ってきた
その後、パーフェクトRubyで標準ライブラリやらGemやらSinatra（支那虎じゃなかった）やらについて学んだり、
メタプログラミングRubyで黒魔術を学んだりした。巻頭のMatzの言葉痺れたなー
バイトのほうも何とかこなせるようになってきた 成長すげー
Vagrantをかじる
AWSでいろいろ遊ぶ
webスクレイピングとか検索APIとか使ってムフフな画像をアハーンしたりして遊んでた
Rubyで言語をつくろうだの、スクリプティングを極めようだの、JavaとRubyがどうだの。
メタプログラミングだの、デザインパターンだの、テストだの、リファクタリングだの。
借りられる本は借りて済ませた。全部買ってると破産する
他にもRubyとつかない本もいろいろ。
プログラマが知りたい97の何とか。いい本
Rubyの関数オブジェクトからのつながりで関数型プログラミングにも手が伸びる
OOPと全く違う。
就活はじめるよー
まあ、エンジニア枠で探すことにする
エントリーめんどくさい
ので、1社受けて落ちたら次の会社エントリーするという作戦にした
無計画玉砕作戦
とはいえ、なんとかなると思ってやってく
気を揉む期間
やたらパララックスつかってゴテゴテにしてるわりに、何が言いたいのか伝わってこない
せめてよく使ってる言語くらいはのっけておいて欲しい。
で、１社選んで応募して、選考が始まった
面接、失敗したなと思ったところもあったが
嘘つかない
知らないことを知ってるように話さない
は通せたので良かったと思う。
で、進んでいって最終面接。これもなんかよく分からないうちに終わってた
相手が適宜フォロー入れて話しやすいようにしてくれたのは覚えてる
うん、ぜひ当社にご入社いただけたらと思いますとのこと。やったね。
前から気になってた会社ではあった。勝手にリスペクトしてた会社。
自分が憧れてる技術者さんたちが在籍してる会社でこれから働くことができる
いろいろと運が良かった。嬉しい
他の会社はどうしようかな。
受けてみたい気もするけれど、エントリーがめんどくさい
続けるかどうかは未定だけど、ひとまず休憩することにする
Web上に転がっている情報をプログラミングによって自動で拝借する技術を「スクレイピング」というらしい。
今まで欲しい情報を取得するときはコピーアンドペーストを繰り返していたから、もし「スクレイピング」ができたらすごい嬉しい。
ぼくは阪神タイガースが好きだから、阪神タイガースの情報をスクレイピングできたら楽しそうだと思った。
特に２軍の試合結果をスクレイピングできれば楽しそうだと思った。
だって、将来のスターは２軍で頑張っているからだ。あと、２軍の試合はいつも見れないからだ。
http://hanshintigers.jp/farm/score/score20131004.html
スクレイピングを使えばそれぞれの選手の成績を自動で拝借することができるだろうか。
もし、拝借することができたら毎日の試合結果をグラフにしてみて、２軍選手の調子を見てみたい。
２軍選手の調子が良かったら１軍にあげたほうがいいかもしれないからだ。
あいにく、ぼくには相談できる人がまわりにいない。そもそも友達がいない。友達がいないから阪神タイガースが好きな友達だっていない。
スタメン談義はいつも一人だし、唯一話すバイト先の店長は巨人ファンだ。
何をどうすればスクレイピングができるのか、よくわからない。言語はpythonとかrubyとかruby on railsとかを使うといいらしいことは分かった。
プログラミングの技術はほとんどない。昔授業でhello worldとかif文とかやったけど、もうほとんど忘れちゃった。言語はパスカルとかいうのだった。
もし助言がもらえて、pythonとかrubyとかruby on railsとかを使ってスクレイピングができたら、
みんなに公開したいし、スタメン談義をしたい。公開の仕方はよくわからないし、阪神ファンがいるかわからないけど、したい。
けど、する。
だから、助言がほしい。
プログラマといっても、大手ベンダーが作ったフレームワークに乗っかり
実際のフレームワークの仕組みがどうなっているかも全く知らない。
設計書を修正したりもするけど、言われたことを書き直すだけ。
SEなんて高尚なもんでもないし、
気が付けば来年もう３０才になろうとしている。
正直言って、うだつが上がらなさすぎる。
そんな自分を変えたくて
女性声優画像bot（https://twitter.com/w_seiyu_bot）
笑いたきゃ笑ってくれ。
できる人には数十分でできる芸当だと思う。
それでもなんとか自分を変えたくて、
０を１にしたくてがむしゃらに頑張った。
いろいろ試行錯誤を重ねて１ヶ月以上かかったと思う。
分かる人にはすぐに分かると思うけど
少しだけ特徴を紹介してみる。
仕事ではJavaやC#でプログラミングしているけど（リーマンプログラマの9割はそうだと思う。）
小規模でもいいので何か一人でものを作りたくてLLなpythonに挑戦してみた。
twitterのAPIのラッパであるtwythonっていうライブラリを使っている。
僕の唯一の趣味といっても過言ではない大好きな女性声優さん達の画像は
最近のAPIは有料のものが多いみたいなので一部スクレイピングで画像を取得している。
５分おきにtwitterのAPIで画像をアップロードしてたら、途中でbotが止まってしまった。
APIの制限で１日の画像アップロード数に制限があるみたいだ。
仕方なく時間帯を分けてtwitterのAPIでアップロードするパターンと
twitpicのAPIでtwitpicに画像をアップロードして、そのURLをつぶやくパターンを用意した。
（このtwitpicのアップロードにしょっちゅう失敗する。。。なんでかわからん）
なんとか多くの人にフォローしてもらいたいと思い、
KLOUTのAPIを利用して取得したスコアが50以上の人をフォローさせてもらっている。
（KLOUTについては僕も知らなかったけど、ググれば分かります。）
さも簡単に実装してきたような書き方だけど
一つのことをやるのに何日も何日も頭を悩ませた。
実際に運用してみてどうかというと、これがまたとんでもなくひどい。
ありがたいことに、沢山の方にフォローしていただけてはいるが、
昨日は南條愛乃さんといって三森すずこさんの画像をつぶやいてしまい
自分のユーザー名で検索するとフルボッキにされててみれたもんじゃない。
（不愉快な思いさせた方には本当に申し訳ないと思っています。すいません。）
あんなに苦労して作ったものがこんな情けない結果で本当に泣きたくなる。
所詮こんなもんかと。
それでもとりあえず、なにか変ったのかもしれない。
０が１ではなくて－１になったのかもしれないけど。。。
別に弁解したいとかそういうわけじゃないけど、
なんとかワザとじゃない、僕は声優さん達が大好きなんだ
ということが分かってほしくてモヤモヤした気持ちを
書きなぐってみた。
とりあえずこのbotをどうするかは決めてないけど、
なんとか画像間違いだけは解消していきたい。
ご助言いただきたい。
さて、そろそろ仕事に戻ろう。
最後に一つだけ言わせてほしい。
＿人人人人人人人人人人人人人人＿
＞ あすみん、愛してるっ！！ ＜
￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y￣
bootstrap使ってもカッコよくできないよ？
プログラマー向けじゃないの？
bootstrap3 の公式サイトを見ながら
CSS,Components,Javascript のタグにあるサンプルを全部作ってみた。
あまりの面倒臭さに一度諦めた。
その後色々調べたら「simple_html_dom.php」の存在を知る。
スクレイピング作業が一瞬にして終わった。
メールの設定がどうしてもできない。
エラーも出ていない。
一度諦めた。
info@xxxx.com
危ない名前は使わないのは基本だよね。
MyIsamだとインデックスに容量制限があるのでInnoDB使用
数1000件のデータなのでキャッシュやインデックスいらなかったかも。
デザイナーがプログラムやるのって後者の方が敷居は高いとは思う。
でもプログラムは勉強できるけどデザインってセンスがなきゃどうしようもない。
もう少しデザイン頑張ってみる。
デザインの教本読んでみると
この記事のブクマがすごいのでこれを生業にしてる知人Aと業界の話を書く。
Aは知り合いから教えてもらって始めたらしい。海外Amazonで買って日本Amazonで売る。
生業にしているので商品の購入金額は100万／月を超えるみたい。クレジットカード決済がメインだっけな？
法人化してて数百万の融資も受けてそれを元手にしているようです。
商品の選別とかは元増田に書いてあった通り。メジャーなものは扱わない。
売上は月間100万を超えるらしい。仕入もあるので特別儲かっているわけではないが
生活に困らない程度には利益が出るそう。キャッシュフローをうまくやれば自由にできるお金も増える。
この業界にはいま続々と参加者が増えていて数千人ぐらいのコミュニティができあがってる。
トップの人達はもうすでに自分ではやってなくてコンサルとか講師で稼いでる。
セミナー打つと1000人ぐらいは集まるらしい。
他の情報商材とは違って商品を輸入して売ってるので、先入観をとっぱらえば以外とまともな商売な気もするし
やってる本人達も「物販」なのでネオヒルズ族とかとは違うという意識を持ってやってる。
商品の選び方はツールを駆使した方法が主流。ランサーズ、クラウドワークス、SOHOビレッジに掲載されている
Amazon価格調査系の案件はたぶんほとんどこれ。AmazonAPIだけじゃ情報が足りないので
ロジックを聞いたら結構面白くて「多くの出品者が扱ってる商品で、直近で販売されて在庫数が減ってるモノ」を
スクレイピングで取得して、それを購入して出品するらしい。要は自分で商品を選ぶんじゃなくて
「他の人が扱っててかつ最近売れた商品」を機械的に販売してくらしい。そりゃ確かに売れるわな。
そんで最近はこの逆パターンをやってる人もいるらしくて、日本のAmazonで買って売るらしい。
こっちは販売数は少ないが単価／利益率が高いらしい。日本っぽいものが好きな人は海外に多いからね。
話聞いてて思ったのは無職で時間があるプログラマだったら販売管理してくれる人と組んでサラリーマンの給料ぐらいは稼げるなってこと。
そんでさらに仕組み化すれば別の人に販売できるのでチャリンチャリンビジネスにもなる。
同じ事考えてる人は多いみたいで、検索すると価格調査ツールとか出品管理とかそれ系のツールが見つかる。数は少ない。
こんばんは。27歳のニートです。
ひょんなことからエロサイトを作ったら結構デカいサイトになったのでそのことについて書きたいと思います。
巨乳動画ストリーム
http://kyonyudouga.com/
さすがにニート生活にも飽き、何かやりたいなと考えた時にアフィリエイトを思いつく。
実はアフィリエイトについては以前から知っていて実際にやったこともありました。
しかしその時は全く稼げず、またその時は他にやることもあった為すぐにやめてしまいました。
腰を据えてやったらどうなるだろうと思い、再度アフィリエイトを始めることにしました。
どんなサイトを作ろうかと考えた時に真っ先思いついたのがエロサイトでした。
アダルトサイトはアクセスを集める手法としてアクセストレードと呼ばれる
他のアダルトサイトと相互にアクセスを送り合う手法が主流です。
そのため他サイトの画像リンクが増え、とても使いにくいものになっています。
画面をずっとスクロールさせないとコンテンツに辿り着けなかったり、ひどいところは騙しリンクもあります。
当初は私もアクセストレードメインで集客をしており、サイトは画像リンクだらけ。
ごちゃごちゃしていてコンテンツの位置もわかりにくいというお世辞にも良いサイトとは言えませんでした。
そしてアクセストレードというのは結局のところ自サイトのアクセス数により送れるアクセス数に限界があるため、ある程度のところでアクセス数が頭打ちになります。
実際のところ私のサイトも1日3万PV程度で頭打ちになりました。
そのためやる気を無くし半年程放置して2ちゃんまとめブログを始めました。
そこで２ちゃんまとめブログ運営で得たノウハウをエロサイトの方で実行したことろこれが上手くいきました。
これは一般サイトでは当たり前のことなのですがエロサイトは大手サイトでさえ非常にわかりにくい構成のサイトが多いです。
一方で２ちゃんまとめブログは大手サイトほど他サイトへのリンクも少なくわかりやすい構成になっていました。
なので思い切って画像リンク等を全て外し、わかりやすいデザインに変更しました。
②多更新にする
そこで私もエロサイトに多更新を取り入れ1日に1～3回更新だったのを１日24回、1時間に１回更新というスタイルに切り替えました。
③表示速度の改善
エロサイトはとにかく重たいところが多いです。
それは①で書いた通り画像リンクが異様に多いからというのもあるのですが動画共有サイトを利用したエロサイトは誰でも簡単に作れるため
その辺りがかなり適当なところが多いのです。
CSSspriteの使用やCSS,JSファイルのminify等ページの表示速度に関する施策を行っていないところがほとんどです。
無料ブログで運営しているエロサイトはスマートフォンページをしっかり作っていないところがほとんどです。
ほぼ広告ページとしてしか使用しておらず、コンテンツと紛らわしい広告を載せていたり、
コンテンツがあっても共有サイトのプレーヤーのサイズをスマホの画面サイズに合わせていないなど
そこで私はスマートフォンページのテンプレもしっかり作り込み最適化させました。
これらを実行した結果、ページ数が増えるに従い検索からのアクセスが右肩上がりで増え
PCページ40万PV/日、スマホページ20万PV/日というサイトに成長しました。
アクセスが増えた後いくつかの動画配信サイトとサンプル配信提携をすることが出来ました。
これには凄く驚きました。こんなことがあるのかと。
SEO施策はググれば出て来るような基本的なことしかやっていません。
SEO業者も利用していませんし、今のところこのサイトしか持っていないので自演リンクも一切やっていません。
SEOについてもエロサイトは基本すら出来ていないところが多いのでそれだけでライバルと差をつけることが出来ます。
ちなみに私のサイトはビッグキーワードでアクセスを集めているのではなく(一応「巨乳」で4～7位くらいですがそのワードでの流入は少ないです)
ロングテールってやつですね。
ロングテールは検索順位の変動にビクビクせずに済むので良いです。
やはり無料ブログでは出来る事に限界があり、エロサイトとはいえ良いサイトにしたいという思いがあったからです。
wordpressでの運営経験もなくサーバー関係のスキルもないので移転にはかなり苦労しました。
我ながら良いサイトに仕上がったことと移転を期に今までの足跡を残そうと日記を書きました。
jwplayer
Sidr(スマホ)
001 Prime Strategy Translate Accelerator
Contact Form 7
Count Per Day
Exec-PHP
Head Cleaner
Infinite Scroll
Multi Device Switcher
Quick Comments
Search Everything
Search Regex
WP-PageNavi
WP-PostRatings
WP-PostViews
多分これが一番気になるところだと思います。
アフィリエイトという観点からもスマホページの重要性がわかりますね。
あとcookieを利用したブックマーク機能も実装したいです。
エロだけじゃなくて一般サイトやWEBサービスも作りたいと色々模索しております。
どうしようもないクズニートでも頑張ったらこれぐらいのことは出来ました。
ニートでも頑張れば出来るんだ！と思って頂けたら幸いです。
-----------------------------------------
03:59追記
たくさんのブックマークありがとうございます！
とても嬉しいです。
確かに見やすくて使いやすいな。
けどリンク切れ報告フォームはなくていいの？実際他のサイトでそれが有効に使われてるのかはよくわからないが…
カテゴリ分けがシチュエーション別とかもあるといいなーと思ったけどこれ以上多くすると大変かな。あまり項目を多くするとまた見にくくなるかもしれないし。
リンク切れ報告フォームは以前は置いていたのですがあんまり報告してくれないんですよねｗ
自動でリンク切れをチェックするシステムを導入する予定なのでそちらで行います。
シチュエーション別もFC2の時はタグを利用してリストを作っていたのですが
FC2はタグをエクスポート出来ないのでwordpressではなくしちゃいました。
出来ないことはないのですが手作業でタグを登録し直さなければならないので…
それだけのスキルを身につけたらどこかに就職できそうだｗ
WordPressテーマは何を使っているんだろう？
-----------------------------------------
25日02:13追記
えーと下の方でステマだとおっしゃっている方がおりますがそのサイトの製作者と私は別人です。
私はRubyなんて使えません。
こういう事を書くと余計に怪しいと思われてしまうのでしょうけども。
ステマというのは運営者や製作者、その関係者が”利用者のフリをして”モノやサービスを薦める行為の事です。
運営者や製作者自身が「こういうのやってるんですけどどうですか？作ったんですけどどうですか？」と紹介するのはステルスではないただの宣伝です。
上でも書きましたが我ながら良いサイトに仕上がったので見てもらいたいなと思ったのです。
見てもらって感想を聞きたいなと。
エロ動画サイトってアクセスが多くてもコメントもほとんど付かないし感想を聞く機会がほとんどないんですよ。
でもFC2ブログだとさすがに恥ずかしいのでね。
wordpressならまぁ見せても恥ずかしくはないんじゃないかと思いまして。
この日記はたくさんブックマークされましたけどサイトの方はほとんどブックマーク増えてません。
結局この日記を書いた主な理由はただの自己満足と自己顕示欲ですね。
仕事で３ヶ月ほどRuby on Railsに触れる機会があったので、色々と調べているうちにRailsでエロサイトを作るのが流行っているというのを知りました。
そこで、自分でも作ってみようかと思いました。
２番煎じなのは重々承知ですが、とにかく作ってみることが重要なのです。
今回のエントリでは、個人的にエロサイトを作成して公開するまで自分でやった方法を紹介します。
※公開後の状況なども書き込みします。
CuteClipper : http://cuteclipper.night-generations.info/
既にあるものなら新しく作る必要はないわけで、、、今回は自分の使いたい機能を作ってみました。
Xvideosの動画サイトの多くは、動画を選択すると他のサイト（ブログみたいなやつ）に飛ばされてしまい、
そのサイトで、動画のある場所を探さないといけないことが多くてめんどくさい。
自分で作るのならh300さんのように分かりやすいサイトにしたいと思いました。
たくさんの動画を観て廻るものの、本当にいいと思う動画は大体３本くらいです。（自分の場合）
なので、３本まで動画をストックする機能があるといいなと思いました。
本番環境のherokuはドメインの設定も簡単で助かりました。
rails newしてdb作成して、基本的なアプリを作成しました。
動画情報の解析のため、RailsのGemのnokogiriを使用しました。
nokogiriはhtmlなどの解析をして、情報を取得することができます。
Ruby - Nokogiriでスクレイピング - Qiita [キータ]
//localStrage.setItem("key","value");
localStorage.setItem("test","テスト");
//localStrage.getItem("key");
localStorage.getItem("test"); //"テスト"
レイアウトにはあまり時間を掛けず、bootstrapを利用しました。
twitter bootstrap railsを使ったら職が見つかり彼女も出来て背も3センチ伸びました。 - ppworks blog
タグクラウドはacts-as-taggable-onで簡単に実装できます。
ということで、ここまでで出来上がったものを本番環境にアップします。
herokuはgitでpushをするだけで簡単に本番環境にデプロイ出来ます。
とにかく動かすという目標のためにはherokuはベストチョイスです。
スピードに関しては、海外サーバという点が難点ですが、今回はjavascriptをメインにしたことで、それほど問題はありませんでした。
解析の仕方を覚えるためにもGoogle Analyticsを使用しました。
公開の準備として以下の作業をしました。
ただ、公開することを最優先にしたので、しっかり作りこんではいないです。
公開します。
今の投稿方法だとエラーが発生しやすいので修正してからじゃないとなぁ
後は、並び替えるだけなんですが、まずはカウントが貯まるまではソートも何もないので・・・
ストック回数だけじゃ物足りないので、評価をつけれるようにしたいです。
でも、たくさんの人に使ってもらえるものを作るというのは、とても大変ですね。
今回、CuteClipperを作りながら、他のWebアプリを観てきました。
そういうアプリの中で、自分のアプリを埋もれさせない努力を続けていかないといけないですね。
がんばります。というやる気がでました。
ども。
以前、はてな匿名ダイアリーで日記を書いた者です。
→【Ruby on Rails勉強】 xvideosまとめサイトっておいしいの？
上の記事でも書いていますが、Railsはおろか、Rubyを初めて触った人間がゼロからWebサービスをリリースするために利用しているGemを公開したいと思います。
| サイト名 | onalife(オナライフ) |
|---|---|
| URL | http://www.onalife.com |
| 説明 | xvideos動画の共有・ユーザー参加型のまとめサイト |
developmentモードで起動する際のデータベースはsqlite3を使うようにしています。
コーディング→サーバー起動→動作確認→コーディング…という流れになりますが、サーバーを起動する際に、
$ rails s
と実行するだけでサーバーが起動できるため大変手軽です。
サーバー起動後はブラウザで http://localhost:3000/ でアクセスすれば開発用のサイトを確認できます。
productionモード（本番環境）で利用するのはMySQLを使うようにしています。
理由は他のWebサイトで推奨されていたため。
sqliteの場合だと、単純にDBのデータをファイルとして扱っており、同時に複数アクセスがあった際、最初のアクセス中にファイルがロックされてしまう仕様との記事をどこかで見たため、MySQLを使うようにしています。
developmentとproductionで動作を分けるには、 config/database.ymlで分けることができます。
development:
database: db/development.sqlite3
pool: 5
timeout: 5000
production:
encoding: utf8
pool: 5
timeout: 5000
よくWebサービスのページ下にある [1][2]･･･[X]といったリンクが表示されている、あれです。
http://memo.yomukaku.net/entries/238
https://github.com/amatsuda/kaminari
Unicorn + Nginx + Rails で構築しています。
効果の違いなどはGoogle先生に質問すると大量に返答がありますのでこちらでは割愛。
ONALIFE(オナライフ)では、xvideosの動画URLや画像パスを抜き出す為に、こちらのGemを使っています。
http://himaratsu.hatenablog.com/entry/2013/04/27/002249
自作するとなるとかなり労力使いますから…こういったところは極力他の人が作ってくれたものを流用してもバチはあたらんでしょう。
https://github.com/mbleigh/acts-as-taggable-on
通常だと管理画面も rails g xxx とかやって controller 作って、 view 作って…とかやらないといけませんが、こちらのGemを使うと一瞬で終わります。
素晴らしい！！
当サイトでは、投稿していただいたxvideosの動画が不適切な場合などに消去する必要があるため、どうしても管理者向けの画面が欲しかったのでこちらを使いました。
データベースを直接操作して delete とかできちゃいます。
http://www.func09.com/wordpress/archives/1136
自分のサイトのアクセス傾向を解析して、どうすればアクセスが伸ばせるか、ということを考察するのに必要不可欠な機能です。
通常、Google Analytics にサイトを登録すると、Javascript のコードが生成されるので、それをWebサービスに貼り付けるだけで完了ですが、こちらのGemを使うと、Google Analytics で生成されるID番号のみを登録するだけで自動的に挿入されるようになります。
まだONALIFE(オナライフ)は発展途上のサービスです。
機能を拡張していくうえで、先人たちのありがたいGemをどんどんこれからも活用していければ、と思っています。
みなさんもこれは便利！というお勧めのGemがあれば是非教えて頂ければと思います。
以上、ONALIFE(オナライフ)で利用しているGem一覧の紹介でした。
http://anond.hatelabo.jp/20101206224349
http://anond.hatelabo.jp/20101203150748
http://anond.hatelabo.jp/20120914214121
まだまだ出演アーティストの予習が全然できていないので、プログラミング初心者の私が頑張ってFujiRock出演アーティストのYouTube動画をまとめて再生できるWebアプリケーションを作成しました。
まだまだ至らない部分もありますが、フジロック行く人も行かない人も楽しんでいただければ光栄です。
■使ったもの
Twitter Bootstrap
など
■参考にしたもの
・ドットインストール http://dotinstall.com/
上記で挙げた使ったもののほとんどを管理人の百式さんがわかりやすく解説してくれ非常に助かりました。
個人的には気になる言語の学習の入り口としてドットインストールを利用して、さらに詳しく知りたいときは書籍やGoogle先生で補うという流れで学習を進めています。
・よくわかる○○の教科書シリーズ http://www.amazon.co.jp/%E3%82%88%E3%81%8F%E3%82%8F%E3%81%8B%E3%82%8BPHP%E3%81%AE%E6%95%99%E7%A7%91%E6%9B%B8-%E6%95%99%E7%A7%91%E6%9B%B8%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA-ebook/dp/B007UYYU32/ref=dp_kinw_strp_1
自分は「よくわかるPHPの教科書」を読んで、実際に手を動かしてサンプルプログラムを作成していました。
・Webサービスのつくり方 ――「新しい」を生み出すための33のエッセイ http://www.amazon.co.jp/Web%E3%82%B5%E3%83%BC%E3%83%93%E3%82%B9%E3%81%AE%E3%81%A4%E3%81%8F%E3%82%8A%E6%96%B9-%E2%80%95%E2%80%95%E3%80%8C%E6%96%B0%E3%81%97%E3%81%84%E3%80%8D%E3%82%92%E7%94%9F%E3%81%BF%E5%87%BA%E3%81%99%E3%81%9F%E3%82%81%E3%81%AE33%E3%81%AE%E3%82%A8%E3%83%83%E3%82%BB%E3%82%A4-Software-Design-plus-ebook/dp/B00DUSKOFA/ref=sr_1_1?s=digital-text&ie=UTF8&qid=1373890964&sr=1-1&keywords=web%E3%82%B5%E3%83%BC%E3%83%93%E3%82%B9%E3%81%AE%E3%81%A4%E3%81%8F%E3%82%8A%E6%96%B9
私がWebアプリケーションを作りたいと思うようになったきっかけとなった本です。
どのようにWeb開発を進めていくのか和田さんがわかりやすく解説してくれています。
■FujiTubeの内容
・FujiRockの公式サイトからアーティスト名をスクレイピングしてきてDBに格納する。
↓
・YouTubeAPIを利用してDBに格納されているアーティスト名でサムネイルを取得。
↓
■今後について
今後はまた新しいWebアプリケーションを作成したいと思っているので、Webアプリケーションを作りたいと思っている方はFujiTubenのContactページから
気軽にご連絡ください。喜んで手伝います。
どっかで作ってほしいみたいなの見かけたので作りました。
※以下、開発系の話
主な使用gem) New Relic, Nokogiri, twitter bootstrap
参考)
当たり前ですが、有料会員向け動画,コンテンツマーケットの動画などは見れません。
もうすぐ30歳になるのに、昨年末で職場がなくなりハローワークに行っても求人が無いので
PHP ruby Nginx WordPress Bootstrap を使ってWebサービスを作りました。
今までバックエンドしか作ったことがなく、フロントエンドをやりたかった。
趣味でやっていて目標の物を作ったら満足し、継続してやらない。
なので今まで覚えてた事を忘れて一からやり直す事が多かった。
とゆう勢いで…
Bootswatch
Mechanize
スクレイピングしなきゃ！
いつもスクレイピングはSimple HTML DOM Parser
http://t-taira.hatenablog.com/entry/20120429/1335658939
「なにこれRubyすごいこんな数行で」
RubyでスクレイピングしたデータをMYSQLに保存までは完成。
次はサイトをどうしようかと考え…
cakePHPかな…
WordPressに決定。
一番時間がかかった…
デザインは昔からまったく出来なかったので Bootstrap に。
http://webdesignrecipes.com/first-time-wordpress-origin-theme/
ここを見ながらテーマに落としていくのは簡単でした。
WordPress初めてなのですごく参考になりました。
http://kray.jp/blog/wordpress-tuning/
http://tech.aainc.co.jp/archives/3022
Webサービスを作って公開するのが、こんなに楽しいとは思わなかった。
次はCakePHPとかフレームワークを覚えて新しいサービスを作りたい。
ruby on railsもいいな
でも、早く再就職したいです…
世界的ですもんね
乗るしかない
最近エロサイト作ってみた。みたいなエントリがすごい多いですよね。こんなエントリがあるくらい『最近流行の「エロサイト作ってみました」をいったん整理する http://anond.hatelabo.jp/20130124061507 』。
僕が知ってるだけで５個くらいそんなエントリを見た気がします。エロサイト作りのビッグウェーブが来ている！！エロサイトなら僕にも作れそう！そこで、このエロサイトビッグウェーブに乗るために僕も作ってみました！この手のエントリに食傷ぎみの方はすいません。。
『xvideos将軍』
名前はシンプルでインパクトのあるものにしようと思い、時代物が好きなので『xvideos大臣』『xvideos関白』『xvideos将軍』の３つで悩んだのですが、この中で１番偉いのは将軍だろうということで、将軍にしました(今考えたら関白のほうが偉い気がしてきました)。
まあとにかく、これで僕もアフィリエイトで年収１５０万円を稼いで社畜を脱出してイケダハヤト師のように生きれるはずです！やったね！年収150万円で僕らは自由に生きていくんだよ！
上記のまとめに登場するエロサイトは技術的に高度なことをやっていたり、かなり綺麗なUIだったりします。それはそれで素晴らしいのですが、はたしてそんなものがこの真冬に下半身裸な状態で見るエロサイトに必要でしょうか？
『可愛い子・好きなAV女優で抜ける』これがエロサイトに１番大切なことだと僕は思います。
xvideos将軍は「エロサイトは好きなAV女優の動画で抜ければ良い」という設計思想になっております。なのでデザインはお世辞にも綺麗と言えないですが、AV女優名からは結構な数の動画を探せるようになっています(例えば僕の大好きな鮎川なおちゃんだと２２本の動画が登録されています)。動画は毎日５０本づつぐらい追加されるようになっていますので、ぜひみなさん好きなAV女優で楽しんで下さい。
xvideos将軍がオシャレエロサイト原理主義に警鐘を鳴らせれば、と考えております。
技術的には特に大したことをしてないのですが、誰かの参考になるかもと思い一応のせておきます。
特筆すべきところもないですが、普通にrailsを使って作りました。現在、動画数は１万件近く入ってるのですが、サーバーが貧弱なせいかそれぐらい入れると結構クエリによっては重くなるので、New Relicを使って重いところを調べて、キャッシュしたり遅延ロードしたりするようにしています。New Relicは初めて使ったのですがherokuの場合本当にすぐ簡単に使い始められて素晴らしかったです。スマホ対応はjpmobileをつかってスマホからのアクセスの場合は別のviewを読み込みようにしていますが、、なんかbootstrapがうまくできなくて今はひどいことになっております。
サーバーはアダルトが大丈夫な日本のサーバーがよくわからかったので、とりあえず海外のは大丈夫なんだよね？ということでherokuを使いました。もしherokuはアダルト駄目だった場合すぐに移転するので教えてください。GMOのクラウドもアダルト大丈夫らしいのですが、一瞬使ってみて、コンソールとかが非常に使いづらかったので、お試し期間でやめました。
・DB mysql Xeround Cloud Database
無料プランですが、これは貧弱すぎてやばいです。お金がなくて上位プランに変更できないですが、xvideos将軍を出した今となってはすぐにアフィリエイトで秒速で１億円稼ぐ予定なので変更できるはずです。
・スクレイピング nokogiri
スクレイピングには敬愛するbabyshark http://d.hatena.ne.jp/inouetakuya/20121117/1353145846 でも使われているnokogiriを使っています。とにかく女優名にこだわって動画を保存したかったので、まず始めにAV女優名を全部スクレイピングして保存しました。現在３５００人のAV女優が保存されています。AV女優ってたくさんいるんですね。ありがとうございます。
その後女優名がのっている動画サイトを定期的にスクレイピングするようにしています。まだまだ動画が保存されていないAV女優もたくさんいるので、その辺は今後の課題です。あとリンク切れをおこしている動画も多少あるので、それを定期的に削除するようなコードも今書き中です。
デザインはbootstrapのデフォルトなんですが、ずるいデザインテクニック https://speakerdeck.com/ken_c_lo/zurui-design に登場するズルい背景を使いました。背景をちょっと替えるだけで、かなり高級感が出るのでオススメです!背景はこちらのサイトから探せます(http://subtlepatterns.com/)
広告は全然かわからないので、とりあえず一番有名そうでAPIもあるDMMのを貼ってみました。動画の下には同じ女優が出ている作品をAPIを叩いてレコメンドするようにしてます。エロサイトは儲からないってなんかで読んだので、結構広告はベタベタ貼ってみて、herokuにちょっと課金してる分くらい稼げたらなーと思ってます。
・ユーザーが動画やタグ、出演女優名を登録できたりするようにしたら面白いのかなーと思っているのでそういった機能をつけたいです。「みんなで作るエロサイト」みたいな感じです。
・bootstrapがツンデレ過ぎて結構萎えてるスマホ対応をなんとかしたいです。
・あと、スーパーフリーエージェントになって秒速で１億円稼ぐのも最近流行ってるみたいなので、そっちのビッグウェーブにも乗りたいところですがうまくいってません。
宣伝乙とか言われてしまうと思いますが、その通りなので言い返せません。でもせっかく作ったから多くの人に使ってもらえたら嬉しいじゃないですか！
xvideos将軍をよろしくお願いします。 http://www.xvideos-av.com/
まったくの素人がNginx＋Bootstrap＋WordPressでWebサービスを作成しました。
オシャレエロサイト「h300」をリリースして、10万PV/日を捌くためにやったこと
http://d.hatena.ne.jp/inouetakuya/20120410/1334058296
http://anond.hatelabo.jp/20120914214121
http://anond.hatelabo.jp/20120930171125
--------------------------------------------------------------------------------------------------------
35歳 今は事務系の仕事をしてます。たまに運転。限りなくパートに近い労働条件ですが、
仕事がないよりはマシですので、続けているわけです。
前（5年ぐらい前）からWebサービスみたいなものを自分自身で作ることができたら楽しいだろうなぁと。
TwitterとかFacebookとか数回利用したことはあるけど、詳しいことはさっぱり。
朝6：00から夜18:00まで車を走らせてゴミ回収をしていた者です。
パッカー車って知ってますか。街でよく見かけるゴミ収集車のことです。
ドラッグストアとか回るんですよ。休憩時間は15分ぐらいなんですよ。一日。馬車馬のように働いていました。
そのパッカー車で物損事故を起こしてしまい、会社に居続けることはできなくなり仕事をやめました。
エロはもともと好きだったのですが、車を運転する以外の技術は持っていません。
何か手に技術を身につけたいと考えるようになりました。ただ３０歳も過ぎたおっさんにあまり時間はないので、
資源の集中を意識し時代の流れはパソコンだということで、始めたわけです。
はじめはHTML,CSSの本で基本的なホームページ制作を学ぶ。
-----------------------------------------------------------
Bootstrap
-----------------------------------------------------------
Webサービスを作るにはプログラミングが必要なことは知っていたけど、初めてみて暗号のように思える。
プログラミングの中でもPHPは簡単なのでしょうか？最近の流れからすると、Rubyなのでしょうけど、
PHPは自分の実現したいサービスが組み立てやすい気がします。
http://www.amazon.co.jp/gp/product/toc/479733245X/
foreachやif,forなどの基本的な使い方を身につける。
プログラムは結局小さいプログラムの集まりだとどこかに書いてあった。ことを思い出す。
PHPはベタのプログラムだどセキュリティ的に弱いということでPEARを使うように。
ほかのプログラミング言語は知りませんが、PHPerというらしい。
プログラムに慣れてくるとPEARライブラリなどのクラスに抵抗がなくなってきた。
それでも、オブジェクト指向という考え方を体で理解するまで時間がかかる。
----------------------------------------------------------
http://php.xenophy.com/index.html
http://kumicyou.sakura.ne.jp/php/index.html
http://www.amazon.co.jp/gp/product/toc/479733245X/
http://www.amazon.co.jp/gp/product/toc/4797367571/
----------------------------------------------------------
----------------------------------------------------------
Simple HTML DOMParser メモリーオーバー？が発生するので頻繁には使えない。
正規表現って便利ですよね。（preg_match("/ab/", $string);など）
Webサイトのどんな情報でも切り取ったり、貼りつけることができるので。
Web上で特定の情報を好きなように集めてきて、加工することができるスクレイピングを発見。
PHPでスクレイピングするにはどうしたらいいか考えるようになり、かなり時間を使いました。
該当URLのサイトマップからリンクページ（aタグ）をすべて取得する。
ページの中にあるエロ動画URLやサムネイル画像などをファイルへ出力。
$fp = fopen("/var/www/html/sample.txt", "a"); fwrite($fp, $title."\n"); fclose($fp); }
出力したファイルの中で重複データなどないように一つにまとめて使えるように加工する。
あらかじめCronで時間を指定してファイルの情報をデータベースへ投入。
これから欲しい情報は、著作権に気をつけながらスクレイピングして集めてくると楽しいなぁと思ってます。
自分でホームページを公開するためにはサーバーが必要なことは以前から知っていたのですが、具体的には手探り状態からで
サーバはレンタルサーバとか専用サーバなどいろいろあるのですね。
全部自分で管理しないといけないため、めんどくさい気がした。結局VPSサーバに。
スピードアップのためにやったこと。データベースとアプリケーションサーバを分ける。
データベース最適化、query_cache_sizeを設定したりなど。
http://anond.hatelabo.jp/20101203150748
ウェブ開発者のための、1時間でできるLAMP環境構築術（CentOS編）
http://tanaka.sakura.ad.jp/2011/05/centos-linux-apache-php-perl-mysql-lamp.html
定番のPHP MYSQL Apacheから調べていくとNginxというWebサーバが高速だという
記事が多いので、使ってみることに。
NginxだけではPHPは動かない。php-fpmをインストール。
------------------------------------------------------------------------------------
http://d.hatena.ne.jp/yoshi-ken/20120205
http://kray.jp/blog/wordpress-tuning/
http://server-setting.info/centos/apache-nginx-2-php-fpm-install.html
http://hara19.jp/archives/5817
http://tech.aainc.co.jp/archives/3022
------------------------------------------------------------------------------------
以上の記事でNginxのproxyを設定することができ、とても参考になりました。
どうにか既存のサイトをWordPressで作れないかと考えていたら、
WordPressは固定ページとブログ用のページを分けるテンプレート構造だと知る。
WordPressはindex.phpファイル一枚あれば動くらしく、ページを表示する優先順位があるらしい。
メインページ front-page.php → home.php → index.php
そのため、fromt-page.phpに自分で作ったSmartyをそのままコピペして,なんとか既存のサイトとWordPressをミックスさせることに。
詳しくは以下の本が参考になりました。
http://www.amazon.co.jp/gp/product/toc/479736758X/
WordPress奥が深いです。
途方にくれていたところ、CSSフレームワークのTwitter Bootstrapを知る。
HTMLに少し手を加えるだけで今っぽいデザインにできる。その分、余った時間をweb構築に集中することができる。
http://panpanwatch.net/douga.php
http://panpanwatch.net/newdmm.php
DMM動画の当日配信が開始されたコンテンツをDMMのapiから収集。
http://panpanwatch.net/?page_id=5382
ネット上のエロ更新情報を収集して表示。メインはWordPressで構築。
--------------------------------------------------------------------
常日頃からネットのエロにはお世話になっていたので、なんか恩返しではないですけど、
Webサービス作るまで、ずっとパソコンの前ばかりにいたので、
こんにちは。みなさまからのブクマとコメントを多数いただき、ありがとうございます。
いろいろご意見あると思いますが、大げさな嘘などは書いていないです。
PHPを理解するのも、こちらの本を一冊やれば、それなりに理解できるようになりました。
http://www.amazon.co.jp/gp/product/toc/479733245X/
次のサービスを作成するときは本格的なアプリケーションやソーシャルゲームなどやりたいなぁと
野望だけは持っています。ですけど、ずっとこのサイトだけに集中してきたので、今はパソコンから少しだけ距離を置くつもりです。
webサービス作ってみました。
ばあちゃんの介護が必要になり高校中退し、家にいる時間ばっかりになって就職もできず手に職もないのでなんかしなきゃと思い始めたwebの勉強だけど、何を作ればいいとかアイデアなんか全然なくて成長してるのかわからず焦ってた時に下の記事を見た。
探してみると他にも色々あって、
【2012超まとめ】確実にWEBサービスを作りたい人へ【前編】
勉強するのはいいけどこのままじゃ一向に先に進めない気がしてとにかくなんか作ってみようと。
上記の通り学歴無しスキル無しの超初心者です。htmlとcssは理解できる程度。
増田あんてな
コンセプト（？）
はてな匿名ダイアリーの中で興味のあるものだけてっとりばやく読めないかなー
■0.大まかな流れ
サーバーとドメイン所得→はてな匿名ダイアリーから人気記事絞込み→Google AJAX Feed APIをつかって人気記事のFeedを出力→Bootstrapで見やすくデザイン→アップロード&公開
■1.まずはサーバーとドメイン所得（途中で投げ出さないように自分を追い込むため先に所得）
■2.はてな匿名ダイアリーから人気記事絞込み
ここではてな匿名ダイアリーのURLで絞り込んでから左下の方にあるRSSアイコン右クリックでFeedのURLが所得できます。
■3.Google AJAX Feed APIをつかって人気記事のFeedを出力
2.の項目で絞り込んだ人気記事のfeedを出力します。
特に意味は無いけどBootstrapデフォルトデザインのサービスが多いのでMetro風にしました。（なんか見た目軽そうだったので）
Bootstrap
http://twitter.github.com/bootstrap/
BootMetro(BootstrapTheme)
■注意したこと
コードの勉強とは違い実際に作ってみると色々実戦的（？）な経験が積めた。
例えばはてブuser数での切替ひとつとっても、切替ポイントをいくつ作るのか、何user以上で切り替えるのかなど使いやすさに対して深く考えるようになったり。
※ちなみに増田あんてなでは１日に更新される記事数を考慮して3user,30user,100user,1,000userで切り替えています。
これは、、
3user以上→毎日チェックしたいが意味のない記事などを省きたいユーザー向け。
30user以上→一日1～5記事くらいの更新頻度。毎日～数日に一回見る人がちょうど良いくらいの一覧。
100user以上→他人が知ってる記事だけじゃ物足りない、ちょっと差を付けたい人向け。
1,000user以上→知らなきゃ遅れる（？）レベルの有名記事だけチェックしたい人向け。
としてます。（全て目安です）
最初は、5user,10user,50user以上,1000userで考えてたんですが、下の理由により微妙に数を変更しました。
5user以上→「はてなブックマークは3user以上がブックマークすると注目の記事に載る」＝「はてブ人気記事の可能性」なのでリアルタイムに人気記事が見れない（僅かな時間差ですが）。
10user以上→更新される記事数的に3user（毎日見る）と30user（2～3日に一回見る）の間なのでターゲットがどっちつかずになる中途半端な数字（必要のないコンテンツになる可能性が）。
http://ozpa-h4.com/2012/11/20/jquery-window-scroll-position-fixed/
最初アドセンスでやろうと思って調べてみたらどうやら規約違反のようなので。
http://d.hatena.ne.jp/Hamachiya2/20120820/adsense_sidewinder
各ページを作ってるうちにサイドバー部分とか共通のコンテンツの更新が面倒になってきたのでphpで一括更新出来るように。便利。
http://benri-tools.net/contents.php?code=kyotu_menu
年末から作り始めて1月2日に完成＆公開。年越しなど未作業日もあり作業日数は3～4日間くらい。
最初2日の日にすぐ記事を公開しようと考えたが少しでも多くの人に見てもらえるよう年明けは避けた。
仕事始めの人が多い4日に公開するつもりだったが金土日は閲覧数が少ないだろうから待機。
そうこうしてる内に
http://anond.hatelabo.jp/20130104184115
webサービス系の記事が新しく投稿&１,000はてブ超え。
ひとつひとつ勉強するのもいいけどひとつのものを完成→公開させる事によって一連の流れが把握でき課題も見つかる。今後勉強する際にも理解しやすくなった。
僕が見た作ってみた系の記事は、Feedやスクレイピングとかを使ったwebサービスが多かったのでほとんど知識のない僕は同じ様なものを作ってみただけだけど、自分用にコード書き換えるときとか実用的な勉強ができ、最初から一人で一から作ろうとしてた時より、結果成長できた。最初はコピペでもいいからとにかく作るべきな気がする。
作品というには程遠いがひとつのものを完成させたことによってモチベーションが上がった。
自分が使いたいものを作るってゆうのは大前提なんだろうけどその上で他の人が使いやすいってゆう客観的な対極の目線も必要なんだなと実感。
はてぶ数でのタブ切替をページ内でやったり各月間ランキングとか後々勉強しながら追加して行こうと思ってます。
まだ全然最終型ではないですが、とりあえず見れるようにはなったので公開しました。