doc = Nokogiri::XML( open(URI.parse(url)).read )
urls = []
doc.css('a').each do |link|
　urls.push link[:href] if link[:href] =~ /xvideos.com\/video(\d+)/
end

Nokogiriのスクレイピングでaタグのリンクを取得し、URLがxvideos のものかチェックして保存って感じです。

動画を探し終えるとaタグからランダムでピックアップし次のページに進んでいきます・

動画が見つかったページはドメインをDBに記録して、しばらくしたら再びクローリングをするようにし、収集の効率化。

サイトの機能

(45 min)←コレの安心感は異常ｗｗｗｗｗｗ
http://blog.livedoor.jp/dennououjo/archives/39873075.html

これを思い出して、動画の時間を表示するようにしました。

３０分以上の表示はちょっと頑張ったところ
http://skrsv.info/30_min_more

AV女優とタグが表示されるようになっています。

これはタイトルの文字列から部分一致で引っかかったものを表示しています。

AV女優の名前を表示するためにWikipedia からとってきたら、ちょっと膨大な数になってしまったため断念。

どんだけ女優いるんだって感じですね。

DMMのランキングに載っていた方だけをとりあえず入れています。

タグも同様にDMM から

おわりに

１日でつくろうと思っていたら思った以上にサーバーが見つからないで、サーバー選びに１日かかってしまいました。

あとはFC2とか対応できたらいいなーと思います。

Permalink | 記事への反応(2) | 23:10

2014-12-04

■人工知能が人間の職を奪うについて

「人工知能が人間の職を奪うについて」と日記をはじめると非常にSF的ではあるんだが、思考実験として一つやってみる。

今回は「blogの記事を書く人工知能」。

実を言うとこんな人工知能、すでにある。適当なところからコピペして自分のblogに記事を転載するbotなんて、ちょっとプログラムをかじればすぐ作れる。

そしてこれはちょっと本腰を入れて研究すれば、すぐにかなり高性能になるだろう。

「どんなふうな記事がより注目（＝ブックマークとかアクセスとか）を集められるか？」というのは評価関数を作るのがとても簡単なので、ベースとなるデータの巨大さと機械学習で順調に成長させられる。記事のまるパクリ問題も、何も真っ正直に「人工知能として本当に文脈を理解して人間的な意味で記事を書く」必要なんてない。

http://graphics.cs.cmu.edu/projects/scene-completion/scene-completion.pdf

この論文みたいなアプローチで記事を一つの画像だと見立てれば部分を差し替えることは可能だろうし、語尾や語彙の置きかけは、それこそ巨大置換でどうとでもなる。

人間が日ごろ、ほう、ふむふむなんて巡回できるblogの数なんてたかが知れているし、機械がクロールで回収できる記事の数は莫大だ。年末年始の記事やどこそこの店に行って何々がうまかったなんて記事は毎年のようにループしている（学習ネタとして最適だ）。

この種の（人工知能と呼べるほどに高度になった）ｂotはそのべらぼうな処理能力にあかせて、アホみたいな数のサイトを運営できる。登校時間やバナーの位置やサイトデザイン、コピーの文章もリアルタイムで評価関数をぶんぶん回すbotは阿呆みたいな速度で自己進化できる。もちろんプロバイダやらが何らかの対処をする可能性もゼロではないけれど、しかしそれもほとんど意味がないだろう。回線の向こう側からは規制する根拠に乏しい。もちろんコピペもととなった記事を書いた人間からすればパクリであり著作権違反だが、それを証明するのは手間だし、照明をあきらめるほど飽和攻撃を行う処理速度がbotにはある。また、人工知能的な記事合成、変換、結論変更、文章アレンジは、しばらくすればパクリをパクリだと証明するのさえ難しくしてしまうだろう。何せblogの記事というのは画像と比べて１０％とか５％以下の情報量しかないのだ。

まあ、とにかく、こういうbotはすぐ開発できるだろう。現在の技術でもほとんど可能だし、数年以内には実用化できる。

で本題なのだが、こういうbotができたらどうなるか？　そりゃ、投入するでしょう。ちょっぴり初期投資をしてあとは寝てるだけで、阿呆みたいな数のアフィサイトを運営できるようになる。なんらかのステマサイトも似たような手法で運営できるようになる。ちょっとの技術でネオニート生活！　投入されないわけがない。

そしてひとたび投入されれば、それは加速度的に高性能になっていくだろう。機械学習の結果出力っていうのはだいたいサンプルにする学習母体データの大きさや質に左右される。Webに解き放たれたクローラーはありとあらゆる泡沫Blogまで咀嚼を始めるので、その出力の制度はどんどん上がっていくだろう。

PVを金に換えるビジネスというのは一時的に大好景気になって、次の瞬間に価格破壊されるだろう。人件費が限りなくゼロに近づいてゆき過当競争になるからだ。

その世界では「人間がblogの記事を書く」という行為の価値が果てしなく低くなるだろう。そこでははてなスター獲得競争の相手がbotになってしまうからだ。相手はたしかに人間よりも記事を書く技術が低いかもしれないが、無尽蔵の体力を持ってるし、blog 記事なんてそもそも１０本書いて１つが注目集めればそれでいいような世界なのだ。１万本書いて９９９９本はずれでも構わないやつが出てきたら、体力勝負で勝てやしない。

この状況が長引けば、アフィリエイトというビジネスモデルそのものも破壊されるだろう。いやそもそも、アマチュアが公開の場所で記事を書くという文化そのものが破壊される可能性もある。

Webの世界は会員制のFacebookやGoogle＋みたいなもので分断され、今度はその内側から個人の記事をビッグデータにぬいていくBotが蔓延するだろう。

こういうBotは廉価なサーバーマシンで動かすことができる。実際作ってみないとはっきりとは言えないが、それこそ数百体動かせる可能性もある。性能が十分に周知されれば、「日本語のBlog 記事を書く人」よりも「日本語のコピー合成記事を作成するBot」のほうが多くなることは、けっしてありえない状況ではない。

事ここに至って、人工知能は「あるジャンルの職を奪う」ことに成功する。奪われるのはアフィリエイトで暮らしていた人間のBlog書きだけではない。それを端緒に広報を生業にしている多くの人も職を奪われる可能性がある。状況はおそらく大混乱にちかくなるので、今の時点では、この種のムーブメントにおいて電通博報堂のような広告代理店が大きく成長する可能性もあるし、致命的な打撃を受ける可能性もある。成長するにした所で、今のような体育会系的営業の会社で居続けることはできないだろう。開発や分析の理系部署が今の１０倍以上の大きさになるだろう。グループインタビューなんかやるよりも、匿名掲示板のログから消費行動の傾向を出したほうがよほど精度が高い企画が作れてしまう。

人間の職を奪う、というのはこういう光景を雇用面から減少を表現した言葉であって、実際に起きることは雇用の減少だけではない。文化や消費行動の破壊ともいえる変化だ。

まあでも俺はだから人工知能研究が怖いとか規制すべきとは思ってないんだけどね。いいぞもっとやれって思う。

Permalink | 記事への反応(1) | 07:58

2014-10-26

■とある サイトの構築

rssフィードをパースしてスマホ用のhtmlに展開してs3にpushするスクリプトを書いて

heroku にあげて heroic scheduler でdailyで動かすものをつくってみた

スクレイピングをするところまでやりたいけど、もう少し時間かかるか、、

rubyによるクローラー開発技法読みながら勉強しよう

http://sp.eropop.net

Permalink | 記事への反応(2) | 01:58

2014-09-16

■スクレイピング サイト 作成

前に一度作成したエロサービスサイトをリニューアルしてみた。

http://kawasaki.soapjou.com

ソープ嬢のスクレイピングサイト。

前回の反省を踏まえて少し見やすくできたと思う。

前回の反省点

「モバイルファースト」とかよく言われてるけど、本当にスマホからのアクセスが多かった。

　広告のクリック率考えるとPCの方がおまけになってしまうかもしれない。

訪問ページのほぼ100%が詳細ページ（女の子の名前と店舗名での検索）だった。

　詳細ページに回遊率を上げる仕組みが必要、逆にTOPページとかはアクセスないしどうでもいいっぽい。

デザイン

もうあきらめた。

Bootstrap使っても自分では無理なのでフリーのテンプレートを使用。

クローラー

「simple_html_dom.php」最高だと思う。

Librahack 事件を忘れないように相手のサーバーを思いやる設定（時間と頻度）にする

また、画像はバイナリ比較をして更新された画像のみを取得。

サーバー

無修正サイトなど国内法に触れるもの以外のアダルトサイトはGMO 一択だと思う。

安いしサポート充実してます。

ドメイン

お名前.com 安いし代行サービスがタダ（重要）

たまにエロサイトでWhois ダダ漏れの人いるよね。怖いね。

アフィリエイト（予定）

前回はDTIを使用していた。

コレは動画の紹介とかやる気のある人以外効率よくないと思う。

前回は誰にも買われなかった。放置サイトはPPCがよいのかな。

忍者、i-mobileなどの大手アダルト可PPCを予定

おわり

Webデザインには

「はじめにAdobeありき。」

である。

全てのサイト合わせて月5000円以上儲かったら（道のり遠い）買ってみる。

Permalink | 記事への反応(1) | 11:25

■スクレイピング サイト 作成

前に一度作成したエロサービスサイトをリニューアルしてみた。

http://soapjou.com

ソープ嬢のスクレイピングサイト。

前回の反省を踏まえて少し見やすくできたと思う。

前回の反省点

「モバイルファースト」とかよく言われてるけど、本当にスマホからのアクセスが多かった。

広告のクリック率考えるとPCの方がおまけになってしまうかもしれない。

訪問ページのほぼ100%が詳細ページ（女の子の名前と店舗名での検索）だった。

詳細ページに回遊率を上げる仕組みを作って、逆にTOPページとかアクセスないしどうでもいいっぽい。

削除してしまった為再登録します。

Rails3 とTwitter Bootstrapで、オシャレなエロサイトをつくってみました。

http://anond.hatelabo.jp/20120708161051

に感化されてサイト作ってみた。

bootstrap使ってもカッコよくできないよ？

プログラマー向けじゃないの？

http://searchjou.com

デザイナーって好きなサイト作れていいよなー。

デザイン

bootstrap3 の公式サイトを見ながら

CSS,Components,Javascript のタグにあるサンプルを全部作ってみた。

デザインわからん。一度諦めた。

クローラー

一番経験のあるPHPを選択。

最初は正規表現でガリガリ書いていたのだが

あまりの面倒臭さに一度諦めた。

その後色々調べたら「simple_html_dom.php」の存在を知る。

スクレイピング作業が一瞬にして終わった。

サーバー

Root欲しいのでVPSを探す。

GMOがアダルトOKっぽい、安いので決定。

postfix + dovecot でメールサーバー構築

メールの設定がどうしてもできない。

仕事で何度も設定しているのに意味不明。

エラーも出ていない。

一度諦めた。

しかし、サーバー代払ったので再度トライ。

info@xxxx.com

とメールアドレスを作成していたのだが

システムのエイリアスで「info」を使用していたため

メール転送出来ずに受信できなかったもよう。

危ない名前は使わないのは基本だよね。

/etc/aliases　は確認しましょう。

データベース

Mysqlを使用、一応クエリキャッシュ設定

MyIsamだとインデックスに容量制限があるのでInnoDB使用

表示

php + Smarty

キャッシュはSmartyで実装

プログラマーだからデザイン出来ないんじゃなくて

自分にセンスがないのが原因な事が判明。

出来あがったサイト

川崎のソープ嬢を検索 - サーチ嬢

http://searchjou.com

数1000件のデータなのでキャッシュやインデックスいらなかったかも。

プログラマがデザインやるのと

デザイナーがプログラムやるのって後者の方が敷居は高いとは思う。

でもプログラムは勉強できるけどデザインってセンスがなきゃどうしようもない。

おわり

もう少しデザイン頑張ってみる。

デザインの教本読んでみると

最初に「Adobe」ありき。で話が始まるけど敷居高くない？

Adobe クラウドの月5000円でも高いよー。

Permalink | 記事への反応(0) | 11:09

2014-08-13

■http://anond.hatelabo.jp/20140813005622

クローラーだけで1日10 アクセスぐらいくるぞ

Permalink | 記事への反応(0) | 01:11

2014-08-02

■「ご遠慮ください」「お控えください」は禁止だろうか？

クローラーをこういう文言で規制？してたんだけど問題が起こらないように配慮すれば許されるかな？

ダメかな？

Permalink | 記事への反応(0) | 16:21

2014-05-21

■プログラミング 勉強したけどアイデアがないから誰かちょうだい

今年に入ってからプログラミングを勉強し始めて、php、javascript、pythonでとりあえず動くものを作れるようになった。各言語のメジャーなweb フレームワークも使えるようになったし、過去の株価ダウンロードしてmysqlに突っ込んでta-libでシストレのバックテストして遊んだり、ニコ動のタグ検索結果のクローラー作って新着があればメールで知らせてくれたりするの作ったり、websocketためしてみたりbackbonejsで遊んだりもしてる。ニートだから時間が無限なのもあるけど、5か月弱でずいぶんできることが増えてきたなと思う。そろそろ何か作って公開してアフィで稼ぎたいなと思い始めた。でも何も出てこない。今月入ってからずっと考えてるのに作りたいものが浮かばない。いくら勉強してもアイデアがなければ無意味なんだと気付いた。誰かアイデアちょうだい

Permalink | 記事への反応(1) | 12:31

2014-05-19

■http://anond.hatelabo.jp/20140519101725

何のこと？アルタビスタもAppleもGoogleには買収されてないと思うが

ただし当時のYahooやオバーチャはディレクトリ型検索であって、キーワード検索には否定的だったけどな。

当時はまだ権威主義的であり審査があった検索エンジンが主導であって、クローラー型の検索エンジン　およびそれに広告をつけるというキーワード検索の技術は

それこそGoogleが牽引したものだ。

Permalink | 記事への反応(0) | 10:23

2014-01-21

■エロサイトを立ち上げた引きこもり～魂の物語～エピソード7

---------------------------------------------------------------------------

動画エロサイト←これが僕の作ったサイトです

---------------------------------------------------------------------------

前回の続き

苦労して作ったサイトがGoogleの検索エンジンにインデックスされていないという衝撃の事実を知り、

なんとか持ち前のポジティブさで、持ちこたえた僕。

とりあえず、Google先生の指示通り、ウェブマスターツールに登録後、サイトマップを作ってみました。

それから、僕はひたすらhtmlを見直したり、デザインを変えてみたり、自分が知っている事と

出来る事だけを着々と進めた。

２週間が経った昼下がり、何気なくサイトのURLを検索してみた。

ｷﾀｷﾀｷﾀｷﾀ━━━(ﾟ∀ﾟ≡(ﾟ∀ﾟ≡ﾟ∀ﾟ)≡ﾟ∀ﾟ)━━━━!!

ｷﾀ━━━━━━━━m9( ﾟ∀ﾟ)━━━━━━━━!!

インデックスされてる！！

☆-ヽ(*´∀｀)八(´∀｀*)ノｲｴｰｲ

ただクローラー様が到達してなかっただけだったのね

さて気になる検索順位はと・・・・

「ど圏外」

Σ(っﾟДﾟ；)っ

SEO 対策について

えーっと今から当たり前の事いいます。

検索エンジンにインデックスされる事がゴールではない！

検索順位を上げるには、それなりの対策が必要です。

サーチエンジン最適化、略して「SEO」

これがかなり重要というか、これ無しでは、もはやサイトを作る意味すら無いようなもの。

だって誰も見る事ができないサイトは存在してないも同じだよなあ。

さて、何の知識も金もない僕がどうやって学べばいいのか。

やっぱネットで探すかな・・・

待て待て、そもそもネットでSEOを教えるサイトってどうなんだろう？

そのサイト自体もSEO 対策して上位表示させたいわけで、

それなのにその知識をネットでばら撒くとはこれ如何に！？

とは言ってもそれ以上に情報源はない・・・やるしかない！

でもSEOのサイトって結構あるしなあ。

そこで僕は無い脳みそ絞って考えた。

もしかして「SEO」というキーワードで、トップに表示されてるサイトって

すごいSEOの力があるんじゃまいかと・・・

とりあえず「SEO」検索してトップに出てきたサイトがコレ↓でした。

http://www.searchengineoptimization.jp/

よしこのサイトから全てを吸収しよう！

３０分後、激しい頭痛が僕を襲ってきた。

全くわからん…

発想を変えればSEOは簡単

なんだか色々と細かい技術が基本としてあるらしい。

それはおいおいやるとして、一つ気になった記事があったので、以下抜粋。

<発想を変えればSEOは簡単>

その情報を本当に求めている人であれば、検索を繰り返して必ずその情報にたどり着いてくれます。検索からの流入を増やすことは簡単です。その情報を必要とする誰かに向けて情報を発信するだけす。情報を求める人々は検索エンジンを繰り返し使って、その情報を探し当ててくれます。

・人々は検索エンジンを使って情報を探しています。その情報を公開すれば、それは人々に届きます

・公開する情報がより有益で高品質なものなら、それは検索され、再共有され、リンクされ、検索結果のランキングも上昇し、さらに

・自画自賛、売り込み、売上げ自慢や能力自慢の類いは情報ではありません。コンテンツでもありません。役に立つ情報の発信に努めましょう

・あなたの情報が役に立ったというその事実の積み重ねによって、ユーザーとの間に信頼関係が生まれます。その信頼関係が明日の売上げを作ります。これはオフラインでの接客や営業と何ら変わりません

最終的にコンバージョンが欲しいというのはわかります。しかしコンバージョンを獲得したいのであれば、その前に信頼を獲得しなければなりません。信頼を獲得したいのであれば、その前に接点を獲得しなければなりません。接点や信頼の獲得のためにウェブ上でできることは、ユーザーの役に立つ情報の発信です。

SEOは簡単です。きちんと取り組めば必ず結果はついてきます。しかし時間と手間がかかります。様々な邪悪な誘惑もあります。お客様を想い、お客様に貢献したいと望む強い気持ちが必要です。誠意と熱意、そしてそれを継続する根気が必要です。しかしそれらは日々の取り組みを通じてウェブ上に立ち現れ、お客様の心を動かします。

なるほど。

当たり前だけど検索エンジンを使って検索するわけだから、まず検索する相手がいるわけだ。

そしてその検索者はもっとも自分が欲しい情報を手に入れたいわけで、検索エンジンは彼に対して

最適な検索結果を目指す。

この基本的な構造の流れを汲んでサイトを修正したり、時には技術を駆使して適切なサイトに作り変えてゆけばいいのかもしれない。

なんだか少しだけやる気出てきた(^-^)p

つづく

Permalink | 記事への反応(15) | 22:38

2013-12-19

■エロサイトを立ち上げた引きこもり～魂の物語～エピソード6

---------------------------------------------------------------------------

動画エロサイト←これが僕の作ったサイトです

---------------------------------------------------------------------------

前回の続き

htmlの学習に加え、サイトを作りながらCSSを勉強中。

苦労の甲斐があってエロサイトのおおまかな枠組みはできてきた。

ここまできて僕は、どうやったらwebサイトとして機能するのだろう（ヤフーとかグーグルとかに載るんだろう）？

という疑問を持った。とゆうか最初にその疑問を持てという話でもあるが、とにかく僕は急にそう思い始めた。

ちょっと試しに自分のサイト名で検索してみよう。

Google先生！僕のサイトは今どんな感じですか？

とりあえず、キーワードはサイト名の「動画エロサイト」でお願いしまつっ！！！！

（期待に胸をふくらます僕）

すると先生は意外な一言を放った。

「分からん」

先生またご冗談を。全知全能の先生がそんなはずないじゃないですか。

僕のサイトは今エロ動画で何位なんですか？

何位だって驚きませんよ。あんまり気を遣わないでください。

何百位でもかまわないですよ。まだ始めたばっかりですから。

それでは、先生、改めて僕のサイトの順位のご発表をお願いします！！

ドゥン！ドゥルルルルルルルルルルルルルルルルルルルルルルルルルゥ！！

「載っとらん」

Σ(っﾟДﾟ；)っ

検索エンジンとサイトの関係

検索エンジンは「クローラー」とか「スパイダー」と呼ばれるプログラムを使って、web上に存在するページの情報を集めるらしい。クローラーがウェブ上を自動的に巡回して集めたデータをデータベースといういわばデータの貯蔵庫のような所に登録する。

この事をインデックスする（される）などと呼ぶらしい。

ロボットがデータを収集している…

なんだか僕の知らないところで、とんでもない事が起きている気がしてきた。

とにかく、サイトはこのインデックスというのをされていないと、Googleやヤフー（のちにヤフーはGoogleの検索エンジンを使っている事が判明）Bing、infoseekなどから検索する事ができない。

インデックスされない3つの原因

クローラが巡回にくるタイミングはまちまちで、すぐインデックスされる事もあれば、何カ月もされない場合があるらしい。

どうしてもインデックスされないのなら下記の原因を疑ってみた方がいい。

以下、ネット情報

・クローラーにクロールされやすくなっていない

・Googleのガイドラインに違反している

・クローラー制御タグや記述がある

クローラーにクロールされやすくなっていない

クローラーに発見されやすいサイト構成や、Google ウェブマスターツールへのサイト登録をして、

クローラーにクロールされやすくする必要があります。

クローラーに発見されやすいサイト構成

クロールされやすい記事、サイトから、クロールしてもらいたい記事へのリンクを張っていくことも重要です。

とにかく露出を増やす事が重要であると考えてください。

Google ウェブマスターツールの利用

Google ウェブマスターツールへのサイト登録＆サイトマップ送信

などの改善を行なってください。

Googleのガイドラインに違反している

このガイドラインを見ると、Googleはどのような行為に対して不正とみなすのかを確認することができます。

Googleが提供するガイドラインに違反することで、ペナルティを受けてしまった場合には、最悪インデックス削除の可能性もあります。

インデックス削除はかなり重いペナルティであり、それが解除されるまでには時間がかかります。最悪の場合、悪質なサイトであると認定されてしまい、インデックスされないドメインとなる可能性もあります。ですから、Googleのガイドラインはしっかりと読み込んで、気をつけてサイト運営を行ないましょう。

クローラー 制御 タグや記述がある

この原因に関しては、かなりSEOの知識のある人でないと、そもそもクローラー制御タグや記述を利用する事がないので調べる必要はないと思いますが、一応書いておきます。

インデックスさせたい記事のmetaタグに以下の設定が入っていてはインデックスされなくなる。

noindex　このページはクロールしても、インデックスはしない

nofollow　このページはクロールしても、ページ内リンク先はクロールしない

インデックスさせたい記事へ外部からリンクを送る場合において、nofollowをmetaタグ内に記述しているとインデックスされにくくなる。

以上の点について、改善していきましょう。

まとめ

インデックスはクローラーにクロールされやすいサイトを作成し、

リンクを用いて露出を増やし、Googleのガイドラインに違反しないよう気を付ける

クローラー制御タグ・記述の有無についても要確認。

う～ん。なるほど。ここら辺はかなり重要だなあ

htmlを勉強したときにメタタグの事は調べたので、もう一度確認したらすんなり頭に入った。

あとは、ウェブマスターツールなるものに登録して、「サイトマップ」ていう単語も出てきたから

これも後で調べよう。

クロールされやすいサイトをまずは目指してみるか。

よしもう一度僕のサイトを確認してみよう(^-^)p

つづく

Permalink | 記事への反応(15) | 12:08

2013-10-28

■スクレイピング サイト 作成

削除してしまった為再登録します。

Rails3 とTwitter Bootstrapで、オシャレなエロサイトをつくってみました。
http://anond.hatelabo.jp/20120708161051

に感化されてサイト作ってみた。

bootstrap使ってもカッコよくできないよ？

プログラマー向けじゃないの？

http://searchjou.com

デザイナーって好きなサイト作れていいよなー。

デザイン

bootstrap3 の公式サイトを見ながら

CSS,Components,Javascript のタグにあるサンプルを全部作ってみた。

デザインわからん。一度諦めた。

クローラー

一番経験のあるPHPを選択。

最初は正規表現でガリガリ書いていたのだが

あまりの面倒臭さに一度諦めた。

その後色々調べたら「simple_html_dom.php」の存在を知る。

スクレイピング作業が一瞬にして終わった。

サーバー

Root欲しいのでVPSを探す。

GMOがアダルトOKっぽい、安いので決定。

postfix + dovecot でメールサーバー構築

メールの設定がどうしてもできない。

仕事で何度も設定しているのに意味不明。

エラーも出ていない。

一度諦めた。

しかし、サーバー代払ったので再度トライ。

info@xxxx.com

とメールアドレスを作成していたのだが

システムのエイリアスで「info」を使用していたため

メール転送出来ずに受信できなかったもよう。

危ない名前は使わないのは基本だよね。

/etc/aliases　は確認しましょう。

データベース

Mysqlを使用、一応クエリキャッシュ設定

MyIsamだとインデックスに容量制限があるのでInnoDB使用

表示

php + Smarty

キャッシュはSmartyで実装

プログラマーだからデザイン出来ないんじゃなくて

自分にセンスがないのが原因な事が判明。

出来あがったサイト

川崎のソープ嬢を検索 - サーチ嬢
http://searchjou.com

数1000件のデータなのでキャッシュやインデックスいらなかったかも。

プログラマがデザインやるのと

デザイナーがプログラムやるのって後者の方が敷居は高いとは思う。

でもプログラムは勉強できるけどデザインってセンスがなきゃどうしようもない。

おわり

もう少しデザイン頑張ってみる。

デザインの教本読んでみると

最初に「Adobe」ありき。で話が始まるけど敷居高くない？

Adobe クラウドの月5000円でも高いよー。

Permalink | 記事への反応(0) | 19:53

2013-08-14

■http://anond.hatelabo.jp/20130814000700

クローラーで巡回して「無職乙」とか煽ると楽しそうだな。

真昼間にスクリプト相手にイラッとしてると思うとこれはこれは大変なストロガノフ

Permalink | 記事への反応(0) | 00:09

2013-04-30

■Googleさんの感度が、エンジニアとしていじめたいくらい良いのはなぜ？

思わずスクショに撮っちゃったんだけど、『はてな匿名ダイアリー』のエントリの題名で

携帯から検索をかけたら、「48 secs ago」という表示が題名の後に表示された。

投稿日が何時間前だったのかを知らせる左下の小文字が、だ。

yahooのリアルタイム検索で、自分のTwitterの投稿内容がどれくらいで反映されるのか

セルフ検索にかけてみたことはあるけど、一分以上はかかっていたと思う。

yahooのリアルタイム検索で、専用サーバーだか線だか引っ張ってきて特殊なAPIを叩いてるだろうことを考えると、

上記の一般検索で「48 secs ago」というのはなんか、もう、異次元入ってる。OpenGrokよりわかんない。

クローラーでやっている技術的内容が全く想像できない。論文とか検索したら出てくるのかしら。

たまたま、タイミングがあったにせよIFに普通「secs」を用意する？

大学で情報系の講義を取っていた時、教授が自信満々に

「Twitter等リアルタイム性を求めるソーシャルサービスが出てきても

　Googleなどの従来型インデクサーが即時検索を可能にするとは思えない。

　従って技術的イノベーションが起きるとすれば、これからはレコメンドエンジンだっ！」と

言い放っていたのがちょうど四年前あたりだったと思う。。。四年であの教授は形にできたのかしら。

Googleは多分地味だけど確実に本業も進化してるんだと思う。あんまり話は聞かないけど。

はてな匿名ダイアリーのエントリタイトルが、特に変わった言葉がなくても

Googleの上位に来やすいのは、「はてな匿名ダイアリー」を一つのブログとしてみたときのPV数の多さ、

ぐらいしか SEO対策をしたことがない素人には想像つかない。それを思えば、PVが多いところに

ある程度ウェイトを置いてポーリング監視っぽいことをしてるのかなとも思えたが、

星の数ほどあるウェブサービスをして、それはないと個人的には思う。

とはいえ、ここはあんまり上等ではない形態素解析による単語判定、データベース化、シーケンサーごにょごにょのプロセスを

わずか数十秒でユーザーにまで反映。。。Googleの技術こえーまじこえー。

Permalink | 記事への反応(1) | 20:32

2013-02-27

■ドラマ 動画 検索エンジン作ったけど、実名で運営して良いか悩み中

いつも夜遅くまで仕事しているので

見逃した連ドラをfc2ブログとかで運用されている動画リンク集で探している。

でも、そういうサイトってリンク切れ多いし、デザイン的にもいけてないんだよね

そこで

ドラマ検索に特化した動画検索エンジンを作った。

主に自分用です。

手前味噌だけどこれはかなり便利。

海外サーバで運用しているし

iframeで動画にリンクを貼っているだけだし

動画自体はクローラーで自動収集しているので

現行の日本法では合法の範囲内。

だと思ってる

でも

海外サーバで運用していたとしても

海外企業 fc2ブログの運営者が訴えられる時代だし

リンクを貼っているだけで

著作権法助罪に該当するという議論もあるし

そもそも

Googleの検索エンジンですら

最近まで違法だった。

これって実名で運用しても大丈夫？

教えて偉い人！

アンチ意見が多いようなら

サイト閉鎖しようと思います。

ちなみに作ったのはこのサイト

http://drapi.tv

Permalink | 記事への反応(1) | 12:26

2012-12-26

■SmartNewsが叩かれてしまった　たった一つの理由

ニュースアプリリーダー「SmartNews」をめぐる議論
http://togetter.com/li/425926

SmartNewsが叩かれる発端となったIT戦士こと岡田有花(@yukatan)さんの発言日時に注目して欲しい。12月20日である。これが何を意味するのか。netwatherならもうおわかりだろうが、一応以下のサイトを見て頂きたい。

IT戦士ゆかたんクリスマスの思い出
http://okadayuka.com/

つまりまとめると、今年もロンリークリスマスを過ごす事が決定的となったIT戦士ゆかたんのイライラの矛先になってしまったという仮説である。著作権とかビジネスの問題とかメディア論とかキャッシュの問題とかクローラーの挙動とか全くの無関係だったのだ。

http://anond.hatelabo.jp/20121226010035

Permalink | 記事への反応(0) | 01:42

2012-12-23

■http://anond.hatelabo.jp/20121222014338

お前らニュースサイトがPV 乞食になって、くだらねー原稿を細切れにしてページ分けするのが鬱陶しいからこんだけsmart newsが落とされるんだろうよ。

タイトルで釣って、感想や憶測だけのオチ原稿とか、まじで時間の無駄極まりない。

お前らこそPV小銭稼ぎのために人様の貴重な時間を盗むんじゃねーよ。

PV水増しのためにお前らが読者に強いてる読み込み時間による機会損失とか考えたことあるんか？

偉そうにsmart news責める前に自分らのサイトがユーザー目線で使いやすいか考えてみろよ。smart newsを使ってるのはお前らの読者様だろうが。

まともに価値ある記事書いてりゃ媒体価値あげろよ。

ざっと原稿みてゴミ記事を判断できるsmart newsは超便利。それは間違いない。

くだらん訴訟でつぶされる前に個々のユーザーが自分のクローラー設定して、

各自で読みたいメディアをオフライン保存できるツールとして訴訟回避してもらいたい。

Permalink | 記事への反応(0) | 15:07

2012-11-27

■http://anond.hatelabo.jp/20121127143934

これの事だろ。

つか、PC版でも「Program Files」フォルダに、専用のフォルダを作らず直下にそのまま実行ファイルやら何やらをぶちまけて、しかもその状態でアンインストールをすると「Program Files」フォルダを丸ごと全消ししようとするという、お前はどこのプログラム初心者なんだというような事やらかしてたし。

NAVERだった頃はGoogle クローラーを詐称してネット巡回してた。

とにかくあの会社に関係するものには近寄らないのが一番良い。プライバシー情報の塊みたいなスマートフォンに入れるとか正気の沙汰じゃないよ。

Permalink | 記事への反応(0) | 14:56