はてなキーワード: クローラとは
2019/05/05 12:51 、全てのページに <meta name="Hatena::Bookmark" content="nocomment" /> タグが追加された模様。
古いページも、クローラが巡回後にコメントページが非表示になる事が推測される。
ので、非表示になる前に、ブックマークの大半がこのサイトのユーザ一覧はこちら。
今の同サイトの最新記事「「スマブラ」にGoogle Chromeの「あの恐竜」が参戦したらどうなるのか?何故か海外掲示板で議論が白熱す」も、上記6ユーザの中最後の一人を抜いた5ユーザがブクマしてる
それどころかまだ俺は自前クローラ使ってるぞ
まず、自分はweb製作会社に勤めてる身なので、一通りの制作手順は知ってる。
そして、アダルトアフィリエイトサイトなるものを教えてもらった。
なんせ金にならん。(※webクリエイターは金など気にせずシコシコ勉強するのが大事)
といっても、お金はかけたくない。
できれば無料で。
そして、色々調べた結果、
まあ、無料なだけあって、色々縛りはつくんだよね。
最初はスクレイピングで、ほぼ自動化したサイト作ればいいんじゃね!
的なことを考えていたけど、FC2の無料サーバだと致命的なことに、DBやサーバサイド言語が使えない。
飛車角抜きで将棋しろとか、コンバイン使わずに田植えしろとか言われてるようなもんかな。
なので、フロントエンドの技術(html / css/ js)だけで、RSSとかの情報取得したりしてねー的なことをしないといけなくなった。
うーん、要はドラクエで言うなら、簡単な呪文は使えるけど、ほぼ素手でたたかえって言われてるようなもんかな。
とりあえず、サイトの体裁を整えるためにまずは、bootstrapのサンプルを改変してベースを作った。
bootstrap便利。http://getbootstrap.com/
あとは、幾つかのアフィリエイトのサイトに登録してパーツを配置。
動画も著作権やアダルト動画を載せる際の調査をして、一通りの知識を得る。
あとは、どんなサイトにするか。
ぱっと思いついたのは、普通のエロサイトよりもページ遷移を無くして、
どんどん動画を見やすいようにすれば、いろんなページから探し出す手間を省けるのではと思った。
なので、構成としては、クリックしてモーダルウィンドウの中で、動画が再生する形に統一。
動画の採取場所はDMMの無料サンプルとXVIDEOSでおk。
で、1ヶ月運用してみると、シングルページの弱点を身を持って体験した。
SEOにクソ弱すぎる。
どうしよう流行りのシングルページ(なんちゃって)にしたのに・・・どんどん検索順位が下る。
そこで起用したのがpushState。
jsでURLを書き換える技術。ただ書き換えるだけじゃなく、履歴そのものを作成してくれる。
これをすると、グーグルさんのクローラがシングルページのサイトでもうまいこと動いて順位があがった。
(若干iframeとの挙動で問題はあるが、ないよりまし。まあいける・・・。うん。)
てな感じです。
収益化はまだ全然できてないけど、仕事でサイト作るよりも自由だし、
Webエンジニアはだまって、アフィリエイトしてみるのも面白いかもね。
最近は収益どうこうより、自分が作ったサイトに人が訪問してくれるだけで嬉しくて、
↓まあ抜いていってくだせえ。
諦めるのはまだ早いぞ。
ただ、投稿後すぐ(数分以内とか)に投稿者が増田を削除してしまった場合は、クローラが間に合わなくてキャッシュを保存できていない可能性が高い。
この場合は本当にどうしようもない。