「クローラ」を含む日記 RSS

はてなキーワード: クローラとは

2019-05-05

Eggplant Gaming(エッグプラントゲーミング) が大好きなアカウント一覧

2019/05/05 12:51 、全てのページに <meta name="Hatena::Bookmark" content="nocomment" /> タグが追加された模様。

古いページも、クローラ巡回後にコメントページが非表示になる事が推測される。

ので、非表示になる前に、ブックマークの大半がこのサイトユーザ一覧はこちら。

b:id:Ventax000

b:id:OmonoJunpei

b:id:Tewpa

b:id:Vitokawa

b:id:Namaha

b:id:NamahageVege

今の同サイトの最新記事「「スマブラ」にGoogle Chromeの「あの恐竜」が参戦したらどうなるのか?何故か海外掲示板議論が白熱す」も、上記6ユーザの中最後の一人を抜いた5ユーザブクマしてる

2018-12-01

anond:20181201195506

はてなー老人会を含むインターネット老人会の面々はwgetとかcurlとかで組んだ秘伝のタレ化したWebクローラスクリプトを持っているから実際は面倒じゃ無いんだよ

anond:20181201191008

いや、はてなーならRSS/Atomフェードリーダなんて常識だし、Googleアラートもあるし、Webクローラだって運用してるの珍しくないだろ

自動巡回で取り出したテキスト情報grepして絞り込み、欲しい情報フィルタリング、そして通知なんて今の時代GUIでできるわ

2018-09-14

雑魚コーディングスキルで楽に飯が食える職場を探しています

電卓数字計算してエクセルに打ち込んでる職場に一人だけマクロを導入して余った時間エロ動画を見られるような職場理想です。

それなりのものを作るとき工数10倍くらいで出して余った時間エロ動画を眺めていたいです。

もっというと効率的エロ動画収集用のクローラ時間を割きたいし、余った時間エロサイトが作れるような職場がいいです。

休日勉強しろとか、納期前で徹夜とか、そういうハードなところは嫌です。

プライベートエロ動画の整理があるので。

紳士データ10TB超えると見たり使ったりすることよりも、ディレクトリ分けや不要データの削除、バックアップ環境の整備が大変なんです。

いい職場を探しています。どうぞよろしゅう。

2018-07-11

anond:20180711165459

ワンチャンどころかピコチャンくらいやぞ…>スクレイピングツール

PHPおじさんが敢えて語るべきことでもないが、スクレイピングだったりクローラだったりなんてゲーム開発者flappy birdクローン作るのと同じくらいの手慰みワークだからな…

2018-06-28

anond:20180628194115

お前はJavaPHPクローラ作る作業に戻るんだ

nodeは諦めろ

非同期処理を扱うには知能が足りてないからな

2018-05-24

anond:20180524114055

横だが落ち着け

追記

言語を書き足して更新までしてるのにまだ読み取れないか

プログラミング言語などに頼らないとクローラも書けないのか」とは書いてないだろ?

anond:20180524113140

コードを書かなきゃプログラマとしてお仕事出来ないってのは二流未満。

ましてやPHPが無いとクローラも作れない等論外。

もっと手を抜け。

2018-05-08

anond:20180508164921

そりゃ機能的には同じだが、node.jsで作ったクローラPHPで作ったクローラじゃ

ソースの刺々しさが違うよ。なんだかんだでnode.jsの方が処理はスッキリ書けるが、

からといってソース無駄な部分(カッコとか演算子とか)はnode.jsの方が圧倒的に多いよ。中カッコも多いからトゲトゲしてる。

anond:20180508164729

でもお前が作ってるのってクローラとかじゃん

そりゃ何で作ったって同じだよ

selenium遅すぎ

せっかくBOT作ろうとしたのにドキュメントの読み取りやら操作やらに時間かかり過ぎで全く実用的ではない。

少なからシングルクローラを動かそうとしてもクソ雑魚ナメクジスローロリス)程度のスピードしかクローリング出来ないからいつまで経ってもクローリング完了しない。

こんなんならまだHTML解析して作るクローラの方がマシやぞ。

2018-05-02

数日前に作成したfacebook api使って作った機能が、

昨日のセキュリティバージョンアップ会見での

仕様変更で使えなくなったあーあーあー!_(:3」z)_

てかSNS自分顔写真載っけて場所晒し名前晒し

年齢晒してんのに、それをクローラ収集されて使われたか

個人情報流出って何だよ!馬鹿かよ!

2017-10-27

祝・ブログ登録1日経過!

Googleクローラが来てくれました!

アクセス数は300%の増加になりました! つまり4!


大昔はてなダイアリーがあったころはダイアリートップに「新着更新一覧」があって、ボットでもタイトル誤読勘違いでもなんでも一応の水増しアクセスがあったもんだけど

クローラーとかそういうの排除してだいたい人力のアクセスだけきちんとカウントするようになってると現実の風がなかなかに冷たいな

……いや、いまのとこ特段有用コンテンツもないんで、逆にこんなんでたくさん来てもらってもんああああああってなるんだけども

どこだかのブログサービスの「画像でもなんでもアカウント名のコンテンツへのアクセスがあったらとにかく1と数えるカウンター」あたりは嘘だらけだけど優しいのかもしれん

2017-10-15

anond:20171015014103

http://oreero.x.fc2.com/

まず、自分web製作会社に勤めてる身なので、一通りの制作手順は知ってる。

で、なんでこのサイトを作ったかというと、

まあ、副収入がほしかったんだ。


そして、アダルトアフィリエイトサイトなるものを教えてもらった。


ちょうどその頃、仕事以外で勉強しているものがあったが

なんせ金にならん。(※webクリエイターは金など気にせずシコシコ勉強するのが大事


で、まずはアダルトサイトを作るにはサーバを借りねばならん。

といっても、お金はかけたくない。

できれば無料で。


そして、色々調べた結果、

やはり、アダルトサイトokFC2が一番しっくりきた。

いい評判はあんまり聞かないが割と普通に動いてる。


まあ、無料なだけあって、色々縛りはつくんだよね。

最初スクレイピングで、ほぼ自動化したサイト作ればいいんじゃね!

的なことを考えていたけど、FC2無料サーバだと致命的なことに、DBサーバサイド言語が使えない。


なんだろ、webも知らない人に伝えやすく言うと、

飛車角抜きで将棋しろとか、コンバイン使わず田植えしろとか言われてるようなもんかな。


なので、フロントエンド技術(html / css/ js)だけで、RSSとかの情報取得したりしてねー的なことをしないといけなくなった。

うーん、要はドラクエで言うなら、簡単呪文は使えるけど、ほぼ素手でたたかえって言われてるようなもんかな。


とりあえず、サイト体裁を整えるためにまずは、bootstrapサンプルを改変してベースを作った。

bootstrap便利。http://getbootstrap.com/


あとは、幾つかのアフィリエイトサイト登録してパーツを配置。

動画著作権アダルト動画を載せる際の調査をして、一通りの知識を得る。


あとは、どんなサイトにするか。


ぱっと思いついたのは、普通エロサイトよりもページ遷移を無くして、

どんどん動画を見やすいようにすれば、いろんなページから探し出す手間を省けるのではと思った。


なので、構成としては、クリックしてモーダルウィンドウの中で、動画再生する形に統一

動画採取場所DMM無料サンプルとXVIDEOSおk


サイトベースは一通り完成した。


で、1ヶ月運用してみると、シングルページの弱点を身を持って体験した。

SEOにクソ弱すぎる。



どうしよう流行りのシングルページ(なんちゃって)にしたのに・・・どんどん検索順位が下る。

そこで起用したのがpushState。

jsURLを書き換える技術。ただ書き換えるだけじゃなく、履歴のもの作成してくれる。


これをすると、グーグルさんのクローラシングルページのサイトでもうまいこと動いて順位があがった。

(若干iframeとの挙動問題はあるが、ないよりまし。まあいける・・・。うん。)

てな感じです。


収益化はまだ全然できてないけど、仕事サイト作るよりも自由だし、

変更もその場で思いついたこと試せるから面白い


後半眠くて、技術よりの話になった・・・

Webエンジニアはだまって、アフィリエイトしてみるのも面白いかもね。


という感じでした。。おそまつおそまつ


最近収益どうこうより、自分が作ったサイトに人が訪問してくれるだけで嬉しくて、

淡々と息を潜めるように更新してやす


↓まあ抜いていってくだせえ。

http://oreero.x.fc2.com/

2017-10-12

anond:20171012023346

そのスレッドをここに晒しはてなーがこぞってブクマすれば、Googleクローラの優先度が上がるんじゃね?

はてブにどれくらい威力があるのか知らないけど

2017-10-03

anond:20171003110121

諦めるのはまだ早いぞ。

  1. 探したい増田URL元増田なら【 https://anond.hatelabo.jp/20171003110121 】)で Google または Bing検索
  2. 検索結果に出てきた【増田記事タイトル下のURL右端の三角印】をクリックさらに【キャッシュ】をクリック
  3. 検索エンジンに残ってるキャッシュが表示される。

ただ、投稿後すぐ(数分以内とか)に投稿者増田を削除してしまった場合は、クローラが間に合わなくてキャッシュを保存できていない可能性が高い。

この場合は本当にどうしようもない。

ログイン ユーザー登録
ようこそ ゲスト さん