「クローラ」を含む日記 RSS

はてなキーワード: クローラとは

2020-09-28

UI改悪の件でpixivがやたら上げられてるけどなんかあったのけ

クローラは正常動作してるから気づかんかった

API直叩き万歳

2020-07-11

https://b.hatena.ne.jp/entry/s/twitter.com/rita0222/status/1281386228118466560

初期はWebアプリケーションブラウザは不可分だったかHTMLの出力=ブラウザへのレンダリングと考えて差し支えなかったのだろう

その後ステップが分かれてHTMLの出力とブラウザレンダリング間には直接的な関係性が無くなった(というよりはクローラのような各種サービススクレイピングのような二次的なデータの利用方法が生まれた)が, 語が再定義されることはなかったため、Server Side Renderingと(In browserの)レンダリング暫定的区別をつけられて今に至る

のかな?

個人想像です

2020-01-09

2ちゃんねる民がホラーみたいになってる

一昔前、2ちゃんねる管理人であった西村博之氏は運営会社と揉めて2ちゃんねるを手放さざるを得なくなった

そのことに納得がいかなかった彼は2ちゃんねるコピーサイトである2ch.scを作った(ちなみに元の2ちゃんねる2ch.sc区別する際には2ch.netと呼ばれるようになった)

2ch.sc2ch.net機能的な部分だけでなくコンテンツをも丸コピーしており、2ch.net書き込みがあるとクローラが検知してそのまま2ch.scに同じ内容を書き込んでいく、

そういうトリックで建っているスレも、書き込まれた内容も、書き込み数も2ch.netと全く同じ。

一見書き込みが多く賑わっているように見えても本当は誰もいないという妙ちくりんな空間であった

最近になり純正2ch.sc民がいるというのを初めて知った。

数年前、元の2ちゃんねるである2ch.net商標関係で揉めた結果5ちゃんねると名前を変えた。

そういう経緯もあり、今Googleで『2ちゃんねる』と検索して一番上にでてくるのは2ch.scである。そう考えると不幸にもゴーストタウンである2ch.scに迷い込む人がいてもおかしくないだろう。

ちゃんねると2ch.scスレ一覧を並べて書き込み数を比較してみると、一部差分があるスレが見つかった。中を見てみると、純正2ch.sc民は簡単発見できた。

それも、全体でいうと少なくない人数。

彼らは、そこにいるのが人間だと思い込み、反応など絶対に返ってこないのにbot書き込み同意し、とき反論を期待し相手非難する。

自分2ちゃんねるの一員であるのが当たり前みたいな顔をして、誰もいないその空間に長年囚われ続けている。

なんかこれってホラー作品の題材にできそうだなって思いました。

2019-10-01

個人アプリ開発時の『ドメイン取得』ってどうすればいいんだろう

個人開発記事とか見てると大体お名前.comとかでてくるけど、

ドメインって安くても維持費が1つにつき年間数百円から数千円発生するんだよね

サーバだったら最悪VPS借りて相乗りさせれば何個サービス開発しても1台分以上は料金かからなかったりするけど

人生かけてるサービスだったり一発起業目指して開発したサービスだったらともかく、

開発したサービスが当たるか当たらないかなんて予測は無理なわけで、

ドメインを取得してしまうと1年経つごとにドメイン維持費を払うか維持費をケチって潰すかの選択を迫られることになる

ユーザー投稿型のサービス廃墟化してるなら潰す選択肢はありかもしれないけど、

クローラデータ収集する感じのサービスDBがなくても稼働するようなサービスだとマネタイズできてなくても小さな需要はあるかもしれなくてドメインのために潰すのもアレだし、

基本やっぱサブドメイン運用でいいんかなぁ プライマリドメインgoogle.comみたいにブランドみたいな位置づけで

みんなどういうルールドメイン取得してんだろ

2019-05-05

Eggplant Gaming(エッグプラントゲーミング) が大好きなアカウント一覧

2019/05/05 12:51 、全てのページに <meta name="Hatena::Bookmark" content="nocomment" /> タグが追加された模様。

古いページも、クローラ巡回後にコメントページが非表示になる事が推測される。

ので、非表示になる前に、ブックマークの大半がこのサイトユーザ一覧はこちら。

b:id:Ventax000

b:id:OmonoJunpei

b:id:Tewpa

b:id:Vitokawa

b:id:Namaha

b:id:NamahageVege

今の同サイトの最新記事「「スマブラ」にGoogle Chromeの「あの恐竜」が参戦したらどうなるのか?何故か海外掲示板議論が白熱す」も、上記6ユーザの中最後の一人を抜いた5ユーザブクマしてる

2018-12-01

anond:20181201195506

はてなー老人会を含むインターネット老人会の面々はwgetとかcurlとかで組んだ秘伝のタレ化したWebクローラスクリプトを持っているから実際は面倒じゃ無いんだよ

anond:20181201191008

いや、はてなーならRSS/Atomフェードリーダなんて常識だし、Googleアラートもあるし、Webクローラだって運用してるの珍しくないだろ

自動巡回で取り出したテキスト情報grepして絞り込み、欲しい情報フィルタリング、そして通知なんて今の時代GUIでできるわ

2018-09-14

雑魚コーディングスキルで楽に飯が食える職場を探しています

電卓数字計算してエクセルに打ち込んでる職場に一人だけマクロを導入して余った時間エロ動画を見られるような職場理想です。

それなりのものを作るとき工数10倍くらいで出して余った時間エロ動画を眺めていたいです。

もっというと効率的エロ動画収集用のクローラ時間を割きたいし、余った時間エロサイトが作れるような職場がいいです。

休日勉強しろとか、納期前で徹夜とか、そういうハードなところは嫌です。

プライベートエロ動画の整理があるので。

紳士データ10TB超えると見たり使ったりすることよりも、ディレクトリ分けや不要データの削除、バックアップ環境の整備が大変なんです。

いい職場を探しています。どうぞよろしゅう。

2018-07-11

anond:20180711165459

ワンチャンどころかピコチャンくらいやぞ…>スクレイピングツール

PHPおじさんが敢えて語るべきことでもないが、スクレイピングだったりクローラだったりなんてゲーム開発者flappy birdクローン作るのと同じくらいの手慰みワークだからな…

2018-06-28

anond:20180628194115

お前はJavaPHPクローラ作る作業に戻るんだ

nodeは諦めろ

非同期処理を扱うには知能が足りてないからな

2018-05-24

anond:20180524114055

横だが落ち着け

追記

言語を書き足して更新までしてるのにまだ読み取れないか

プログラミング言語などに頼らないとクローラも書けないのか」とは書いてないだろ?

anond:20180524113140

コードを書かなきゃプログラマとしてお仕事出来ないってのは二流未満。

ましてやPHPが無いとクローラも作れない等論外。

もっと手を抜け。

2018-05-08

anond:20180508164921

そりゃ機能的には同じだが、node.jsで作ったクローラPHPで作ったクローラじゃ

ソースの刺々しさが違うよ。なんだかんだでnode.jsの方が処理はスッキリ書けるが、

からといってソース無駄な部分(カッコとか演算子とか)はnode.jsの方が圧倒的に多いよ。中カッコも多いからトゲトゲしてる。

anond:20180508164729

でもお前が作ってるのってクローラとかじゃん

そりゃ何で作ったって同じだよ

selenium遅すぎ

せっかくBOT作ろうとしたのにドキュメントの読み取りやら操作やらに時間かかり過ぎで全く実用的ではない。

少なからシングルクローラを動かそうとしてもクソ雑魚ナメクジスローロリス)程度のスピードしかクローリング出来ないからいつまで経ってもクローリング完了しない。

こんなんならまだHTML解析して作るクローラの方がマシやぞ。

2018-05-02

数日前に作成したfacebook api使って作った機能が、

昨日のセキュリティバージョンアップ会見での

仕様変更で使えなくなったあーあーあー!_(:3」z)_

てかSNS自分顔写真載っけて場所晒し名前晒し

年齢晒してんのに、それをクローラ収集されて使われたか

個人情報流出って何だよ!馬鹿かよ!

ログイン ユーザー登録
ようこそ ゲスト さん