「クローラ」を含む日記 RSS

はてなキーワード: クローラとは

2021-01-24

anond:20210124103122

からクローラがやってくると

時間で、CPUバースト権利燃え尽きて自動的に閉鎖してしまうっていう脆弱設計だろ?そのまま自動普及はしないから、管理者が手動で再起動

その後、手動でいくつかのスクリプトを実行して、ようやくWeb再開

脆弱だろ 自動普及しないなんて

平均して2時間CPU利用率が100%に張り付くとサイトが落ちるなんて、脆弱だろ

2021-01-23

[]2021年1月22日金曜日増田

時間記事文字数文字数平均文字数中央値
009412517133.255.5
01406558164.046
02245433226.450
03163380211.371.5
04194733249.192
05183620201.183.5
06232832123.1100
07477200153.297
081161045590.149.5
09134931069.537.5
1012314147115.043
1113214834112.463.5
121941340769.142
131271210795.345
141611463890.937
151681331179.248
161801761497.953
1718424893135.339
183032766691.338
191921658586.437
202201342461.030.5
211451251286.342
2212922202172.142
2316817574104.648
1日2957300952101.843

本日の急増単語 ()内の数字単語が含まれ記事

信用経済(10), 石原伸晃(5), クローラー(10), しほ(8), 18cm(3), 虫ケラ(6), クローラ(3), きらー(5), ディスガイア(3), クロール(10), 氷河(3), 五輪(18), ワクチン(42), 麻生(13), 因果関係(7), 瞑想(8), 楽器(8), ムーブ(10), 嘘つき(10), 女装(7), 不審(6), 身長(15), JK(11), チケット(11), 洗脳(11), 絡ま(8), コロナ禍(17), 不動産(10), 信者(19), プログラマー(17), 搾取(19), 無意味(17), 騙さ(16), オリンピック(17), 反(14), 入院(12)

頻出トラックバック先 ()内の数字は被トラックバック件数

西野サロン炎上した、さいとうしほを救いたい /20210121201121(33), ■背の高い人間安易に「身長センチ?」と質問しないほうがいい /20210121202723(31), ■「オッサン趣味JKに置き換えた漫画」の逆バージョン /20210120200820(19), ■Switchなんだけど、なんでまだ気づかないの? /20210122105924(16), ■パパが毎日ご飯作ってくれたらいいのに /20210122202211(14), ■大学時代好きだった女の子がプペランカー化していた /20210122101329(14), ■泡姫に聞いたチンコサイズとか痛い客の話とか /20210122011250(11), (タイトル不明) /20210122163259(11), ■詐欺被害にあった /20210122175123(9), ■超時空世紀オーガスの設定むっちゃ面白いのに /20210122004550(9), ■ /20210122142508(8), ■ヤフコメに頓珍漢が湧いている /20210122181003(8), ■『もう中学生』が最近めっちゃ覚醒してる話 /20210121232528(7), ■「コロナ茶番」派の人間を観察してわかったこと /20210121020612(7), ■不味いもの /20210122123323(6), ■東大生安易東大ネタを振るやつ全員死んでくれ /20210122153137(6), ■ニート問題画期的解決法を思いついた! /20210122122013(6), ■自殺する奴ってなんで自殺すんの? /20210122161642(6), ■子供名前は /20210121230141(6), ■性的写真を撮れないスマホの意義 /20210122212435(5), ■掃除機洗濯機エンジンは稼働させることを「かける」っていうけどテレビオーディオは「かける」とはいわないね /20210121120618(5), ■袋麺の不都合な真実 /20210121190628(5), ■夏頃コロナにかかっておけばよかったと思ってる /20210121190833(5), ■マスクしてれば100%絶対感染しないわけ?? /20210122000745(5), ■女装コスプレイヤー価値はないの?どう努力すれば誰からも好かれる人気者になれるの? /20210122000949(5), ■さいとうしほを救いたいがキモい /20210122093306(5), ■今後の西野がやりそうなことを予想する /20210122143450(5), ■袋麺にも具をいれてほしい /20210122165801(5), ■大学一年生です。若いから分かる現状があります。力を貸してください。 /20210122172406(5), ■ネットじゃなくて本にしかない情報が多いというけど /20210122173812(5), ■自分のことを嫌いな人を好きにさせる方法はないのか /20210122175112(5), ■ある地方公務員獣医師の呟き /20210122175129(5), ■新型コロナ医療機関が逼迫しているなら /20210122180417(5), ■ここに馴染めない /20210120182029(5)

2021-01-22

anond:20210122183921

いわゆる、有名サイトリンクされて潰されるのは過去経験があって、そりゃしょうがねぇとは思ったが

オリジンクローラはもはや、やろうと思ってやったとしか思えねぇ

oriinサーバクローラとかおもしれぇことをするなぁとおもいつつ

めんどくせぇ

それにしても、個人サイトから情報を全部ぶっこ抜こうなんていうのは、久しぶりだな。

あるいみ、トイレの個室でカラオケを歌っていいとか、試供品を全部持っていって転売しても良いとか

驚愕の発想なんだが

どっちがいいかだよな

static pressでs3対応もできるが、こうやって、クローラが来るとサイトが潰れるほうが

すぐに攻撃が来たと気が付きやすいといえば、気が付きやす

2020-11-16

https://togetter.com/li/1623916

検索避けなんて迷惑なことをするなと思うし、避けたいなら認証必要にするとか robots.txtクローラ拒否するなりすべき

2020-09-28

UI改悪の件でpixivがやたら上げられてるけどなんかあったのけ

クローラは正常動作してるから気づかんかった

API直叩き万歳

2020-07-11

https://b.hatena.ne.jp/entry/s/twitter.com/rita0222/status/1281386228118466560

初期はWebアプリケーションブラウザは不可分だったかHTMLの出力=ブラウザへのレンダリングと考えて差し支えなかったのだろう

その後ステップが分かれてHTMLの出力とブラウザレンダリング間には直接的な関係性が無くなった(というよりはクローラのような各種サービススクレイピングのような二次的なデータの利用方法が生まれた)が, 語が再定義されることはなかったため、Server Side Renderingと(In browserの)レンダリング暫定的区別をつけられて今に至る

のかな?

個人想像です

2020-01-09

2ちゃんねる民がホラーみたいになってる

一昔前、2ちゃんねる管理人であった西村博之氏は運営会社と揉めて2ちゃんねるを手放さざるを得なくなった

そのことに納得がいかなかった彼は2ちゃんねるコピーサイトである2ch.scを作った(ちなみに元の2ちゃんねる2ch.sc区別する際には2ch.netと呼ばれるようになった)

2ch.sc2ch.net機能的な部分だけでなくコンテンツをも丸コピーしており、2ch.net書き込みがあるとクローラが検知してそのまま2ch.scに同じ内容を書き込んでいく、

そういうトリックで建っているスレも、書き込まれた内容も、書き込み数も2ch.netと全く同じ。

一見書き込みが多く賑わっているように見えても本当は誰もいないという妙ちくりんな空間であった

最近になり純正2ch.sc民がいるというのを初めて知った。

数年前、元の2ちゃんねるである2ch.net商標関係で揉めた結果5ちゃんねると名前を変えた。

そういう経緯もあり、今Googleで『2ちゃんねる』と検索して一番上にでてくるのは2ch.scである。そう考えると不幸にもゴーストタウンである2ch.scに迷い込む人がいてもおかしくないだろう。

ちゃんねると2ch.scスレ一覧を並べて書き込み数を比較してみると、一部差分があるスレが見つかった。中を見てみると、純正2ch.sc民は簡単発見できた。

それも、全体でいうと少なくない人数。

彼らは、そこにいるのが人間だと思い込み、反応など絶対に返ってこないのにbot書き込み同意し、とき反論を期待し相手非難する。

自分2ちゃんねるの一員であるのが当たり前みたいな顔をして、誰もいないその空間に長年囚われ続けている。

なんかこれってホラー作品の題材にできそうだなって思いました。

2019-11-13

anond:20191113174557

トラバ増田の言が正しいなら、画像クローラの誤認識でBAN食らって私的記録や下手したらビジネス基盤まで破壊される(なお抗議は無視される模様)とか恐ろしすぎる。

なんでもかんでも同じアカウントに紐付けすぎ。そうなってるのはGoogle一方的な都合なのに。

2019-10-01

個人アプリ開発時の『ドメイン取得』ってどうすればいいんだろう

個人開発記事とか見てると大体お名前.comとかでてくるけど、

ドメインって安くても維持費が1つにつき年間数百円から数千円発生するんだよね

サーバだったら最悪VPS借りて相乗りさせれば何個サービス開発しても1台分以上は料金かからなかったりするけど

人生かけてるサービスだったり一発起業目指して開発したサービスだったらともかく、

開発したサービスが当たるか当たらないかなんて予測は無理なわけで、

ドメインを取得してしまうと1年経つごとにドメイン維持費を払うか維持費をケチって潰すかの選択を迫られることになる

ユーザー投稿型のサービス廃墟化してるなら潰す選択肢はありかもしれないけど、

クローラデータ収集する感じのサービスDBがなくても稼働するようなサービスだとマネタイズできてなくても小さな需要はあるかもしれなくてドメインのために潰すのもアレだし、

基本やっぱサブドメイン運用でいいんかなぁ プライマリドメインgoogle.comみたいにブランドみたいな位置づけで

みんなどういうルールドメイン取得してんだろ

2019-05-05

Eggplant Gaming(エッグプラントゲーミング) が大好きなアカウント一覧

2019/05/05 12:51 、全てのページに <meta name="Hatena::Bookmark" content="nocomment" /> タグが追加された模様。

古いページも、クローラ巡回後にコメントページが非表示になる事が推測される。

ので、非表示になる前に、ブックマークの大半がこのサイトユーザ一覧はこちら。

b:id:Ventax000

b:id:OmonoJunpei

b:id:Tewpa

b:id:Vitokawa

b:id:Namaha

b:id:NamahageVege

今の同サイトの最新記事「「スマブラ」にGoogle Chromeの「あの恐竜」が参戦したらどうなるのか?何故か海外掲示板議論が白熱す」も、上記6ユーザの中最後の一人を抜いた5ユーザブクマしてる

2018-12-01

anond:20181201195506

はてなー老人会を含むインターネット老人会の面々はwgetとかcurlとかで組んだ秘伝のタレ化したWebクローラスクリプトを持っているから実際は面倒じゃ無いんだよ

anond:20181201191008

いや、はてなーならRSS/Atomフェードリーダなんて常識だし、Googleアラートもあるし、Webクローラだって運用してるの珍しくないだろ

自動巡回で取り出したテキスト情報grepして絞り込み、欲しい情報フィルタリング、そして通知なんて今の時代GUIでできるわ

2018-09-14

雑魚コーディングスキルで楽に飯が食える職場を探しています

電卓数字計算してエクセルに打ち込んでる職場に一人だけマクロを導入して余った時間エロ動画を見られるような職場理想です。

それなりのものを作るとき工数10倍くらいで出して余った時間エロ動画を眺めていたいです。

もっというと効率的エロ動画収集用のクローラ時間を割きたいし、余った時間エロサイトが作れるような職場がいいです。

休日勉強しろとか、納期前で徹夜とか、そういうハードなところは嫌です。

プライベートエロ動画の整理があるので。

紳士データ10TB超えると見たり使ったりすることよりも、ディレクトリ分けや不要データの削除、バックアップ環境の整備が大変なんです。

いい職場を探しています。どうぞよろしゅう。

2018-07-11

anond:20180711165459

ワンチャンどころかピコチャンくらいやぞ…>スクレイピングツール

PHPおじさんが敢えて語るべきことでもないが、スクレイピングだったりクローラだったりなんてゲーム開発者flappy birdクローン作るのと同じくらいの手慰みワークだからな…

2018-06-28

anond:20180628194115

お前はJavaPHPクローラ作る作業に戻るんだ

nodeは諦めろ

非同期処理を扱うには知能が足りてないからな

2018-05-24

anond:20180524114055

横だが落ち着け

追記

言語を書き足して更新までしてるのにまだ読み取れないか

プログラミング言語などに頼らないとクローラも書けないのか」とは書いてないだろ?

anond:20180524113140

コードを書かなきゃプログラマとしてお仕事出来ないってのは二流未満。

ましてやPHPが無いとクローラも作れない等論外。

もっと手を抜け。

2018-05-08

anond:20180508164921

そりゃ機能的には同じだが、node.jsで作ったクローラPHPで作ったクローラじゃ

ソースの刺々しさが違うよ。なんだかんだでnode.jsの方が処理はスッキリ書けるが、

からといってソース無駄な部分(カッコとか演算子とか)はnode.jsの方が圧倒的に多いよ。中カッコも多いからトゲトゲしてる。

anond:20180508164729

でもお前が作ってるのってクローラとかじゃん

そりゃ何で作ったって同じだよ

ログイン ユーザー登録
ようこそ ゲスト さん