「クローラー」を含む日記 RSS

はてなキーワード: クローラーとは

2021-01-25

変なクローラー2回めっぽいね。またサーバが落ちてた

だれだかしらないけどURLがほしいならもうあげようか、それともURLかえりゃいいのか、めんどくさい、Blogをやって良いこともあったけど

不幸のけっこうはBlogをやってたことがりゆう

アクセスなんて1日6Hit 蓄えた知恵を無料で上げるだけの ご奉仕も なんか

本当に嫌なことが多い

S3 press をつかわずに wordpressec2で上げてるからクローラーが来ると重すぎて、動かなくなるから

安全破壊で、すぐこわれて、データ流出をとめてくれるし

気が付きやすいから、ハッキング対策には良い。

どう考えても、クローラー広告読まないどころか、広告消して、おいしい記事だけ利用するから

でも、お金がなければs3

おもしろかったは、おもしろかった。

負荷分散とか、いろいろ12年近く勉強になった。いろんなことがあった。

でも1円にもならなかったなぁ。1円ぐらいにはなってるかwww

2021-01-23

[]2021年1月22日金曜日増田

時間記事文字数文字数平均文字数中央値
009412517133.255.5
01406558164.046
02245433226.450
03163380211.371.5
04194733249.192
05183620201.183.5
06232832123.1100
07477200153.297
081161045590.149.5
09134931069.537.5
1012314147115.043
1113214834112.463.5
121941340769.142
131271210795.345
141611463890.937
151681331179.248
161801761497.953
1718424893135.339
183032766691.338
191921658586.437
202201342461.030.5
211451251286.342
2212922202172.142
2316817574104.648
1日2957300952101.843

本日の急増単語 ()内の数字単語が含まれ記事

信用経済(10), 石原伸晃(5), クローラー(10), しほ(8), 18cm(3), 虫ケラ(6), クローラ(3), きらー(5), ディスガイア(3), クロール(10), 氷河(3), 五輪(18), ワクチン(42), 麻生(13), 因果関係(7), 瞑想(8), 楽器(8), ムーブ(10), 嘘つき(10), 女装(7), 不審(6), 身長(15), JK(11), チケット(11), 洗脳(11), 絡ま(8), コロナ禍(17), 不動産(10), 信者(19), プログラマー(17), 搾取(19), 無意味(17), 騙さ(16), オリンピック(17), 反(14), 入院(12)

頻出トラックバック先 ()内の数字は被トラックバック件数

西野サロン炎上した、さいとうしほを救いたい /20210121201121(33), ■背の高い人間安易に「身長センチ?」と質問しないほうがいい /20210121202723(31), ■「オッサン趣味JKに置き換えた漫画」の逆バージョン /20210120200820(19), ■Switchなんだけど、なんでまだ気づかないの? /20210122105924(16), ■パパが毎日ご飯作ってくれたらいいのに /20210122202211(14), ■大学時代好きだった女の子がプペランカー化していた /20210122101329(14), ■泡姫に聞いたチンコサイズとか痛い客の話とか /20210122011250(11), (タイトル不明) /20210122163259(11), ■詐欺被害にあった /20210122175123(9), ■超時空世紀オーガスの設定むっちゃ面白いのに /20210122004550(9), ■ /20210122142508(8), ■ヤフコメに頓珍漢が湧いている /20210122181003(8), ■『もう中学生』が最近めっちゃ覚醒してる話 /20210121232528(7), ■「コロナ茶番」派の人間を観察してわかったこと /20210121020612(7), ■不味いもの /20210122123323(6), ■東大生安易東大ネタを振るやつ全員死んでくれ /20210122153137(6), ■ニート問題画期的解決法を思いついた! /20210122122013(6), ■自殺する奴ってなんで自殺すんの? /20210122161642(6), ■子供名前は /20210121230141(6), ■性的写真を撮れないスマホの意義 /20210122212435(5), ■掃除機洗濯機エンジンは稼働させることを「かける」っていうけどテレビオーディオは「かける」とはいわないね /20210121120618(5), ■袋麺の不都合な真実 /20210121190628(5), ■夏頃コロナにかかっておけばよかったと思ってる /20210121190833(5), ■マスクしてれば100%絶対感染しないわけ?? /20210122000745(5), ■女装コスプレイヤー価値はないの?どう努力すれば誰からも好かれる人気者になれるの? /20210122000949(5), ■さいとうしほを救いたいがキモい /20210122093306(5), ■今後の西野がやりそうなことを予想する /20210122143450(5), ■袋麺にも具をいれてほしい /20210122165801(5), ■大学一年生です。若いから分かる現状があります。力を貸してください。 /20210122172406(5), ■ネットじゃなくて本にしかない情報が多いというけど /20210122173812(5), ■自分のことを嫌いな人を好きにさせる方法はないのか /20210122175112(5), ■ある地方公務員獣医師の呟き /20210122175129(5), ■新型コロナ医療機関が逼迫しているなら /20210122180417(5), ■ここに馴染めない /20210120182029(5)

2021-01-22

anond:20210122190511

なぜプログラマーが、Static配信を嫌がるかというと、こうやって、ハッキングクロールがおきたときにより、わかりやすいために、わざわざ動的に配信している

みごと数時間ぶっとまったからな。悪質なクローラーハッキングされたことを俺に教えてくれた

anond:20210122185903

それは容易いがクローラー対策でstatic pressしたとして なんかピンとこない 技術的にも容易いが なんかピンとこない

そもそも論として情報無料じゃない。それをクロールするというのが納得行かない いまのほうがクロールしたらサイトがぶっとまって、クロールさせない分まし

s3のstatic pressだとクロールされたときにこうやって、サイトがぶっ止まるという現象を引き起こさないから気が付きにくい

ハッカーにこのぐらいやっていいと思わせて、逆に犯罪知財の盗用)を助長しかねない。

方向性は見えてきた

画像はS3で配信するとして、Apacheを通さな

Wordpressをどうするかだが、画像がないApacheなら少しは軽くなる

あとはコメント欄 どうせ使われてもいない 機能にたいしてクラックくらった場合にどうするか?なんだろうなぁ めんどくせぇ

そりゃ多数のサイトが閉鎖するわ

lambda pressにすると 逆にクローラー食らうと金がかかりすぎそう

オリジンクローラー!って、弁当屋が業績悪化で取り壊される話か、と

anond:20210122184022

CDN入れていてもオリジンクローラーかけられたら、そりゃ潰れる

anond:20210122183803

20年ちかくWebサイトやってるが、オリジンサイトクローラーで潰されたのは初

へたすりゃCDNすらわからないやつが、単純クローラー時間制限クロールしたとしか思えねぇ

anond:20210122183709

それにしても、オリジンクローラーはびっくりした。そりゃ、赤字サイトは閉鎖するかスタティックプレスにするわなぁ

しろ、異常負荷が長時間かかったときに、サーバが自閉したAWSのほうが問題CPUが落ちるのはVCPUからいいとして

なぜインスタンスごと自閉させた。

あるいみ、不正アクセスログ取得を妨害された

AWS証拠保全妨害していると言える

半日を超えて不正アクセスされないと、不正アクセスとして、訴える証拠がそろわない。

時間は、素人クローラーの書き方を間違えても起きる

普段CPU利用率が1%なのに時間課金をうけているのだから

常時100%でも文句をいわれる筋合いはない

anond:20210122102514

CPU利用率が常時1%未満だったのが(年単位で安定駆動)100%超えている

 

どうかんがえても、悪質なクローラー

 

とはいえ、こういうのを各にわか学生がふえかねないとなると、こっちで対応だろうな

なぜ、クローラーが3秒に1つとかしかクロールしてこないか

 

しかも、これ100%いくって、同時にいくつクロールしたんだ

オートスケール切ってるからいいようなもの

入れてたらいくら無料記事で払わせる気だ

 

記事公告と引き換えに無料

全部持っていって勝手に保存して良いものはいいがたい。だめじゃないけど、何考えてんだ

しかも、オリジンにこの時間となると

いちおう1配信0.001円ぐらいはかかるのだが・・・

クローラー回しているやつがいるな

単一記事が爆発的にアクセスされるのはキャッシュでたえるようにつくってあるんだが

すべての記事クロールしようとかすると負荷でサーバが落ちた

いろいろPHPで動くから

ちょっとまじめにクローラー対策いるかもな

2020-12-11

anond:20201211191127

会社員なら痴漢を疑われただけで首が飛ぶ。

 

「飛びません、解散」(嫌疑解雇不当解雇不当解雇不当解雇で争ってどうぞ。名誉毀損名誉毀損で争ってどうぞ。国家賠償国家賠償で争ってどうぞ)

・・・と言いたいが、一応、レイプについても触れるか

 

1. 弁護士を用意する。

2. 併せて謝罪会見診断士やまともな広報コンサル相談する。

3. 警察調査を依頼する。

4. 現在調査中という事実だけを公表する。

5. このどさくさに紛れてSNSで一線を超えた発言をするヤツがいないかワード監視をしとく。

 Webクローラー自作するか既存サービスを使う。

6. 一線を超えた発言SNSでしているヤツは粛々と弁護士経由で連絡する。

7. 結果が出揃ったら一線を超えた発言をした相手にした対処と合わせて結果を公表する。

2020-11-27

anond:20201127144016

結局いちばん大事妥当な1行目が無視されてるな

ご愁傷様


で、ユーザー名でググったけどブログが出てこないのでGoogleクローラーは来てないと思われ(今までプライベートだったのだろうか)、

まりこの人のブログに行くための導線ははてブくらいしかないことになり、

なおかつ頼みのそれもあの量と質なのでそりゃあ誰も歯牙にもかけず誰も来やしねえよなという感想である自分サイトブクマすればいいのに)

ユーザークリックしてサービス一覧に行ってはてなブログクリックして記事を見ないと、この人がブログを書いているということに誰も気づけない

そんなことする暇な奴はおらん

理屈思想もどうでもいい

叫ぶ前にまずは道を作れ

話はそれから

2020-11-05

FOXコメント欄ですら不正投票不正選挙がどうこうと騒いじゃいないのに日本の140文字民は

絶望だよ😩

どう考えても増田の方が民度高いわ。そもそもお前らアメリカ人じゃないだろ?

日本の COVID-19 と通ずるものを感じるわ・・・

(まぁ COVID-19 に関してはバッカッター兼ねてそうな一部の増田も酷かったね。ブクマカがアレなのは日本の最下層なのでいつも通り)

 

 

その1、

グレー、ボーダーっぽい人はどうにも出来ない。重く受け止めつつも尊重しなければならない

また彼・彼女らが自宅でTV感想つぶやくのと同じくらいの気軽さでITに触れられる環境我が国にあることを誇らなければならない

これこそが多様性だと思う。日本スゴイ勢は是非ともドヤ顔しよう

 

 

その2、

データサイエンティストを名乗るなど、職業を見るにグレー、ボーダーっぽくない人、

あるいは最終学歴が院卒など大卒以上かつ、アレな人向け情報商材陰謀論展開を職業にしていない人

えっ?なにこれ?どうしたらいいの?マジでWebクローラーの作り方を教えてあげれば良いの???

教えても文責のあるメディアはすべてフェイクで終わりかな???

  

 

どうして “その2” が生まれしまうのかは絶対無視してはいけない問題な気がするんだけど

誰も触りたがらないよね、まぁ触っちゃヤベー奴なので仕方無しではあるが (ワイも触りたく無いので増田に書いてる)

  

ちなみに “その2” は党性や政治主張に関わらずいるよ

自称リベラル保守中道無政府主義ノンポリすべてにいる

 

大筋で政党政治主張が同じならたくさん仲間がいると見せかけられるからOKとはならんでしょって思うんだが?

味方の背中にめがけてマシンガンぶっ放してるやんけ

しかも仕方ないね・・・って言われるような属性人間じゃ無いし、受けた教育レベルを見るに宗教的熱狂で看過出来る域を超えているんだが?

 

 

ちなみに reddit のご様子

西海岸リベラルスーパーZIP と それらの生活を支えるそれ以外の人(第一次産業第二次産業現業部門物流サービス業) と言う世界現実としてあるにも関わらず、

分断・大接戦にも関わらず、マジでこんな感じ

Why are all the mail in ballots going to the left?!

(なぜ投票用紙のすべてのメールが左に行くのですか?!)

 ↓

オートモデレータ

5h

○○○さん、投稿ありがとうございます

このコメントには、あなた投稿がなぜこのサブに当てはまるのかを説明した上で、必ず返信してください。

また、記事投稿する場合は必ずソースリンクしてください。数分以内にコメントがない場合あなた投稿は削除されます

 

このルールについて投稿する|Discordへの参加を忘れずに

 

私はボットであり、この行為自動的に行われました。ご質問やご不明な点がありましたら、このサブレッドディットのモデレーターまでご連絡ください。

 ↓

彼(トランプ)はフロリダ投票用紙の郵送が大好きだった

 ↓

彼(トランプ)はフロリダでの不在者投票が大好きで、郵送による投票を嫌っています。彼や支持者がやる時は不在者投票と呼ばれ

民主党がやっている場合は郵送投票と呼ばれる。

 ↓

>私は、COVID-19に可能性を望まない人々の問題もあると思います

トランプ氏や保守的なメディアがそれを軽視している間に、他の人たちは可能な限り大群衆を避ける方法模索していました。 

 

それが文字通り、郵送投票の推進の背後にあるすべての理由です。それがOP投稿が話していたものです。

 ↓

郵送による投票の方が安全であり、民主党パンデミック時の安全性を重視しているため、多くの人が郵送投票使用しました。

一方、トランプ氏はすべての信者に、直接投票は完全に安全であり、COVID-19は大したことではないので、直接投票してくださいと呼び掛けた。

 

トランプ物事を彼に有利に傾けようとするのはおそらく戦略だった。

 

 

幸いなことに、それは上手くいかなかった。そんな感じですね。

 ↓

反知性主義の多くは、研究をどのように財産化するのか、科学界がどのように機能するのかについて、

適切な教育ほとんどのアメリカ人が受けていないという事実から来ているように感じます

人々はソース信頼性をチェックする方法を知らないし、チェックしようともしません。

知識がどのように蓄積されているか理解していないと、騙されやすくなります

恐怖心(人間本来持っている最も強い感情)を利用した政治家がいると、批判的な考えを持つ人よりも、保守的(反動的)な反応をする人の方が多いのです。

私たち社会として、人々のバイアス研究方法についての教育もっと力を入れていく必要があると思います

 

こんな感じでブッ叩きまくり。容赦が無いね

まぁ現実上記に書いた ”その2“ タイプがいるわけで必ずしも教育を受けていないわけじゃあないんですけどね

もっと言えば ”その2“ タイプには誰も触りたがらないからこそ、Facebookカルト巣窟なっちゃってるんじゃないですかね?

 

Facebookかい現実社会のパワーを誇示出来る特殊ネット老人会例外として、

それ以外の場で極端に愚かなことを口にするとネットでもリアルでもブッ叩かれるので、

 

誰も極端に愚かな事は口にしない → トランプ賛同のヤツはいない → 投票結果:大接戦 →  なぜなのか?

 

ってなってるんでしょうな。ギャグかな?って思う。なぜなのかも何もねぇわな

 

でもブッ叩かれるのを恐れて常に黙っているわけではなく、Twitter世界中でご覧の有り様だし、米国トークラジオも非常に地獄みがある

 

トークラジオがピンと来ない人は下記の日本記事をどうぞ

[東京財団政策研究所] トークラジオ化するケーブルテレビ政治的分極化

https://www.tkfd.or.jp/research/detail.php?id=82

 

・・・と、この辺で、書いてて面倒になったので文章をまとめる事なく終わる

 

要約すると、絶望地獄

 

けどまぁ希望がそれに負けた事は一度もないのだ

そしてそれを臆面なく口に出来る先進国に生まれてよかったよ

 

増田にも沸いたか

anond:20201105122006

2020-10-17

anond:20201017163740

他人URLの取得から検索結果のレイアウトまで作らせようとしているとは思わんかった

メタ情報で引っ掛けてBOT投稿させりゃいいのでは・・・と思ったけどそれだとGOOGLEクローラーと同じでGOOGLEを超えるにはハッシュ計算?とか何とかする分GOOGLE以上のインフラ必要になるな

流入が欲しいキーワード複数あった場合は2のキーワード数乗-1レコード投稿することになるけど大丈夫なのかな

というか君よくそれが理解できたな

2020-07-25

anond:20200725121440

そもそも検索避け成功しちゃったら

SEOとしてもSNSとしても失敗だから

クローラークロールされないようにするなら

サービス立ち上げるしかないのでは?

2020-07-04

anond:20200704111741

これ書いたのワイじゃ無いぞ

ただし、全面的同意

増田は誰かが無償で貴重なデータ提供してくれると確信しているならそれでいいんじゃないか?

個人的には無償WEBクローラー使った方がまだマシでは?って思うが

増田確信は“わかったよ”

anond:20200704110514

わかったよ、増田のお望みの機能無償提供してくれる人が現れるといいね

データのまとめにはなんらかの作為が入るから

要望に叶うのはWEBクローラーだろうけど無償のいいのが見つかるといいね

anond:20200704104531

いやそれ本気で言うとりてますの?

データ収集したりする業者に依頼するのも有料だし

Webクローラーを作るのも有料だ

それを無償で渡すってなったらなんらかの意図は入るよ

2020-05-06

anond:20200506231559

文の内容というより時の運がデカイぞ

よっぽど読みにくい文じゃなかったら数打ちゃ当たる なんなら読みにくくても長かったらいいのかもしれん

長文増田クローラーみたいな層は確実にいるよ

つか今不発に終わったと思ってるやつが今後伸びる可能性も全然ある 

ブクマの伸びは予測不能だよ

2020-04-23

晒しが怖い奴の個人情報得て晒し上げる方法考えた

今のご時世、気を抜けば写真を取られて晒されてヲチられ、一つの失言で晒されてヲチられ、結果ネットリンチネットストーキングされている人がいる

そういうのを見てると、絶対出てくるわけだ、「俺は晒されてないだろうか…」と

そこで、俺がこんなサイトを用意する、「晒されチェッカー」だ

メアドアカウント名に電話番号に住所等をを入力し、クローラー検索をかけて自分が晒されてないか調べる事が出来る(風に見せる)

………で、基本的には「おめでとう!晒されてませんよ!」って出すのよ

で、裏では入力情報+接続IPリモホログとして取っておく

そして定期的にそれらの情報で色々調べるのよ、メアド分かるだけでもそいつのありとあらゆるサイトの垢が分かる、あとはリセットパスワード叩いて入り込んだり出来るしね

しかしたら2chバカな事書いてるかもしれない、もしかしたらSNSでアホな事書いてるかもしれない、もしかしたら、もしかしたら……を集積できる

そして調べ上げた情報をネヲチネトストコミュに投下、晒しが怖くてすがった人はたっぷりネットに晒されちゃうわけ、ざまぁ








「いやいや、こんなアホなのに引っかからないだろ」だって

人間心が弱ると判断力鈍るし、おバカさんだって君らが思うよりも沢山いるわけ

から俺がこんなやつ作って公開しても、引っかかるやつがいるんだろうなって、そういう皮肉

ログイン ユーザー登録
ようこそ ゲスト さん