「クローラー」を含む日記 RSS

はてなキーワード: クローラーとは

2024-02-23

分散SNS懸念

消せない

分散SNSに搭載されている削除ボタン基本的には「自分のいるサーバーからは消せるけど、他のサーバーにはあくまでもお願いしかできない」仕様なので繋がっているサーバー管理者や設定次第では永遠に消したい投稿が残り続ける。

ネットってそんなもんじゃん、分散型そんなにダメなの?

第三者が悪意のあるなしに関わらず無断で個人情報拡散した場合や、自分が間違えて個人情報投稿してしまった時など、比較簡単情報海外サーバーにも渡ってしま日本国内法律では対応しきれなくなる。

大抵の場合は消してもらえるとは思うが、最悪の場合日本国内サーバーからは消せても外国サーバーには残っており、その国には関連法がないため法に訴えて消してもらうこともできず、日本国内から簡単に閲覧が可能...という状況も想定される。

長々と語っているが、要はサーバー管理者は悪意がなくても犯罪に加担してしま可能性があるということと、情報へのアクセスのしやすさが違う。

また、誹謗中傷デマ無断転載なども勿論同上。

既に誹謗中傷界隈(?)の人間が「言論の自由だ!Xアカウントが凍結された!検閲だ!」と分散SNSに移動してるのをちょくちょく見るのが不穏。

収益性

基本的サーバー運営にはお金がいるのでサーバー管理者マネタイズに追われるが、Xは広告のみでもあの有様だし、現に資金繰りがうまくいかず閉鎖したサーバーも見てきたし、そのうち(サーバー関係なく、モラルのない人が)金儲けにと違法薬物の広告などを出し始めるのも想像に難くない。

法律を逆手に取った攻撃

ご存知の通り、日本ポルノに関する規制が異常にゆるい。児童ポルノに関してもそう。

故に、感覚麻痺しきった日本では普通だと思われる児童ポルノ系の絵柄が多く投稿されるサーバーアカウントはは諸外国サーバーからは切断や凍結されることが多く、代表で言えばPawooがそれ。

場合によってはキャッシュが残っているだけで捕まる国もあるので当たり前なのだが、これを逆手に取り、いつぞやのPixivのように児童ポルノ児童売春に関する投稿を大量にされたら、どんなに本人が平和にやっていてもサーバー管理者がお縄になったり諸外国にあるサーバーから連合を切られたり、その上日本人そのものへの風評被害になりかねない。

まあ、日本のキショさチキンレースをやってる表現の自由戦士達は自分も含むみんなの首をじわじわ絞めるのでこんな攻撃をするまでもなく日本サーバーは切られるんだろうけど.....

日本IPから外国サーバーへの大量投稿、なんてのがあったらなおヤバいかも。

生成AIへの利用

自分がいるサーバー管理者が生成AI反対派でブロックする技術を導入してくれたとしても、クローラーがいるサーバー制限がなければ恐らくなんの意味もない。(今後どうにかできる技術が出てくるかもしれないが、恐らくイタチごっこだと思われる)

絵描きさん、VTuberさん、コスプレイヤーさんなんかはAIに使われると大変だと思うのでご留意されたし。

まあ後述の通り、AIに利用されたくなければ全てのSNSで警戒は必要なのだが、やはり自分悪用する側だとして想像してみると分散SNS収集簡単さにはやはり惹かれるものがある。

よくある誤解

MisskeyはAIへの利用を拒否できる

完全にはできない。削除と同じであくまでもAIに「使わないでください」とお願いができるだけであって完全な拒否不可能(これはSNSに限らずインターネット全般

ネトストやす

これは一長一短なのだが、どの分散SNSRSS配信を使えがちなのでアカウントを持っていなくても投稿内容を監視できて相手にバレずにネトストがしやすい。

企業は自前でサイトを用意しなくてもいいので助かると思う。

思いついたらまた追記していきます

2023-12-30

マネーフォワードかいカスサービス他人様のサイトから情報スクレイピングしてくるカス所業でカネ稼いでるくせに自分とこはクローラーUAを軒並み弾くのカスで笑う

いや笑えんわGAS自動化できないのウゼえんじ死ねカス

2023-12-04

なんか新しいプロジェクトを立ち上げたいなーと

俺はしがないプログラマー

githubで50スターぐらいのしょぼいコードを置いているが、そんなプロジェクトには何の力も入れていない。プロジェクトと呼ぶのもおこがましいぐらいだ。

仕事ではとあるコンテンツ検索エンジンを作っているが、情報検索、推薦システムクローラー、そういうのを開発するのもだいぶ慣れたのでなにか新しいことをやりたいなと思っているところだ。

リーナストーバルズが言っていたが、「一つのプロジェクトを30年継続するような、そういう人がこの世界には必要だ」らしい。Linuxという価値あるプロジェクトを持つ人はやはりいうことが違う。

しかし、Linuxレベル価値のある何かを30年...それ俺にもできるんだろうか?

自分けが満足できるコードならいくらでも書ける。

しか社会から需要があり、その需要が30年も続くようなものを、果たして俺程度が作れるのか。

そもそも需要というのはどこからまれてくるのだろう、と思うことがある。

それは人に対する社会的信用であったり、あるいは偶然的に宣伝がうまく行ったということもある。

俺は日頃から社会」が俺を評価していないと思うことが多い。そんな状態で、社会のためになる何かを作ることな可能なのか。

社会」が、俺のような人間を「弱者男性」といって差別虐待している状態で、俺は本当に社会のために貢献したいと思えるのだろうか。

一体、弱者男性が作ったどんなプロジェクトであれば人々がサポートしようと思えるのか。

全てが虚しい。

2023-12-01

統合失調症プログラマーの一日

うるさい目覚ましで朝起きる。眠すぎる。二度寝したい。

しか仕事があるので、こたつの上に置いているPCを起動させ、リモートで出社する。

メール一覧を確認した後、今日タスク確認し、今日やろうとしていることを上司に伝える。

ここがポイントなのだが、タスク完了する日数は多めに見積もっておくとよい。2日で終わるタスクは5日かかると言う。

急ぎのタスクなど俺の会社にはない。急いでたくさんこなしても、給料は上がらない。

そう言いつつ、タスクはできる限り早く終わらせる。

例えば見積もりが5日で、終わらせたのが2日であるなら、3日はサボれるということだ。

あと、できるだけ自動化しておく。クローラーファイル統計の生成も、バッチ的に実行するスクリプトも、そういうものはひたすら自動化する。

ではサボっている時に何をしているかオナニーするのも良いし、コンビニおやつを買ってくるのも良い。

あるいはオンラインゲームをするとか、増田をやるとか、とにかくやりたいことをダラダラとやっていればよい。

仕事をしていないことを監視する人は誰もいない。結局、やるべき仕事はやっているのだから、俺が間違っているということはない。

他の社内ニートたちよりも俺のほうが仕事をしている。

そうして仕事時間が終わったら、テキトー挨拶して抜ける。100%定時で退社するべきだというのが俺の論だ。急ぎの仕事もないのに、残業代を貰うわけにはいかない。

さて、一日の仕事が終わった。そして俺はオンラインゲームの続きをする。

あとは普通に夕飯食って風呂入ってシコって寝るだけだ。

こういう人生を歩む弱者男性の俺からすると、なぜ世間の人たちがあんなに頑張れるのか、不思議に思ってしまうのだ。

俺に物資配達するヤマト運輸の運ちゃんはよく頑張っているし、プログラマーなんかよりも100倍役に立っているだろう。

なんというか、他の統合失調症患者人生もたぶんこんな感じなのかな。

2023-08-26

anond:20230826213257

ワイはChatGPTで文章を生成させてクローラー適当画像を取ってきて自動生成しているやで。

広告収入が増えてきて小遣い稼ぎ程度にはなってるやで。

2023-08-24

はてなEV嫌いは異常

https://anond.hatelabo.jp/20230821082124

実際の事象とは異なることを、さも本当であるかのように広めてるよな。

報道によれば、マルハン厚木北店の火災では実際にはエンジン下部から出火し、EV車に起因するものではなかった。

消防当局によると、火災エンジンから発生した。

お前はEVが嫌いかもしれないが、残念ながらこれが事象だ。

嫌いだということを書くのは構わんが、デマの流布は犯罪になるかもしれない。

刑法第233条 信用毀損および偽計業務妨害

虚偽の風説を流布し、または偽計を用いて、人の信用を毀損し、またはその業務妨害した者は、3年以下の懲役または50万円以下の罰金に処する。

正確な情報を元に判断することが重要で、それから書けよ。

お前の書いた事は、お前が消したとしても、クローラーキャッシュされるし、将来訴えられても知らんぞ。

2023-07-12

anond:20230710225641

Togetterのほう見てても思ったんだけど、クローラーサイトじゃなくて、クローニングサイトじゃね?

2023-07-10

俺にとって5chが終わった

いつものようにPCゲーム攻略スレ国内サッカー板で情報をあさろうと思ったら、全くスレが見れないwww

5ch問題まとめ

1 janestyleがAPIサーバーを用意してほかのブラウザを締め出す

2 ほかのブラウザjanestyle開発者APIキーをもらうしかなくなる

3 janestyle(API)が唐突に5chとの接続を切り怪しいクローンサイト誘導

4 APIサーバー自体機能していないのですべて接続できなくなる(いまここ

ここ数ヶ月の5ch

スクリプト荒らしによってスレ爆速で潰される

スクリプト対策として規制しまくるがスクリプトが消える気配は全くない

・巻き込み規制が多発してそもそも書き込めない

・多数の専ブラが5chから撤退して5chクローラーサイトサポート開始

って、事らしい。


他の人の説明の通りで、俺のキャリアでは専ブラを使わないと規制によって書き込みが出来ないって状態だったので

今回専ブラを使えなくなったことで、必然的に5chを見る意味がなくなった。5chの無駄で広範囲に巻き込む長期の規制はなくならんだろう。

なんか板によってはNGワードもあるようで、いつの間にか焼かれてしまうこともある。専ブラ経由でかろうじて使えていただけだった。


Janeの謀反がどういう理由によるもの分からんけど、Talk住民が移動するか分からん

ひとまず自分の中で5ch/Talkが終わったな。同じチームをサポートするサポーター同士、同じゲーム攻略中のゲーマー同士の会話が出来なくなるのは残念だが。

まぁしゃあない。サポーター同士の情報交換ならTwitterでも、Lineでも出来るから、まだいいか

しかし、スクリプト荒らしは、自分の手で自分の唯一の住処を破壊してしまって、どうやって生きていくのやらw

久々にQiita覗いた

デザインとか一覧とかいろいろ変わったみたい。

で疑問なんだけど、これ、企業団体個人の人脈、固定ファンを持ってない人の記事ってどういう導線があるの?

ホームトレンドも半分以上がオーガナイゼーション所属か見覚えあるアイコン

企業系はもう身内でいいねだかLGTMだかを押し合って押し上げる印象しかないし。

有象無象投稿者一見さんが訪れるのはせいぜいアドカレ?年末だけか。

Qiitaって今、盛り上がってるのか…?

2022年ランキング見ても

https://qiita.com/Qiita/items/75a34af032d898a86679

Contribution数0は除いてるし実態がわからない。

ひとつストックされない記事がどれぐらい埋没してることやら。


覗いたついでに一個記事を上げてみたけど、初日の閲覧数100前半で止まった。

読み物でもなく需要トレンドがあるわけでもない記事だけど100人ぐらいにしかクリックすらしてもらえないんだな。

数年前の3いいねぐらいの記事でも5~7000viewぐらいあってクローラーだとかの細かい積み重ねにしてもひどい頭打ちね。

今、ゼロからQiita投稿していこうってエンジニアは何をモチベに投稿し何かしらモチベになるものを受け取れているのか…?


まあ、Qiitaはもう昔から内輪で回す閉じたコンテンツだっていうバイアスをかけてるからそう見えている可能性が高い。

QiitaとかZenとか日本語版スタックオーバーフローとかteratailとか、ここらへんのコミュニティ環境を定期的に解説してくれる人いないかなぁ。空気感とかこんな出来事があってこんな風になったよとか。

下世話すぎるか。

今後万が一復帰するならまだZennがオススメなのかな。なんか他にQiitaクローンあった気もするけど。

個人ブログ時代はてなブログマネタイズすっか!

2023-07-02

anond:20230702120404

Twitter場合botとかクローラーとかでバカカドカスAPI叩きまくられてたか2chとはだいぶ状況が違うのだ

2023-06-19

広末涼子にはほとんど興味ないけど

キャンドルジュンにちょっと興味出ちゃったな。あのとっちらかった会見書き起こし読んで。

漠然イメージしていた人物像がぜんぜん違った。

キャンドルアートだか何だか知らないが、意識高いスピリチュアルな能書きとか垂れて、セレブなご友人のパーティかなにかで上っ面だけのオシャレなアートパフォーマンスして大金稼いで、ついでにトロフィーワイフキープして、上手に世渡りしてるような手合なんじゃねーのと思っていた。

そういう業界クローラーとは全く違う、完全にアートの人なんだな。

ここでいうアートの人というのは優れたアーティストかどうかみたいな評価の話ではなくて、どうあれ一生自分アートやる以外の選択肢のない人というか。

めちゃくちゃ不器用な人なんだろうなと思った。これ以上ゲメディアに削られることのないよう祈っている。

2023-03-10

検索避けってなんだろう

robot.txt呪文書いてクローラーから弾かれるのは知ってるよ。

でもSNSリンク貼ってたり、外部のブログサービスリンク貼ってたりその他諸々にリンク貼ってたりしてると、間接的にクロールされんじゃね?とか思った。

情弱ですまんな。

2022-09-29

キチガイストーカー晒し好きによって不正に公開された個人情報があるとする

当然そのキチガイたちは違法行為をやってるわけなので、裁こうと思えば裁けるが

じゃあ、そいつらに公開された個人情報独自に集め(Webクローラー機械的収集したり、自力晒しの場に張り付いて集める)て、それを保存しておくのは違法なのだろうか

あくまで公開はせずに保存するだけに留めるとして

ほら、破産者マップある意味で『改悪』されて復活したじゃん

あれは「合法的に公開された情報をわかり易くプロファイリングして地図と示し合わせてるので無問題国内違法だとしても俺のサーバ海外にあるので合法、消してほしけりゃ6万払え」って作者が言い張ってるけども

なら悪意をもって不正に晒された情報収集してプロファイリングし、公開せずとも個人的保有するのってどうなのかなって気になってね

2022-09-19

anond:20220919135525 anond:20220919140413 anond:20220919145040

関係ないと思う。軍にとっ捕まえられて洗脳されたとか、カルトコミューンで生まれ育ったとかじゃねーので、

申し訳ないがどうあってもフツーはそうならないと言う他ない

一定数そういう生き物も生まれしまうよなって理解は示すことができる ↓

データサイエンティストを名乗るなど、職業を見るにグレー、ボーダーっぽくない人、

あるいは最終学歴が院卒など大卒以上かつ、アレな人向け情報商材陰謀論展開を職業にしていない人

えっ?なにこれ?どうしたらいいの?マジでWebクローラーの作り方を教えてあげれば良いの???

教えても文責のあるメディアはすべてフェイクで終わりかな???

  

どうして “その2” が生まれしまうのかは絶対無視してはいけない問題な気がするんだけど

誰も触りたがらないよね、まぁ触っちゃヤベー奴なので仕方無しではあるが (ワイも触りたく無いので増田に書いてる)

  

ちなみに “その2” は党性や政治主張に関わらずいるよ

自称リベラル保守中道無政府主義ノンポリすべてにいる

 

大筋で政党政治主張が同じならたくさん仲間がいると見せかけられるからOKとはならんでしょって思うんだが?

味方の背中にめがけてマシンガンぶっ放してるやんけ

しかも仕方ないね・・・って言われるような属性人間じゃ無いし、受けた教育レベルを見るに宗教的熱狂で看過出来る域を超えているんだが?

 

FOXコメント欄ですら不正投票不正選挙がどうこうと騒いじゃいないのに日本の140文字民は

https://anond.hatelabo.jp/20201105100706#

 

あと議論定義、いい加減理解しよう

https://anond.hatelabo.jp/20220827125209#

2022-07-10

anond:20220710234604

こんなんクローラーで定期取得しに行っても相当タイムアウト時間長くしとかないとタイムアウトするわ😠

2022-07-07

創作しかない無名人間

小さい頃からことなく疎外感を感じて生きてきた

親友という存在恋人という存在とも縁がなく、学生時代部活をやっていたから辛うじて他者との繋がりがあったが、引退した途端、自発的に人と付き合うことをしていないことを思い知った

つのからWeb小説マンガに興味を抱き、細々とマンガを描いて自サイト投稿したりpixivに投げたりしていた

とある共同制作コミュニティに入れた時は、創作について話せる人がいるって楽しいなと思った

が、時が来れば人の心も移り変わるもので、そのコミュニティ人間関係が嫌になってしまった自分は、pixivの関連作品を非公開にして、親しい人にだけアカウント削除を伝える旨のDMを送った

一方的に共同制作を持ちかけておきながら作品削除をした自分非難する人がいたが、相手方に非はないのでその通りだと落ち込んだ

コミュニティに関連するアカウントを削除し、新しいアカウントを作ったら、びっくりするほどフォロワーが少なくなってしまった

いかコミュニティにべったりだったのかが分かって、自分はそのコミュニティ学生時代部活のような依存をしてしまったのだと気づいた


そして、コミュニティから出た自分は、以前のように個人サイトマンガを描くことを試みようとしたのだが、うまくはいかなかった

なぜなら前のコミュニティ非難DMを送った人がフォロワーフォロワーにいることに気づいてしまたからだ

あの人が自分を恨んでいることを知ってるし、自分迷惑をかけた自覚はあるからせめてその人の目の入らないところで活動を続けたいという気持ちアカウントを作り直したつもりだったのだが、考えが甘かった

そりゃあ前のコミュニティと繋がりがある人をフォロワーに持てば大なり小なり自分の行動は筒抜けになるだろう

自分で撒いた種ではあるのだが、自分は行動力計画力もないのだと悩んだ

いくら鍵をかけても、アカウント存在する限り「あいつまだマンガ描いてるの」と思われるのだろう

いや、あの人はそんな性格じゃないと言い聞かせるも、心の中で例の批難DMしこりになって残っているようだった

相手方が「許して欲しいという気持ちが透けて見える」と語った文章けが今でも目に焼き付いている

自分気持ち相手理解して貰えないのは辛いことなんだなと、今文章を書きながら思った


時は経ち、吹っ切れては無いものの、噛み切れるようになった想いを抱えながら、自分は新たに(というか以前まで存在していた化石サイト改装した)サイトを作ってぼちぼちマンガ制作を再開している

就職をしたものの、人間関係は依然として希薄なのでプライベートで人と会うことなどとんとなくなった

他人に失礼をしておきながら、そして名のある作家ではない大前提がありながらも、自分には創作しかないのだと理解してしまった

それ以外にやることがないと言えばそれまでなのだが、辛うじて趣味らしきものがあるのは有難くは思う

ところで、以前Twitterとある呟きを見かけて、意味がわからないけど意味をわかりたいかメモっておいたものがある



やべえこツイート2014年のなのかよ!と一瞬思ったが、8年も経てばなんとなくニュアンスが分かるようになった、と思う

読解力がないというか、頭の中で線と線が繋がらないために心から言葉理解出来ていないが、つまるところ自分は満たされていなかったのだろうという結論が出た

ホッテントリの、恋人が出来たか創作活動が出来なくなった、というのはご最もだと思う

満たされない感情の置き場が創作から恋人に移ったのだろうし、生物としての仕組みはそれが正しいものだと思うから是非その人を大切にして欲しい

残念ながら自分生物として欠陥があるようなので、今後も創作という一人相撲を続けるだろう

SNSの#繋がりたい 系のタグ生理的に受け付けないし、創作人間関係で人様に迷惑をかけたのだし、そもそもクローラーサイト画像舐められて自分の手元から作品が独り歩きすることが嫌な人間から検索避けをする以上、SNSで迂闊にサイトURLは貼れない

故に、表立って作品宣伝することはせず、その辺の隅っこで自分専用の墓場を作る予定である

自分で書いてて思ったが、凄く陰気で頑固で根暗人間だなと思った

から創作なんて毒にも薬にもならないもの趣味にしているのだろう

インターネット墓場と言っても、デジタル遺産となってネット藻屑になってしまうのだろうけども、ひとまずはその認識で行きたいと考えている

創作と言いつつ、結局は自己満足から自分の見やすい形で管理したいというのが本望なのだ

自分楽しいものたまたま覗いた他の人が楽しんでくれたら嬉しいけれど、道端に歩いてる人にこれ面白いよ!と宣伝することはしたくはない

労力だから

インターネットの中でも自分のことをアピール出来る人は凄いと思う

例のDMきっかけになっただけで、元々自分ネガティブ寄りの思考を持つ人間だったのは自覚している


最近自分が見かける範囲で、だが)「音楽制作は続けるけど作品を表に出すことは辞めたいと思っている」「このゲームが完成したらもう絵なんて描きたくない」という呟きをちらほら見かけるようになった

もちろん締め切り前のイヤイヤ発言ではなく、ばっさりと今後一切の活動を辞めるニュアンス発言である

彼らのフォロワーでもなんでもない自分は、悲しいなと思いつつ、創作が心の障害になるのなら辞めることも選択肢ひとつだとも思った

現在創作くらいしか趣味がない自分も、いずれそんなことを思う日が来るのだろう

コミュニティを抜けた日から永遠夢想だと思うようになったので、その日が来るまでになんとか絶望しないように生きていきたい

出来ることならその前に死にたい

2022-05-10

anond:20220510172539

ぼくちゃんグーグルクローラーって知ってるかな?ドーナツクルーラーとはちがうんだよ?

まあこのツリー降臨しているお子様携帯から制限済みの世界しかみえてないアホにそこまで教えてあげる義理はねえわな

18歳こえてから増田においでね

2022-05-08

anond:20220508231934

そもそも検索避け成功しちゃったら

SEOとしてもSNSとしても失敗だから

クローラークロールされないようにするなら

サービス立ち上げるしかないのでは?(1億回目)

2022-02-21

Google検索は死んで…いないのでは?

Google検索死んでる→からの、まとも検索というオルタナギャグブクマ集めている。

「Google検索は死んでいる」がバズったので「まとも検索」を作った。:村上福之の「ネットとケータイと俺様」:オルタナティブ・ブログ

で、思ったんだけど、YahooJも裏側はGoogleから無視するとして、他にGoogleの代わりにできそうなエンジンってBingとかDuckDuckGoあたりだよね。

この二つって、本当に独自クローラーで集めてるのかな? 実は裏側はGoogle検索結果を使ってるような気がしないでもない。

というのも、最近、俺が作った某サイト独自ドメイン)があるんだけども、これはまだどこからリンクされてない。つまり自分以外は誰も知らない状態

で、Googleのサーチコソールにだけは登録した。数日後にGoogleクローラが来た。そんでインデックスされた。

ここまでは想定通り。

この段階では検索エンジンが異なるBingDuckDuckGo等で検索しても当然結果には出てこない…と思ったのだが、試しにサイト名で検索してみたらなぜか結果に出る。

なんで??????

アクセスログを見てみても、自分アクセスGoogleクローラアクセスしか記録されてない。BingボットDuckDuckGoクローラは来ていない。

自分が使っているブラウザChrome)にはDuckDuckGoなどの拡張機能も入れていない。

まりBingDuckDuckGoには「俺が作ったばかりの某サイト独自ドメイン)」の情報はまだ一切ないはずなのに、検索したら表示されるという状態

これって、Google検索結果を利用しないと不可能な芸当だと思うのだが…?

なんでこんな現象が起こってるんだろう?

詳しい人いたら教えて。

ログイン ユーザー登録
ようこそ ゲスト さん