  |
はてなキーワード: クローラーとは
別にいいけどそもそもクローラーとかそんな大した仕事ではないし
普通は一から作るというのは大規模なサービスを一から書き直すような時に使うわけよ
いちいちスクラッチとかフルスクラッチとかいう話ではないんだよね
何人月？って話で
いやフレームワークも使わないで素のPythonでファイルサーバーにファイルをあげるクローラーをマイクロサービスって言う人君しかいないよ
真昼間に書いてんのも君だし
もう分断を煽るのはやめませんか
現在混乱を招いている要因は、おそらく以下の二つ
AI利用に向けて改正されたとされる著作権法30条の4は AIならなんでも許されるというわけではない。以下のように条件がついている。
著作物は，次に掲げる場合その他の当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には，その必要と認められる限度において，いずれの方法によるかを問わず，利用することができる。ただし，当該著作物の種類及び用途並びに当該利用の態様に照らし著作権者の利益を不当に害することとなる場合は，この限りでない。
この辺りの解釈について紛糾している様子。
同30条の 4 は平成30年当時、事業者や研究者によるAI利用を想定していた。現在では一般市民にAIが広く普及し状況が変わってきたことから、同条の適応範囲について再整理を図るという趣旨で公開されたのが「AIと著作権に関する考え方について（素案）」
そして素案に対するパブリックコメントを募集した、というのが現在の流れ。
たぶん、CLIPのこと。テキストと画像の翻訳を行う。犬の画像を見て「犬」と識別することができる。
ネット上のあらゆる画像とテキストを学習することで作られた。OpenAIによって公開。画像生成だけではなくいろんなところに使われている。
画像生成AIはテキストエンコーダ（CLIP）と画像生成器の組み合わせでできている。stable diffusion等は拡散モデルを使っている。
1. イラストを用意する
学習を繰り返しノイズを増やしていくと最後はただのノイズから画像を出力する 連想ゲーム絵師が誕生する。連想ゲーム絵師は連想しかできないので自分が描いたものが何かわからない。犬を描いてといっても車を描いてくる。なので CLIPが誘導したりダメ出ししたりする。
どこかのイラストサイトかデータベースを使っているはず。「著作権的に安全な〜」みたいな触れ込みのやつはどこかのデータベースを購入して使っているんだと思う。
Pixivの主張は別におかしくない。このあたりは「AIと著作権に関する考え方について（素案）p7」（エ）において解説されている。"robot.txt"への記述によりAI学習を行うクローラーのアクセスを制限しているにも関わらず、勝手に学習に使うことは「データベースの著作物の潜在的販路を阻害する行為」として著作権違反になる（Pixivが将来的に本当に販売するかどうかは置いておく）
追加学習（LoRA）のこと。
既存のモデルに数枚のイラストを追加学習させることで絵柄を模倣（ファインチューニング）する。
特定の絵師さんのイラストを勝手に使う者がいるようでトラブルになっている。
絵柄に著作権はない。学習の際に行われる複製が著作権侵害にあたるかどうかが争点になっている。
著作権法30条の4 より
この辺りは「AIと著作権に関する考え方について（素案）」及びパブコメの返答に現状の解釈が示されているので興味のある方はどうぞ。
(p6. 特定のクリエイターの著作物のみを用いてファインチューニングを行う場合〜を参照）
※ここははっきりとは断定していないので自分で読んだ方が良いと思う。
（私の読解:）
程度問題ぽい。よくある画風なら問題にならないけれどはっきりと特定絵師さんとわかる感じだとダメそうですね
（私の読解終わり）
別にプロフィールなんて「トイレから出たら手を洗ってください」でも「フォローする際には五体投地してください」でも好きに書いてよいだろう。
それが法律に記されているかどうかは関係ない。ただのお願いだ。
「AI学習禁止」と書くなと騒いでいる人は何を考えているのかよくわからん。
「AIと著作権に関する考え方について（素案）」にも再三出てくるがAI学習を技術的に回避することは禁止していない。30条の4は権利の制限であって、イラストを差し出せという強制ではない。
見ればわかりますが個人よりも一般企業による意見が多く、返答とあわせてとても読み応えのあるものです。
このファイルを読んで個人の頭の悪そうな意見だけ抜粋してくるのは非常に違和感があります。
分散型SNSに搭載されている削除ボタンは基本的には「自分のいるサーバーからは消せるけど、他のサーバーにはあくまでもお願いしかできない」仕様なので繋がっているサーバーの管理者や設定次第では永遠に消したい投稿が残り続ける。
第三者が悪意のあるなしに関わらず無断で個人情報を拡散した場合や、自分が間違えて個人情報を投稿してしまった時など、比較的簡単に情報が海外のサーバーにも渡ってしまい日本国内の法律では対応しきれなくなる。
大抵の場合は消してもらえるとは思うが、最悪の場合、日本国内のサーバーからは消せても外国のサーバーには残っており、その国には関連法がないため法に訴えて消してもらうこともできず、日本国内からは簡単に閲覧が可能...という状況も想定される。
長々と語っているが、要はサーバー管理者は悪意がなくても犯罪に加担してしまう可能性があるということと、情報へのアクセスのしやすさが違う。
既に誹謗中傷界隈（？）の人間が「言論の自由だ！Xアカウントが凍結された！検閲だ！」と分散型SNSに移動してるのをちょくちょく見るのが不穏。
基本的にサーバーの運営にはお金がいるのでサーバー管理者はマネタイズに追われるが、Xは広告のみでもあの有様だし、現に資金繰りがうまくいかず閉鎖したサーバーも見てきたし、そのうち（サーバー代関係なく、モラルのない人が）金儲けにと違法薬物の広告などを出し始めるのも想像に難くない。
ご存知の通り、日本はポルノに関する規制が異常にゆるい。児童ポルノに関してもそう。
故に、感覚の麻痺しきった日本では普通だと思われる児童ポルノ系の絵柄が多く投稿されるサーバーやアカウントはは諸外国のサーバーからは切断や凍結されることが多く、代表で言えばPawooがそれ。
場合によってはキャッシュが残っているだけで捕まる国もあるので当たり前なのだが、これを逆手に取り、いつぞやのPixivのように児童ポルノや児童売春に関する投稿を大量にされたら、どんなに本人が平和にやっていてもサーバー管理者がお縄になったり諸外国にあるサーバーから連合を切られたり、その上日本人そのものへの風評被害になりかねない。
まあ、日本のキショさチキンレースをやってる表現の自由戦士達は自分も含むみんなの首をじわじわ絞めるのでこんな攻撃をするまでもなく日本のサーバーは切られるんだろうけど.....
日本のIPから諸外国のサーバーへの大量投稿、なんてのがあったらなおヤバいかも。
自分がいるサーバー管理者が生成AI反対派でブロックする技術を導入してくれたとしても、クローラーがいるサーバーに制限がなければ恐らくなんの意味もない。（今後どうにかできる技術が出てくるかもしれないが、恐らくイタチごっこだと思われる）
絵描きさん、VTuberさん、コスプレイヤーさんなんかはAIに使われると大変だと思うのでご留意されたし。
まあ後述の通り、AIに利用されたくなければ全てのSNSで警戒は必要なのだが、やはり自分が悪用する側だとして想像してみると分散型SNSの収集の簡単さにはやはり惹かれるものがある。
完全にはできない。削除と同じであくまでもAIに「使わないでください」とお願いができるだけであって完全な拒否は不可能（これはSNSに限らずインターネット全般）
これは一長一短なのだが、どの分散型SNSもRSS配信を使えがちなのでアカウントを持っていなくても投稿内容を監視できて相手にバレずにネトストがしやすい。
俺はしがないプログラマー。
githubで50スターぐらいのしょぼいコードを置いているが、そんなプロジェクトには何の力も入れていない。プロジェクトと呼ぶのもおこがましいぐらいだ。
仕事ではとあるコンテンツの検索エンジンを作っているが、情報検索、推薦システム、クローラー、そういうのを開発するのもだいぶ慣れたのでなにか新しいことをやりたいなと思っているところだ。
リーナストーバルズが言っていたが、「一つのプロジェクトを30年継続するような、そういう人がこの世界には必要だ」らしい。Linuxという価値あるプロジェクトを持つ人はやはりいうことが違う。
しかし、Linuxレベルの価値のある何かを30年...それ俺にもできるんだろうか？
しかし社会からの需要があり、その需要が30年も続くようなものを、果たして俺程度が作れるのか。
そもそも需要というのはどこから生まれてくるのだろう、と思うことがある。
それは人に対する社会的信用であったり、あるいは偶然的に宣伝がうまく行ったということもある。
俺は日頃から「社会」が俺を評価していないと思うことが多い。そんな状態で、社会のためになる何かを作ることなど可能なのか。
「社会」が、俺のような人間を「弱者男性」といって差別・虐待している状態で、俺は本当に社会のために貢献したいと思えるのだろうか。
一体、弱者男性が作ったどんなプロジェクトであれば人々がサポートしようと思えるのか。
全てが虚しい。
うるさい目覚ましで朝起きる。眠すぎる。二度寝したい。
しかし仕事があるので、こたつの上に置いているPCを起動させ、リモートで出社する。
メール一覧を確認した後、今日のタスクを確認し、今日やろうとしていることを上司に伝える。
ここがポイントなのだが、タスクが完了する日数は多めに見積もっておくとよい。2日で終わるタスクは5日かかると言う。
急ぎのタスクなど俺の会社にはない。急いでたくさんこなしても、給料は上がらない。
そう言いつつ、タスクはできる限り早く終わらせる。
例えば見積もりが5日で、終わらせたのが2日であるなら、3日はサボれるということだ。
あと、できるだけ自動化しておく。クローラーもファイルや統計の生成も、バッチ的に実行するスクリプトも、そういうものはひたすら自動化する。
ではサボっている時に何をしているか。オナニーするのも良いし、コンビニでおやつを買ってくるのも良い。
あるいはオンラインゲームをするとか、増田をやるとか、とにかくやりたいことをダラダラとやっていればよい。
仕事をしていないことを監視する人は誰もいない。結局、やるべき仕事はやっているのだから、俺が間違っているということはない。
そうして仕事の時間が終わったら、テキトーに挨拶して抜ける。100%定時で退社するべきだというのが俺の論だ。急ぎの仕事もないのに、残業代を貰うわけにはいかない。
さて、一日の仕事が終わった。そして俺はオンラインゲームの続きをする。
こういう人生を歩む弱者男性の俺からすると、なぜ世間の人たちがあんなに頑張れるのか、不思議に思ってしまうのだ。
俺に物資配達するヤマト運輸の運ちゃんはよく頑張っているし、プログラマーなんかよりも100倍役に立っているだろう。
いつものようにPCゲームの攻略スレ＆国内サッカー板で情報をあさろうと思ったら、全くスレが見れないｗｗｗ
5ch問題まとめ
1 janestyleがAPIサーバーを用意してほかのブラウザを締め出す
2 ほかのブラウザはjanestyle開発者にAPIキーをもらうしかなくなる
ここ数ヶ月の5ch
って、事らしい。
他の人の説明の通りで、俺のキャリアでは専ブラを使わないと規制によって書き込みが出来ないって状態だったので
今回専ブラを使えなくなったことで、必然的に5chを見る意味がなくなった。5chの無駄で広範囲に巻き込む長期の規制はなくならんだろう。
なんか板によってはNGワードもあるようで、いつの間にか焼かれてしまうこともある。専ブラ経由でかろうじて使えていただけだった。
Janeの謀反がどういう理由によるものか分からんけど、Talkに住民が移動するか分からんし
ひとまず自分の中で5ch/Talkが終わったな。同じチームをサポートするサポーター同士、同じゲームを攻略中のゲーマー同士の会話が出来なくなるのは残念だが。
まぁしゃあない。サポーター同士の情報交換ならTwitterでも、Lineでも出来るから、まだいいか。
で疑問なんだけど、これ、企業・団体や個人の人脈、固定ファンを持ってない人の記事ってどういう導線があるの？
ホームもトレンドも半分以上がオーガナイゼーション所属か見覚えあるアイコン。
企業系はもう身内でいいねだかLGTMだかを押し合って押し上げる印象しかないし。
有象無象の投稿者に一見さんが訪れるのはせいぜいアドカレ？年末だけか。
Qiitaって今、盛り上がってるのか…？
https://qiita.com/Qiita/items/75a34af032d898a86679
ひとつもストックされない記事がどれぐらい埋没してることやら。
覗いたついでに一個記事を上げてみたけど、初日の閲覧数100前半で止まった。
読み物でもなく需要・トレンドがあるわけでもない記事だけど100人ぐらいにしかクリックすらしてもらえないんだな。
数年前の3いいねぐらいの記事でも5～7000viewぐらいあってクローラーだとかの細かい積み重ねにしてもひどい頭打ちね。
今、ゼロからQiitaに投稿していこうってエンジニアは何をモチベに投稿し何かしらモチベになるものを受け取れているのか…？
まあ、Qiitaはもう昔から内輪で回す閉じたコンテンツだっていうバイアスをかけてるからそう見えている可能性が高い。
QiitaとかZenとか日本語版スタックオーバーフローとかteratailとか、ここらへんのコミュニティの環境を定期的に解説してくれる人いないかなぁ。空気感とかこんな出来事があってこんな風になったよとか。
下世話すぎるか。
キャンドルジュンにちょっと興味出ちゃったな。あのとっちらかった会見書き起こし読んで。
キャンドルアートだか何だか知らないが、意識高いスピリチュアルな能書きとか垂れて、セレブなご友人のパーティかなにかで上っ面だけのオシャレなアートパフォーマンスして大金稼いで、ついでにトロフィーワイフキープして、上手に世渡りしてるような手合なんじゃねーのと思っていた。
そういう業界クローラーとは全く違う、完全にアートの人なんだな。
ここでいうアートの人というのは優れたアーティストかどうかみたいな評価の話ではなくて、どうあれ一生自分のアートやる以外の選択肢のない人というか。
