2024-06-11

anond:20240611135352

クロールってのは標準のフォーマットがあって、WARCファイルというのがある

このWARCファイルを一旦保存しておいて、毎日S3にアップロードしてる

S3を操作するコンテナが別途あって、アップロードされてきたWARCファイルDBに読み込む操作がある

記事への反応 -
  • クローラにフレームワークなんて使っていない 笑 いやマイクロサービスだろ? RESTかなんかでやりとりするだろ? 普通Djangoとか使うでしょ笑 全部書いたの?

    • 悪いがクローラはRESTでなんてやり取りしないな データを蓄積して、ストレージにアップロードするだけ Djangoなんて使わん

      • 笑 ストレージにファイルアップしてデータやりとりするマイクロサービスってちょっと想像を超えてきた

        • リアルタイムでRESTでやり取りする必要なんてないだろ、クローラなんて

          • いやそういう問題でなくて マイクロサービスでDBシェアしちゃって意味ないってよくあるパターンだが まさかそもそもファイルとは

            • クロールってのは標準のフォーマットがあって、WARCファイルというのがある このWARCファイルを一旦保存しておいて、毎日S3にアップロードしてる S3を操作するコンテナが別途あって、ア...

              • いやだからそういう問題じゃなくてね? マイクロサービスってちょっとそうじゃないんよ それをちゃんと動かすのが第一歩だし多くが脱落するけどね

                • マイクロサービスに対する俺の認識は「何らかの処理やIOを行うまとまりが、コンテナによって分けられたもの」というもの。 だからクロールという機能を分離してコンテナ化していれ...

                  • この増田さんにまともに相手してると病気になっちゃいますよ

                    • 俺悪者? 罵倒してきたのあっちじゃん まあでも病気にはなっちゃうかも

                  • うん まあね でも面接じゃ落ちるよ

                    • 面接?何の話をしているんだお前は 今いる企業から転職するつもりはないから関係ねぇな

                      • 今いる企業から転職するつもりはないから関係ねぇな 今いる会社じゃなくて企業って書いてる時点で無職なのが透けて見えちゃってるんだよなあ

                      • じゃあ別にそれでいいんじゃね? 世間じゃ通じないだけで

                        • それはお前の願望じゃん

                          • いや転職しないから関係ないって言い出したの君やん 俺は言ってない で、繰り返すけど面接では通じないよ

                            • いや面接に落ちて欲しいって願望じゃん 自分が理解できないからって相手が格下であってほしいっつう願望 実例拒否ってんの君の頭じゃないん?

                              • 俺はお前が格下とか言ってないけど 実際それじゃトップテックの面接は速攻落ちるし 格がとか言いたかないけどじゃあ給料明細でも比べるか? 君の数倍はあるで

                                • それはお前が面接官担当したらの仮定の話じゃん その仮定で俺が落ちたとしてそれはN=1じゃん それで世間を代弁するのはN=1を一般化したいだけの願望じゃん

                              • あ、ごめん、10人でコスト無しで100億だっけw 流石に数億円はないわ😆

                                • 100億ってのは本当の話 この時点で大体企業名が特定されちゃいそうだからそれ以上は言えないんだけどね

                  • 何等かのサービスしてればサービスだよお コンテナ化は全然関係ないよお

                    • コンテナとマイクロサービスが一緒に語られることが多いのを知らないの? https://enterprisezine.jp/article/detail/18880 用語の厳密な定義、とかそういうのは興味ない どう運用してるかってのに...

                      • 君ほんとググってくるだけだな

                        • お前の寸言よりソース付きの投稿のほうがエビデンスはあるからね

                          • そうじゃなくて き み は反応してググってくるだけだな

                            • まさにマイクロサービスそのものやな

                            • きみって具体的に誰?くわしく

                              • なぜ curl や wget を使わず python で chorome を起動したの?

                              • 「君って誰?」って流石にもはや完全に気狂いでは?

                                • 匿名サービスで横増とかもいるのに「君」とか特定しているようなことを言うからだろ

                                • 狂ってなきゃあんな筋の悪い話の広げ方できなくない? 彼の人は何か別の論理や定義で話が吹っ飛んでるのに全部繋がってる話だと思いこんでるから狂ってなくても病人ではないか

                    • いや関係あるだろ、ガイジか?

                  • あなたがレスしている相手は、真っ昼間から常駐していて、生煮えの知識で脊髄反射レスして、マジレスされるとググりながらグダグダぼくは間違ってないってやる奴なので あんまり深...

                    • いやフレームワークも使わないで素のPythonでファイルサーバーにファイルをあげるクローラーをマイクロサービスって言う人君しかいないよ 真昼間に書いてんのも君だし 俺アメリカだか...

                      • アメリカって西と東で時差あるの知ってたか?間抜けは見つかったようだな

                        • アメリカって西と東で時差あるの知ってたか? いやあるけどなんなんだよ笑 アメリカって10時間くらい時差あると思ってたの? ぶっ飛んでんなあ

                      • 明らかに口調が違う相手に「君しかいない」とか、マジでいつものお前かよって思いました

      • recaptchaどうやって突破してんの? ブラウザ以外のアクセスって簡単に拒否れるけどどうやって突破してんの?

        • ブラウザを使ってクロールしてるんだよ headlessモードって知ってる?pyppeteerを基本は使ってる といっても、相手サイトは予めこちらのクロールを許可しているので、UAに特定の文字列を...

          • それフレームワークじゃん・・・

            • ああ、これをフレームワークと呼ぶならそうなんだろうな まあそれは単なる要素技術なので「どんなフレームワークを使ってますか」なんて質問がナンセンスの塊だね

              • まぁ用語はどうでも良くてchromeがバックエンドしてるっていう認識が無いのは知識不足なんだよな

                • chromeがバックエンドしてるっていう認識が無いのは知識不足 性格悪いがガチでニヤニヤしている笑

                • バックエンドしてる?なにいってんだこいつ pyppeteerにchromeが使われているという話なら「バックエンドしてる」なんて言い方しないぞ

                • バックエンドしてる またパワーワード出たな…

          • マイクロサービスがまさかのChromeのHeadless😆

        • 素のpythonで認証系突破してるなら割とhowは気になるな

      • なんにもサービスしてなくね?

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん