2024-06-11

記事への反応 -
  • じゃあPythonでクローラー書いてるってコト? どのサービスがなんのフレームワークでやってんの?

    • クローラにフレームワークなんて使っていない

      • クローラにフレームワークなんて使っていない 笑 いやマイクロサービスだろ? RESTかなんかでやりとりするだろ? 普通Djangoとか使うでしょ笑 全部書いたの?

        • 悪いがクローラはRESTでなんてやり取りしないな データを蓄積して、ストレージにアップロードするだけ Djangoなんて使わん

          • 笑 ストレージにファイルアップしてデータやりとりするマイクロサービスってちょっと想像を超えてきた

            • リアルタイムでRESTでやり取りする必要なんてないだろ、クローラなんて

              • いやそういう問題でなくて マイクロサービスでDBシェアしちゃって意味ないってよくあるパターンだが まさかそもそもファイルとは

                • クロールってのは標準のフォーマットがあって、WARCファイルというのがある このWARCファイルを一旦保存しておいて、毎日S3にアップロードしてる S3を操作するコンテナが別途あって、ア...

                  • いやだからそういう問題じゃなくてね? マイクロサービスってちょっとそうじゃないんよ それをちゃんと動かすのが第一歩だし多くが脱落するけどね

                    • マイクロサービスに対する俺の認識は「何らかの処理やIOを行うまとまりが、コンテナによって分けられたもの」というもの。 だからクロールという機能を分離してコンテナ化していれ...

                      • この増田さんにまともに相手してると病気になっちゃいますよ

                        • 俺悪者? 罵倒してきたのあっちじゃん まあでも病気にはなっちゃうかも

                      • うん まあね でも面接じゃ落ちるよ

                        • 面接?何の話をしているんだお前は 今いる企業から転職するつもりはないから関係ねぇな

                          • 今いる企業から転職するつもりはないから関係ねぇな 今いる会社じゃなくて企業って書いてる時点で無職なのが透けて見えちゃってるんだよなあ

                          • じゃあ別にそれでいいんじゃね? 世間じゃ通じないだけで

                            • それはお前の願望じゃん

                              • いや転職しないから関係ないって言い出したの君やん 俺は言ってない で、繰り返すけど面接では通じないよ

                                • いや面接に落ちて欲しいって願望じゃん 自分が理解できないからって相手が格下であってほしいっつう願望 実例拒否ってんの君の頭じゃないん?

                      • 何等かのサービスしてればサービスだよお コンテナ化は全然関係ないよお

                        • コンテナとマイクロサービスが一緒に語られることが多いのを知らないの? https://enterprisezine.jp/article/detail/18880 用語の厳密な定義、とかそういうのは興味ない どう運用してるかってのに...

                        • いや関係あるだろ、ガイジか?

                      • あなたがレスしている相手は、真っ昼間から常駐していて、生煮えの知識で脊髄反射レスして、マジレスされるとググりながらグダグダぼくは間違ってないってやる奴なので あんまり深...

                        • いやフレームワークも使わないで素のPythonでファイルサーバーにファイルをあげるクローラーをマイクロサービスって言う人君しかいないよ 真昼間に書いてんのも君だし 俺アメリカだか...

                          • アメリカって西と東で時差あるの知ってたか?間抜けは見つかったようだな

                            • アメリカって西と東で時差あるの知ってたか? いやあるけどなんなんだよ笑 アメリカって10時間くらい時差あると思ってたの? ぶっ飛んでんなあ

                          • 明らかに口調が違う相手に「君しかいない」とか、マジでいつものお前かよって思いました

          • recaptchaどうやって突破してんの? ブラウザ以外のアクセスって簡単に拒否れるけどどうやって突破してんの?

            • ブラウザを使ってクロールしてるんだよ headlessモードって知ってる?pyppeteerを基本は使ってる といっても、相手サイトは予めこちらのクロールを許可しているので、UAに特定の文字列を...

              • それフレームワークじゃん・・・

                • ああ、これをフレームワークと呼ぶならそうなんだろうな まあそれは単なる要素技術なので「どんなフレームワークを使ってますか」なんて質問がナンセンスの塊だね

                  • まぁ用語はどうでも良くてchromeがバックエンドしてるっていう認識が無いのは知識不足なんだよな

                    • chromeがバックエンドしてるっていう認識が無いのは知識不足 性格悪いがガチでニヤニヤしている笑

                    • バックエンドしてる?なにいってんだこいつ pyppeteerにchromeが使われているという話なら「バックエンドしてる」なんて言い方しないぞ

                    • バックエンドしてる またパワーワード出たな…

              • マイクロサービスがまさかのChromeのHeadless😆

            • 素のpythonで認証系突破してるなら割とhowは気になるな

          • なんにもサービスしてなくね?

      • フレームワークというキーワードを何故使った

        • なにいってんだこいつ こいつがフレームワークにこだわるからだろ↓ どのサービスがなんのフレームワークでやってんの?

          • 横だけど普通仕事では使うので その人が「なぜ」というのは君なぜわからないのに使った(そして火に飛び込んだ?)?という意味

            • なにいってんだこいつ 日本語でおk

            • よくわからんけど、とりあえずフレームワークの意味がわからないと思ったのはなんでなのか説明してみて

              • いや君がフレームワークの意味がわかってないとは言っていない 誰も言っていない ただ、面接などで俺はできるやってきたと言うやつは山ほどいるので じゃあフレームワークは?等の...

                • マジかよフレームワーク最低だな

                  • 言語も最低だし なんならアルゴリズムとデータストラクチャなんかクソやで

                • 馬鹿の発想だね クローラをフルスクラッチで書くぐらいよくあること まあbs4ぐらいは使うかもしれないが仰々しく「フレームワーク」とは言わんし、要素技術でマウント取るような界隈...

                  • Chromeのheadlessをマイクロサービスのバックエンドといったやつがよくまあ笑 給料いくらもらってんの?

                    • pyppeteerでクロール専用に特化したコンテナを運用することのどこがおかしいんだ? お前、実運用でクローラ書いたことある?

                      • やめときな あの増田は自分の知らないものは全て間違っててにわかだと思ってる。そのうち単芝生やしたりするから増田からなんJみたくなって臭いのはいやだ

                  • 面接でパイソンできますか?ララベルできますか? みたいな質問しかされません><

                  • クローラをフルスクラッチ そろそろ俺の腹筋が持たない笑

                    • ちょっと笑いのツボがどうなってるのかわからないので もっと詳しく説明していただけますか

                      • そこそこするけどいい? 5億で雇ってくれるならパワポにしてがっちりやるよ

                    • なにもおかしいことはないと思うが

                  • フルスクラッチ いちいち選択する言葉がエンジニア離れしてるんだよなあ

                    • フルスクラッチという言葉のどこがエンジニア離れなの? 文脈的に、特殊なフレームワーク等を使わないということでしょう?

                      • 横だけどまず「フルスクラッチ」ってのが怪しいのと クローラーのスクリプトとかエンジニア的に誰でもできることであって 駆け出しの仕事じゃん スクリプトの時点でスクラッチもク...

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん