2024-06-11

anond:20240611132306

じゃあPythonクローラー書いてるってコト?

どのサービスがなんのフレームワークでやってんの?

記事への反応 -
  • そういう細かい話をさも重要かのようにやってるからML担当は無能扱いされてるよ

    • じゃあML関係ない君の「マイクロサービス」の話しようか(ワクワク) MLでPythonだからつまり君PHPでLaravelじゃん笑 OOPでどんなチャレンジがあったの?

      • 悪いが「チャレンジ」とか意識他界系みたいなことを言うやつはいない やるべきことを愚直にやる。それだけ まあこの辺は具体的な話をしすぎると同僚に増田をやってることがバレるか...

        • へえぇPythonもBEで使ってるんだ 前にあげたサービスのどれがPythonなの?

          • フロントエンドはphpが主だが、クローラは全面的にpythonを使ってる

            • じゃあPythonでクローラー書いてるってコト? どのサービスがなんのフレームワークでやってんの?

              • クローラにフレームワークなんて使っていない

                • フレームワークというキーワードを何故使った

                  • なにいってんだこいつ こいつがフレームワークにこだわるからだろ↓ どのサービスがなんのフレームワークでやってんの?

                    • 横だけど普通仕事では使うので その人が「なぜ」というのは君なぜわからないのに使った(そして火に飛び込んだ?)?という意味

                      • なにいってんだこいつ 日本語でおk

                      • よくわからんけど、とりあえずフレームワークの意味がわからないと思ったのはなんでなのか説明してみて

                        • いや君がフレームワークの意味がわかってないとは言っていない 誰も言っていない ただ、面接などで俺はできるやってきたと言うやつは山ほどいるので じゃあフレームワークは?等の...

                          • マジかよフレームワーク最低だな

                            • 言語も最低だし なんならアルゴリズムとデータストラクチャなんかクソやで

                          • 馬鹿の発想だね クローラをフルスクラッチで書くぐらいよくあること まあbs4ぐらいは使うかもしれないが仰々しく「フレームワーク」とは言わんし、要素技術でマウント取るような界隈...

                            • Chromeのheadlessをマイクロサービスのバックエンドといったやつがよくまあ笑 給料いくらもらってんの?

                              • pyppeteerでクロール専用に特化したコンテナを運用することのどこがおかしいんだ? お前、実運用でクローラ書いたことある?

                                • やめときな あの増田は自分の知らないものは全て間違っててにわかだと思ってる。そのうち単芝生やしたりするから増田からなんJみたくなって臭いのはいやだ

                            • 面接でパイソンできますか?ララベルできますか? みたいな質問しかされません><

                            • クローラをフルスクラッチ そろそろ俺の腹筋が持たない笑

                              • ちょっと笑いのツボがどうなってるのかわからないので もっと詳しく説明していただけますか

                                • そこそこするけどいい? 5億で雇ってくれるならパワポにしてがっちりやるよ

                              • なにもおかしいことはないと思うが

                            • フルスクラッチ いちいち選択する言葉がエンジニア離れしてるんだよなあ

                              • フルスクラッチという言葉のどこがエンジニア離れなの? 文脈的に、特殊なフレームワーク等を使わないということでしょう?

                                • 横だけどまず「フルスクラッチ」ってのが怪しいのと クローラーのスクリプトとかエンジニア的に誰でもできることであって 駆け出しの仕事じゃん スクリプトの時点でスクラッチもク...

                • クローラにフレームワークなんて使っていない 笑 いやマイクロサービスだろ? RESTかなんかでやりとりするだろ? 普通Djangoとか使うでしょ笑 全部書いたの?

                  • 悪いがクローラはRESTでなんてやり取りしないな データを蓄積して、ストレージにアップロードするだけ Djangoなんて使わん

                    • 笑 ストレージにファイルアップしてデータやりとりするマイクロサービスってちょっと想像を超えてきた

                      • リアルタイムでRESTでやり取りする必要なんてないだろ、クローラなんて

                        • いやそういう問題でなくて マイクロサービスでDBシェアしちゃって意味ないってよくあるパターンだが まさかそもそもファイルとは

                          • クロールってのは標準のフォーマットがあって、WARCファイルというのがある このWARCファイルを一旦保存しておいて、毎日S3にアップロードしてる S3を操作するコンテナが別途あって、ア...

                            • いやだからそういう問題じゃなくてね? マイクロサービスってちょっとそうじゃないんよ それをちゃんと動かすのが第一歩だし多くが脱落するけどね

                              • マイクロサービスに対する俺の認識は「何らかの処理やIOを行うまとまりが、コンテナによって分けられたもの」というもの。 だからクロールという機能を分離してコンテナ化していれ...

                                • この増田さんにまともに相手してると病気になっちゃいますよ

                                • うん まあね でも面接じゃ落ちるよ

                                • 何等かのサービスしてればサービスだよお コンテナ化は全然関係ないよお

                                • あなたがレスしている相手は、真っ昼間から常駐していて、生煮えの知識で脊髄反射レスして、マジレスされるとググりながらグダグダぼくは間違ってないってやる奴なので あんまり深...

                    • recaptchaどうやって突破してんの? ブラウザ以外のアクセスって簡単に拒否れるけどどうやって突破してんの?

                      • ブラウザを使ってクロールしてるんだよ headlessモードって知ってる?pyppeteerを基本は使ってる といっても、相手サイトは予めこちらのクロールを許可しているので、UAに特定の文字列を...

                        • それフレームワークじゃん・・・

                          • ああ、これをフレームワークと呼ぶならそうなんだろうな まあそれは単なる要素技術なので「どんなフレームワークを使ってますか」なんて質問がナンセンスの塊だね

                            • まぁ用語はどうでも良くてchromeがバックエンドしてるっていう認識が無いのは知識不足なんだよな

                              • chromeがバックエンドしてるっていう認識が無いのは知識不足 性格悪いがガチでニヤニヤしている笑

                              • バックエンドしてる?なにいってんだこいつ pyppeteerにchromeが使われているという話なら「バックエンドしてる」なんて言い方しないぞ

                              • バックエンドしてる またパワーワード出たな…

                        • マイクロサービスがまさかのChromeのHeadless😆

                      • 素のpythonで認証系突破してるなら割とhowは気になるな

                    • なんにもサービスしてなくね?

            • phpがフロントエンド・・・???SSRじゃなくてフロントエンド???

    • 死にかけのジジイでもAIAI言ってる今の状況で すげえなお前の会社

      • 俺の会社は10人程度の零細だけど、ほぼコストをかけずに100億は稼いでるからね 実際、俺の会社には社内ニートしかいないが、金には困らないので問題はない

        • 俺の会社は10人程度の零細だけど、ほぼコストをかけずに100億は稼いでる すごいですね😆

        • ワイの会社は3人やけど1000億稼いでるやで!

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん