悪いがクローラはRESTでなんてやり取りしないな データを蓄積して、ストレージにアップロードするだけ Djangoなんて使わん
recaptchaどうやって突破してんの? ブラウザ以外のアクセスって簡単に拒否れるけどどうやって突破してんの?
ブラウザを使ってクロールしてるんだよ headlessモードって知ってる?pyppeteerを基本は使ってる といっても、相手サイトは予めこちらのクロールを許可しているので、UAに特定の文字列を...
それフレームワークじゃん・・・
ああ、これをフレームワークと呼ぶならそうなんだろうな まあそれは単なる要素技術なので「どんなフレームワークを使ってますか」なんて質問がナンセンスの塊だね
まぁ用語はどうでも良くてchromeがバックエンドしてるっていう認識が無いのは知識不足なんだよな
chromeがバックエンドしてるっていう認識が無いのは知識不足 性格悪いがガチでニヤニヤしている笑
バックエンドしてる?なにいってんだこいつ pyppeteerにchromeが使われているという話なら「バックエンドしてる」なんて言い方しないぞ
バックエンドしてる またパワーワード出たな…
マイクロサービスがまさかのChromeのHeadless😆
素のpythonで認証系突破してるなら割とhowは気になるな
笑 ストレージにファイルアップしてデータやりとりするマイクロサービスってちょっと想像を超えてきた
リアルタイムでRESTでやり取りする必要なんてないだろ、クローラなんて
いやそういう問題でなくて マイクロサービスでDBシェアしちゃって意味ないってよくあるパターンだが まさかそもそもファイルとは
クロールってのは標準のフォーマットがあって、WARCファイルというのがある このWARCファイルを一旦保存しておいて、毎日S3にアップロードしてる S3を操作するコンテナが別途あって、ア...
いやだからそういう問題じゃなくてね? マイクロサービスってちょっとそうじゃないんよ それをちゃんと動かすのが第一歩だし多くが脱落するけどね
マイクロサービスに対する俺の認識は「何らかの処理やIOを行うまとまりが、コンテナによって分けられたもの」というもの。 だからクロールという機能を分離してコンテナ化していれ...
この増田さんにまともに相手してると病気になっちゃいますよ
俺悪者? 罵倒してきたのあっちじゃん まあでも病気にはなっちゃうかも
うん まあね でも面接じゃ落ちるよ
面接?何の話をしているんだお前は 今いる企業から転職するつもりはないから関係ねぇな
今いる企業から転職するつもりはないから関係ねぇな 今いる会社じゃなくて企業って書いてる時点で無職なのが透けて見えちゃってるんだよなあ
じゃあ別にそれでいいんじゃね? 世間じゃ通じないだけで
それはお前の願望じゃん
何等かのサービスしてればサービスだよお コンテナ化は全然関係ないよお
コンテナとマイクロサービスが一緒に語られることが多いのを知らないの? https://enterprisezine.jp/article/detail/18880 用語の厳密な定義、とかそういうのは興味ない どう運用してるかってのに...
君ほんとググってくるだけだな
お前の寸言よりソース付きの投稿のほうがエビデンスはあるからね
いや関係あるだろ、ガイジか?
あなたがレスしている相手は、真っ昼間から常駐していて、生煮えの知識で脊髄反射レスして、マジレスされるとググりながらグダグダぼくは間違ってないってやる奴なので あんまり深...
いやフレームワークも使わないで素のPythonでファイルサーバーにファイルをあげるクローラーをマイクロサービスって言う人君しかいないよ 真昼間に書いてんのも君だし 俺アメリカだか...
アメリカって西と東で時差あるの知ってたか?間抜けは見つかったようだな
アメリカって西と東で時差あるの知ってたか? いやあるけどなんなんだよ笑 アメリカって10時間くらい時差あると思ってたの? ぶっ飛んでんなあ
明らかに口調が違う相手に「君しかいない」とか、マジでいつものお前かよって思いました
なんにもサービスしてなくね?