クローラにフレームワークなんて使っていない
クローラにフレームワークなんて使っていない 笑 いやマイクロサービスだろ? RESTかなんかでやりとりするだろ? 普通Djangoとか使うでしょ笑 全部書いたの?
悪いがクローラはRESTでなんてやり取りしないな データを蓄積して、ストレージにアップロードするだけ Djangoなんて使わん
recaptchaどうやって突破してんの? ブラウザ以外のアクセスって簡単に拒否れるけどどうやって突破してんの?
ブラウザを使ってクロールしてるんだよ headlessモードって知ってる?pyppeteerを基本は使ってる といっても、相手サイトは予めこちらのクロールを許可しているので、UAに特定の文字列を...
それフレームワークじゃん・・・
ああ、これをフレームワークと呼ぶならそうなんだろうな まあそれは単なる要素技術なので「どんなフレームワークを使ってますか」なんて質問がナンセンスの塊だね
まぁ用語はどうでも良くてchromeがバックエンドしてるっていう認識が無いのは知識不足なんだよな
chromeがバックエンドしてるっていう認識が無いのは知識不足 性格悪いがガチでニヤニヤしている笑
バックエンドしてる?なにいってんだこいつ pyppeteerにchromeが使われているという話なら「バックエンドしてる」なんて言い方しないぞ
バックエンドしてる またパワーワード出たな…
マイクロサービスがまさかのChromeのHeadless😆
素のpythonで認証系突破してるなら割とhowは気になるな
笑 ストレージにファイルアップしてデータやりとりするマイクロサービスってちょっと想像を超えてきた
リアルタイムでRESTでやり取りする必要なんてないだろ、クローラなんて
いやそういう問題でなくて マイクロサービスでDBシェアしちゃって意味ないってよくあるパターンだが まさかそもそもファイルとは
クロールってのは標準のフォーマットがあって、WARCファイルというのがある このWARCファイルを一旦保存しておいて、毎日S3にアップロードしてる S3を操作するコンテナが別途あって、ア...
いやだからそういう問題じゃなくてね? マイクロサービスってちょっとそうじゃないんよ それをちゃんと動かすのが第一歩だし多くが脱落するけどね
マイクロサービスに対する俺の認識は「何らかの処理やIOを行うまとまりが、コンテナによって分けられたもの」というもの。 だからクロールという機能を分離してコンテナ化していれ...
この増田さんにまともに相手してると病気になっちゃいますよ
俺悪者? 罵倒してきたのあっちじゃん まあでも病気にはなっちゃうかも
うん まあね でも面接じゃ落ちるよ
面接?何の話をしているんだお前は 今いる企業から転職するつもりはないから関係ねぇな
何等かのサービスしてればサービスだよお コンテナ化は全然関係ないよお
コンテナとマイクロサービスが一緒に語られることが多いのを知らないの? https://enterprisezine.jp/article/detail/18880 用語の厳密な定義、とかそういうのは興味ない どう運用してるかってのに...
いや関係あるだろ、ガイジか?
あなたがレスしている相手は、真っ昼間から常駐していて、生煮えの知識で脊髄反射レスして、マジレスされるとググりながらグダグダぼくは間違ってないってやる奴なので あんまり深...
いやフレームワークも使わないで素のPythonでファイルサーバーにファイルをあげるクローラーをマイクロサービスって言う人君しかいないよ 真昼間に書いてんのも君だし 俺アメリカだか...
なんにもサービスしてなくね?
フレームワークというキーワードを何故使った
なにいってんだこいつ こいつがフレームワークにこだわるからだろ↓ どのサービスがなんのフレームワークでやってんの?
横だけど普通仕事では使うので その人が「なぜ」というのは君なぜわからないのに使った(そして火に飛び込んだ?)?という意味
なにいってんだこいつ 日本語でおk
まず4級から受けるといいみたいよ
よくわからんけど、とりあえずフレームワークの意味がわからないと思ったのはなんでなのか説明してみて
いや君がフレームワークの意味がわかってないとは言っていない 誰も言っていない ただ、面接などで俺はできるやってきたと言うやつは山ほどいるので じゃあフレームワークは?等の...
マジかよフレームワーク最低だな
言語も最低だし なんならアルゴリズムとデータストラクチャなんかクソやで
馬鹿の発想だね クローラをフルスクラッチで書くぐらいよくあること まあbs4ぐらいは使うかもしれないが仰々しく「フレームワーク」とは言わんし、要素技術でマウント取るような界隈...
Chromeのheadlessをマイクロサービスのバックエンドといったやつがよくまあ笑 給料いくらもらってんの?
pyppeteerでクロール専用に特化したコンテナを運用することのどこがおかしいんだ? お前、実運用でクローラ書いたことある?
やめときな あの増田は自分の知らないものは全て間違っててにわかだと思ってる。そのうち単芝生やしたりするから増田からなんJみたくなって臭いのはいやだ
まさかお前も俺にやられた口か 変なこと言うからや
最初からプロだっていってるし丁寧に話してるのに バカだのアホだの素人だの人格攻撃してくるからそういうことになる 最初から言ってるじゃん
面接でパイソンできますか?ララベルできますか? みたいな質問しかされません><
普通、面接では要素技術じゃなくてアルゴリズムの問題とか出すよね
いやat coder赤ですでパスできる
マジレスすると別にああいうののレベルは全然関係ない 俺たちにしてみればあれはゲームだから もちろん最低限わからんのはダメだけど Googleの面接のビデオとかYoutubeにあるやろ
クローラをフルスクラッチ そろそろ俺の腹筋が持たない笑
ちょっと笑いのツボがどうなってるのかわからないので もっと詳しく説明していただけますか
そこそこするけどいい? 5億で雇ってくれるならパワポにしてがっちりやるよ
あ、やっぱりいいです 笑いのツボは人それぞれですもんね
なにもおかしいことはないと思うが
フルスクラッチ いちいち選択する言葉がエンジニア離れしてるんだよなあ
フルスクラッチという言葉のどこがエンジニア離れなの? 文脈的に、特殊なフレームワーク等を使わないということでしょう?
横だけどまず「フルスクラッチ」ってのが怪しいのと クローラーのスクリプトとかエンジニア的に誰でもできることであって 駆け出しの仕事じゃん スクリプトの時点でスクラッチもク...
なにいってんだこいつ scrapyとか使わないって意味だろ
そもそも非コンパイラ言語をスクリプトと呼称することも一般的ではない
俺の認識だと「フルスクラッチ」ってのは和製英語で、英語の"from scratch"から来てる で、クローラをスクラッチで書くって用法は普通にある https://www.octoparse.jp/blog/how-to-build-a-web-crawler-from...