  |
じゃあPythonでクローラー書いてるってコト？ どのサービスがなんのフレームワークでやってんの？
クローラにフレームワークなんて使っていない
フレームワークというキーワードを何故使った
なにいってんだこいつ こいつがフレームワークにこだわるからだろ↓ どのサービスがなんのフレームワークでやってんの？
横だけど普通仕事では使うので その人が「なぜ」というのは君なぜわからないのに使った（そして火に飛び込んだ？）？という意味
よくわからんけど、とりあえずフレームワークの意味がわからないと思ったのはなんでなのか説明してみて
いや君がフレームワークの意味がわかってないとは言っていない 誰も言っていない ただ、面接などで俺はできるやってきたと言うやつは山ほどいるので じゃあフレームワークは？等の...
マジかよフレームワーク最低だな
言語も最低だし なんならアルゴリズムとデータストラクチャなんかクソやで
馬鹿の発想だね クローラをフルスクラッチで書くぐらいよくあること まあbs4ぐらいは使うかもしれないが仰々しく「フレームワーク」とは言わんし、要素技術でマウント取るような界隈...
Chromeのheadlessをマイクロサービスのバックエンドといったやつがよくまあ笑 給料いくらもらってんの？
pyppeteerでクロール専用に特化したコンテナを運用することのどこがおかしいんだ？ お前、実運用でクローラ書いたことある？
やめときな あの増田は自分の知らないものは全て間違っててにわかだと思ってる。そのうち単芝生やしたりするから増田からなんJみたくなって臭いのはいやだ
まさかお前も俺にやられた口か 変なこと言うからや
最初からプロだっていってるし丁寧に話してるのに バカだのアホだの素人だの人格攻撃してくるからそういうことになる 最初から言ってるじゃん
面接でパイソンできますか？ララベルできますか？ みたいな質問しかされません＞＜
普通、面接では要素技術じゃなくてアルゴリズムの問題とか出すよね
いやat coder赤ですでパスできる
マジレスすると別にああいうののレベルは全然関係ない 俺たちにしてみればあれはゲームだから もちろん最低限わからんのはダメだけど Googleの面接のビデオとかYoutubeにあるやろ
クローラをフルスクラッチ そろそろ俺の腹筋が持たない笑
ちょっと笑いのツボがどうなってるのかわからないので もっと詳しく説明していただけますか
そこそこするけどいい？ 5億で雇ってくれるならパワポにしてがっちりやるよ
あ、やっぱりいいです 笑いのツボは人それぞれですもんね
ですよねー😆
君の笑いのツボは誰からも理解されないって意味だよ👍
あれ？N=1でいいんですか😆
ざんねーん、N=2でした😝
なにもおかしいことはないと思うが
フルスクラッチ いちいち選択する言葉がエンジニア離れしてるんだよなあ
フルスクラッチという言葉のどこがエンジニア離れなの？ 文脈的に、特殊なフレームワーク等を使わないということでしょう？
横だけどまず「フルスクラッチ」ってのが怪しいのと クローラーのスクリプトとかエンジニア的に誰でもできることであって 駆け出しの仕事じゃん スクリプトの時点でスクラッチもク...
なにいってんだこいつ scrapyとか使わないって意味だろ
詳しくてすごーい
そもそも非コンパイラ言語をスクリプトと呼称することも一般的ではない
まーまー一般的だけど PythonでCurl使ってデータとってきましたーとかまあテック企業なら新卒にあげてあげる仕事
単発でデータ取ってくるならcurlポポポーンでいいけど、収集を完全自動化するにはどうするかって話ならもっとハードル高いだろ
まーデータパイプラインだね 確かに新卒が完璧にやるのは難しいけど だから新卒にちょうど この時点まではとにかく使って動かすレベル
俺の認識だと「フルスクラッチ」ってのは和製英語で、英語の"from scratch"から来てる で、クローラをスクラッチで書くって用法は普通にある https://www.octoparse.jp/blog/how-to-build-a-web-crawler-from...
僕の乳首をスクラッチする用法は？
チクニーだけで連続メスイキできるレベルになってから出直してこい。
君の乳首が激しい刺激にしか反応しなくなってるから フルスクラッチで開発をしてまず優しい触り方になれるところから始めます
別にいいけどそもそもクローラーとかそんな大した仕事ではないし 普通は一から作るというのは大規模なサービスを一から書き直すような時に使うわけよ クローラーのスクリプトとか一...
具体的にはどういうデータ構造？
構造の話俺した？ Data Structureの話？
scrapyとか知ってる？普通「フレームワーク使ってる？」とクローラ開発の文脈で聞かれればそれをイメージするよね で、そういったフレームワークは使ってない、って表現するときにど...
通じない、誤解が生まれる、という事実があるのであれば 別の言い回しや補足に注力した方が建設的なのでは
大体「言葉の定義」なんてくだらない議論するのはインターネッツだけなんだよね
ソフトウウェアエンジニアリングの世界って広くて 例えば君も当然知ってると思うがGoFなんかもscrapyに限らず特定のツールやライブラリなんかは「知らない」と思うよ まずその広さを知...
何で今OOPという古い概念？そういうのしか触らさせてもらえない環境なの？
例えば君も当然知ってると思うがGoFなんかもscrapyに限らず特定のツールやライブラリなんかは「知らない」と思うよ だからさ、それならなんで「フレームワーク何使ってる？」なんて...
なにいってんだこいつ 日本語でおk
まず4級から受けるといいみたいよ
クローラにフレームワークなんて使っていない 笑 いやマイクロサービスだろ？ RESTかなんかでやりとりするだろ？ 普通Djangoとか使うでしょ笑 全部書いたの？
悪いがクローラはRESTでなんてやり取りしないな データを蓄積して、ストレージにアップロードするだけ Djangoなんて使わん
笑 ストレージにファイルアップしてデータやりとりするマイクロサービスってちょっと想像を超えてきた
リアルタイムでRESTでやり取りする必要なんてないだろ、クローラなんて
いやそういう問題でなくて マイクロサービスでDBシェアしちゃって意味ないってよくあるパターンだが まさかそもそもファイルとは
クロールってのは標準のフォーマットがあって、WARCファイルというのがある このWARCファイルを一旦保存しておいて、毎日S3にアップロードしてる S3を操作するコンテナが別途あって、ア...
いやだからそういう問題じゃなくてね？ マイクロサービスってちょっとそうじゃないんよ それをちゃんと動かすのが第一歩だし多くが脱落するけどね
マイクロサービスに対する俺の認識は「何らかの処理やIOを行うまとまりが、コンテナによって分けられたもの」というもの。 だからクロールという機能を分離してコンテナ化していれ...
この増田さんにまともに相手してると病気になっちゃいますよ
うん まあね でも面接じゃ落ちるよ
何等かのサービスしてればサービスだよお コンテナ化は全然関係ないよお
あなたがレスしている相手は、真っ昼間から常駐していて、生煮えの知識で脊髄反射レスして、マジレスされるとググりながらグダグダぼくは間違ってないってやる奴なので あんまり深...
recaptchaどうやって突破してんの？ ブラウザ以外のアクセスって簡単に拒否れるけどどうやって突破してんの？
ブラウザを使ってクロールしてるんだよ headlessモードって知ってる？pyppeteerを基本は使ってる といっても、相手サイトは予めこちらのクロールを許可しているので、UAに特定の文字列を...
それフレームワークじゃん・・・
ああ、これをフレームワークと呼ぶならそうなんだろうな まあそれは単なる要素技術なので「どんなフレームワークを使ってますか」なんて質問がナンセンスの塊だね
まぁ用語はどうでも良くてchromeがバックエンドしてるっていう認識が無いのは知識不足なんだよな
chromeがバックエンドしてるっていう認識が無いのは知識不足 性格悪いがガチでニヤニヤしている笑
バックエンドしてる？なにいってんだこいつ pyppeteerにchromeが使われているという話なら「バックエンドしてる」なんて言い方しないぞ
バックエンドしてる またパワーワード出たな…
マイクロサービスがまさかのChromeのHeadless😆
素のpythonで認証系突破してるなら割とhowは気になるな
なんにもサービスしてなくね？
8
