だからさ、それならなんで「フレームワーク何使ってる?」なんて質問をしてきたのかって話ね
なぜWARCファイルで保存しているかと言うと、その方法なら複数サイトで統一的に書けるから
クローラからデータを抽出する部分は別途作ってあって、その部分だけ使い捨てになってる
言ってること分かる?
よく例に出るのはコウモリなんだが、あれは超高速で飛び回りながらエコーロケーションで位置測定をし続けるという人間はもちろんAIにも不可能な超計算能力を発揮しているけど、「知的」とはみなされないよな。
結局のところ「知的」生命体とは、人間みたいに言語をつかって、人間みたいに社会を形成し、人間みたいに思考する、人間みたいな生物のことなんだよね。
どれだけ高度で複雑かは関係が無い。
ごめん、平成生まれの私でもテレクラって初めて聞いた言葉だわ。ググって調べたけど公衆電話って聞き慣れない言葉まで見た。今日で2つも知識が増えてしまったね。と言うか、公衆電話とか汚くて使えなくない?誰のつばが付いてるか分からないじゃん。昭和の衛生観念って凄いな。
例えば君も当然知ってると思うがGoFなんかもscrapyに限らず特定のツールやライブラリなんかは「知らない」と思うよ
クローラ開発の文脈で今までのに手を入れるのではなくて一から全部作るのを「フルスクラッチ」と表現するのは英語的にはともかく間違ってはいないと僕は思うよ