■[開発メモ] 時間のかかるデータ抽出

「DBからデータを取りインデクシングする」「ターゲットサイトからデータをクロールする」でもなんでもいいが、最初の全件でかなり時間がかかる

「それで、その間お前何やんの？」と言われそうになるので、以下どちらかの対策：

• 他のタスクを用意しておく
• データ抽出は深夜に回す

まあ、最初の全件さえやれば、あとは差分だからすぐに終わるようになるだろう

ちなみに、データ抽出後に問題が生じる可能性があるため、最初は小さなテストセットで検証し、問題を解決してから全件やるのが良い

Permalink | 記事への反応(1) | 13:07

ツイートシェア