そうか?俺はIO待ちなんて鬱陶しいから複数ページを並列でCPUに読み込ませるけどね
>IO待ちなんて鬱陶しいから複数ページを並列でCPUに読み込ませるけどね マルチプロセスの話?
簡単な話だろ hogehoge.com, funyafunya.comって2つのサイトがあったら、hogehogeのクロールをCPU1に、funyafunyaのクロールをCPU2に対応させる そうすれば単純計算で2倍早いだろ
なんで「でもたまにマルチスレッドはフル活用するんだよね クローラとか」って話からマルチプロセスの話になったの?
俺がマルチプロセッシングの処理を最近書いて話したかったからだろ?ボケ
クローラならマルチプロセスよりもマルチスレッドの方がいいかな ボトルネックはネットワークのio待ちになるのでメモリ節約できるスレッドでやったほうがいい
俺はね、俺の持っているコンピュータの最大限の能力をフル活用したいのよ プロセッサ、メモリ、全活用ね わかったか?
拝承!