robot.txtに呪文書いてクローラーから弾かれるのは知ってるよ。
でもSNSにリンク貼ってたり、外部のブログサービスにリンク貼ってたりその他諸々にリンク貼ってたりしてると、間接的にクロールされんじゃね？とか思った。
情弱ですまんな。
Permalink | 記事への反応(1) | 15:03
ツイートシェア
「無断リンク禁止」とか言ってモヒカン族と戦いを繰り広げていた時代を知らない平和な世代か。まあそのまま生きろ。
9
