2010-12-06

http://anond.hatelabo.jp/20101206143020

高木氏が「異常」と言っているのは、一番目の選択肢が変なURLだけになっていること。

でも決して「検索サイトが変な結果を意図的に表示させた」わけではない。

検索サイトがちゃんと決め事を守っているからこうなった。

技術的にはやろうと思えばrobots.txt記述を無視して収集できるし、

そうしたサーバ側を変更しなくてもアフターの状態にできる。

でもしない。robots.txtで「しないでください」と書いてあるから。

(昔は無視して収集する検索サイトたまにあった。今は知らないけど)

収集するなというところには入っていかない、礼儀しいクローラじゃないですか。

記事への反応 -
  • Googleの検索結果で表示がおかしい、という指摘があり、robots.txtを使え、というような話があったと思う。 でもGoogleの検索結果の表示がおかしいのなら、それはGoogleの問題じゃないの? G...

    • どのことなのかわからないけれど、「使え」って話じゃなくて「変」って話じゃなかったっけ? robots.txtはサイトの意思表示なんだけど、それ(意思表示)が変って事なら図書館側の問題...

      • これ見て ? と思いました。 http://takagi-hiromitsu.jp/diary/20101024.html#p01 高木氏はrobots.txtが修正されることにより、「検索サイトで正常に閲覧できる」ようになった、 と書いています。また、...

        • 高木氏が「異常」と言っているのは、一番目の選択肢が変なURLだけになっていること。 でも決して「検索サイトが変な結果を意図的に表示させた」わけではない。 検索サイトがちゃんと...

        • よく読めよ。 その対応は、「国立国会図書館法に違反」って書いてるだろ?

    • 図書館側でなにもしていなければ、アフターの状態になります。 図書館側が、robot.txtを設置し、中にGooglebotなどと記入することで、Googleに対してクロールしないでくれという意思表示を...

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん