はてなキーワード: クローラーとは
ウェブサイトを公開したら、まずはみんなに見てもらうために検索エンジンに無料登録。
日本の主要な検索エンジンに、自分のサイトを登録するためのページや方法について簡単にまとめたので以下共有。
ウェブマスター ツール
http://www.google.com/webmasters/tools/
Googleだけは、メタタグ、認証ファイルのアップロードの所有権確認方法以外にも、DNSレコード追加による認証方法が用意されている。
サイトマップも登録しておく。
サイトエクスプローラー(サイト管理者向けツール) - Yahoo!検索
http://siteexplorer.search.yahoo.co.jp/
認証用ファイルをダウンロードして、サーバーにアップする場合は、GoogleやBingと違って、認証用ファイルはサイトごとに異なるので注意が必要。
Webmaster Tools - Toolbox
http://www.bing.com/toolbox/webmasters/
一部英文だが、簡単なので問題ない。URLとサイトマップの登録だけなら、アカウントは不要。
サイトマップ登録は、ブラウザのアドレスバーに、“www.YourWebAddress.com”の箇所を自分のサイトのものに変えて、以下のように入力するだけ。
http://www.bing.com/webmaster/ping.aspx?sitemap=www.YourWebAddress.com/sitemap.xml
Thanks for submitting your sitemap.という文が出力されたら成功。
また、Webmaster Center - Bingは、Googleのウェブマスター ツールと同じように、アカウント(Windows Live ID)やサイトの認証が必要。
サイト登録するサイト認証やクローラーの動きなどを見ることができる。
http://addurl.goo.ne.jp/mobile/
docomo公式検索はgooを採用しているので、モバイルサイトがあるならば、gooにも登録しておきたい。
アカウント不要で、URLを入力して、画像認証ボタンを押すだけの簡単登録方式。
サイトURLの登録申請 - Baidu(バイドゥ)ウェブマスターサポート
なんか色々と混乱してて何から整理していいのかわからないから、書き出してみることにした。
私は1992年生まれの17歳(大学受験生)で、父が死んだのが1996年で3歳の時。今は2010年だから、14年経ってる。
父に関する記憶は、ほとんど無い。あるとしても、棺が焼却炉に入っていく場面しかもう覚えていない。
17年間生きてきて、母から父については何も教えてくれなかった。「3歳の時に事故で死んだ」くらい。
だから私は周囲の人が「父はこういう人だったんだよ」と言ってくれるのを頼りに、自分なりの父親像を描いていた。
きっと父がいたら、こうしているだろうな、とか。父さえいれば、とか思ってた。
そんなこんなで今日2010年7月、私が家の掃除をしていたら、いつも閉まっているはずの金庫が開いていた。
母が書類を持ってどこかへ急ぎ足へ行ったことから、急いでいて鍵を閉めるのを忘れていたんだと思う。
私は興味本位でその金庫を覗いた。するとそこには、家の契約書?とか保険?の書類とか、そういうのがいっぱいあった。
なんだつまんないと思いながら見ていくと、埃がかぶっている分厚い真っ黒のファイルを見つけた。
すると、父に関する書類がたくさん出てきた。遺産相続、和解契約書、戸籍、新聞の切り抜き、資格の何か免許書?、献血の賞状、弔辞…
見るのが怖いと思いつつ、開けちゃったから見ちゃおうという好奇心から、全部読んだ。
それが間違いだったのかもしれないと今思ってる。
父は××運輸で働いていたらしい。色々な資格の証明書があった。どんだけだよ。
父は献血が好きだったようだった。表彰状があった。126回ってどんだけだよ。
父は学生時代から行動派だったようだ。毎週キャンプとかどんだけだよ。
そこには私が教えてもらった父と、知らない父とがいて、とても面白かった。
生きていればよかったのにって思った。
父の死因が明確に記載されていた書類を見つけた。
「平成8年×月×日、××町にて、ブームを倒して駐車中の40tクローラークレーンのオペレーターが、10tトラックで入荷してきた止水矢板を卸すため、ブームを約33度に上げたうえで、40tクローラークレーンを約7m前進し停車したところ、その反動で主巻ボットンブロックをフットピン部に固定してあった台付ワイヤーが切断し、ボットンブロックが前方にふられて、荷姿の写真を撮影中の故 父の名前 氏に当たり、同氏は午前8時10分頃死亡した。」
はっきり言って、これの意味が全く理解できなかった。でも、次の新聞記事で少し理解した。
「作業を始める前に、クレーンの重さ約三百五十㌔のフックが、近くにいた父の後頭部を直撃、父は脳挫傷で即死した。警察の調べによると、クレーンの運転手が、フックを固定していたワイヤを外さずにアームを上げようとしたため、ワイヤが切れ、反動でフックが振り子のように動いて、約五㍍離れたところで作業報告用の写真撮影をしていた父に当たった。父はヘルメットを着用していたが、フックがぶつかった際、はね飛ばされたという。」
この時昔の記憶が一気に戻ってきた。そういえば小さい頃おばさんが、
「病院に運ばれたけど、目が開いたままで植物状態だったんだって。もう植物状態でもいいから生きてほしいってあの時は思ったよ。朝の5時に出勤して8時に死んだんだって、気の毒にね。」
みたいなことを私に話してくれたのを思い出した。
なんかもう、今まで父のことをそんなに考えていなかったのに、これ読んだ瞬間涙が止まらなかった。よくわからない感情が頭の中を動き回ってた。
少しだけ、クレーンの運転手を憎んだ。あんたさえいなければ父は生きていたのにって、その時は思った。今は思わないようにしてるけど。
戸籍を見つけた。父のものだった。私の名前、母の名前が載っていた。でもそれとは別に、違う人の名前も載っていた。
戸籍によれば、父はバツイチだった。しかも私の5歳年上の長男もいるようだ。
自業自得で自分勝手だと言われれば否定はできないけれど、小さいころから信じていたものが一気に崩れていった気がした。
しかも、年金手帳を見ると、母の名字も今と旧姓とは異なるものが書かれてあった。母の戸籍はなかったけれど、母もバツイチなのかもしれない。
遺産相続の書類には、私の名前と母の名前、長男の名前とその母の名前、そして住所が書かれてあった。
父が働いていた会社のお偉いさんの名前も沢山書いてあった。住所も。
金庫の隅にA4の黄色い紙が、綺麗に折られてた。開いてみたら、赤いペンで絵が描いてあった。
私はすぐにわかった。これは3歳だった私が、人から「父は頭を怪我して死んだんだよ」と伝えられた言葉を頼りに描いた父の絵だった。
あの頃の私は、何を思ってこれを描いたんだろう。
頭から血が流れている父の姿は、どうやって想像したのだろう。
なんかもう、よくわからなくなった。
何をしていいのかわからなくなった。
何をすればいいのかわからなくなった。
私はこれから、どうすればいいですか。
この記事を書いた増田です。
いきなりですが長文すみません。
この間吐き出すだけ吐き出してからずっと椅子に座って、ぼーっとしてました。
今ブクマ見たら凄いことなってて驚きました。ありがとうございます。
色々なことを考えました。殺した相手を復讐するか、血のつながる兄に会いにいくか、もっとたくさんの情報を仕入れるか、
家族とは何か、父とは何か、一番良い死に方とは何か、片親であることは悪いことか、などなど。
自分の中で答えが見えないものを、ただひたすら探し回ってました。答えなんか出る訳なく、殆ど眠らぬまま今を迎えました。
でもブコメを見て考えていくうちに、ほんの少しだけ理解できるようになりました。
一方的に受け取るのは申し訳ないと思ったので、少しですが答えさせて下さい。
■何で増田に書いたのか■
恋人や友達にいきなりこんな話したってどうしていいのかわからなくなるだろうし、
母や親族に直接聞ける話題でも無いし、そうなると人間で話を聞いてくれる人は私の周囲にいません。
Twitterだと連投は嫌がられるし、元々そのようなツールではないし、ブログなんて持ってないし、mixiやってないし、
一番の理由は、身元を知られずに誰かに聞いてほしかったからです。匿名性があるから、私が誰かわからないと思います、多分。
■「普通に」生きればいい■
逆に普通って何ですか?
だってごく一般的な、両親が揃った家庭を普通とするならば、私は3歳から異常なわけで、
異常な私がすることって普通とは言い難いのではないかと思います。
今回の件を水に流して忘れて生きるというのが普通ならば、そもそも水に流そうと思っている時点で人とは違います。
普通に生きることって簡単なようですごく難しいです、今の私にはさっぱりわからない。
多分、世の中から父の存在を消せば、普通になるのかもしれませんが、それは無理なので一生普通には生きられません。
■何故父に不満を持つのかわからない■
私は小さい頃から父の人柄や評判を積み上げてきました。
それはみんないいことばかりだったので、私にとって完璧な父が頭の中にいました。
だから今回離婚歴があると知って、ショックでした。
私の思っていた父とは違う、と思いました。まあ、私が勝手に妄想していただけの自業自得ですが。
街中で父母子が手を繋いで歩いているのを見て、ああいうのが本来の家族であって、父さえいれば私もああだったと思ったこともありました。
でも今回の件で気づいたことは、愛が移動することで、笑顔の場所が変わるということです。
だって離婚する前は、違う人たちにその笑顔を振りまいていた訳です。
そう考えると、なんか、納得いかないというか、すみません上手く表現できないです。
母とはあまり話しません。性格が180度違うのに自己主張が強い為、話す度にぶつかり合います。
私が遅れてきた反抗期というのも少し関係しているかもしれませんが。母の口から父の話を聞いたことはありません。
母は父が死んでから高血圧になり、ちょっとしたことで倒れるようになったそうです。
だからもし私が父の話をしたら、母は具合を悪くするかもしれません。
もうこの話題はタブーなのかなと思って、父に関することは他の人に聞くようになりました。
これ以上仲良くしようとも思わないし、仲悪くしようとも思いません。
■また悩んだら増田に書けばよい■
もう増田に書きません。なぜならここは悩み相談をする場所では無いからです。
なので今回私が一方的に思ったことを吐き出したことに罪悪感を感じています。
不快に感じられた方もいるようで、本当にごめんなさい。
ですがブコメを読んでいくにあたり、少しずつ整理していこうと思うようになりました。
おそらく多くの人はこれを見ないと思いますが、私はどうしてもお礼を伝えたかったのです。
こんな風にしか伝えられませんがお許し下さい。
はまちちゃんの「はてなブックマーク詳細ページがGoogleペナルティ…?」というエントリー(http://d.hatena.ne.jp/Hamachiya2/20090707/google)に反論なんてしてみようと思います。
スーパーハカーのはまちちゃんに表立って楯突くなんて恐ろしいことをしたら、あっというまに個人情報抜かれて表社会で生きていけなくなるので増田でごめんなさい><
◆ペナルティではないという理由
「site:b.hatena.ne.jp ちょっと知識と勇気があれば誰でも職質は断れます!」と、Yahooでも検索してみると、同じく、エントリーページは表示されませんね。
Baiduでも同じです。
Bingでも・・・ってこっちはインデックスすらされてない。今話題のNaver・・・はsite:に対応してない。
Google、Yahoo、Baiduの3つとも、エントリーページを表示しません。3つともにそのページを評価するべきではない、と判断しているということじゃないでしょうか。3つとも同時にペナルティよりも納得できる理由だと思います。
◆entry以下が表示されないで、タグページが表示される理由
「検索エンジンのアルゴリズムがそうなっているから」としか言えません。
検索エンジンがページの評価をするにあたって、ページの中でどのようにキーワードを記述しているかという評価と、ページの外からどうリンクを張られているかという2つがあるということはご存知のとおりと思います。
それで圧倒的に強いのは、ページの外からのリンクの力です。
そして、タグのページは大量にリンクを受けています。ためしに、被リンク数を比較的しっかり出してくれるYahoo!で調べますと
100件=タグページ→link:http://b.hatena.ne.jp/t/%E8%81%B7%E8%B3%AA
55件=エントリーページ→link:http://b.hatena.ne.jp/entry/www.rll.jp/hood/text/left/20090703001819.php
このように、タグページのほうがしっかりリンクをうけているんです。エントリーページは700以上のブクマをされていても、まだ認識されていませんでしたり、ブックマークページからのリンクですので評価されていないのかと思います。
上は新しい記事なので特例かも、ということで少し時間がたった記事「はてなブックマークのやりすぎちゃったかもしれないSEO」でしらべますと
16件=エントリーページ→link:http://b.hatena.ne.jp/entry/d.hatena.ne.jp/Hamachiya2/20090609/cloaking
217件=タグページ→link:http://b.hatena.ne.jp/t/%E3%82%AF%E3%83%AD%E3%83%BC%E3%82%AD%E3%83%B3%E3%82%B0
このとおり、やはりentryではなくてtのページにリンクが集まっています。
特にGoogleはこのような場合ですとタグページを評価するアルゴリズムを持っていますので、site:で調べても、検索結果がタグで埋め尽くされるのは当然です。titleにテキストがあるといいましても、リンクの力には勝てません。
これが一番の理由と思いますが、もともとエントリーのページは、ページ内部の評価としても、エントリーのタイトルで評価されづらいマークアップになっていることも原因と思います。他にも上のページは生成されてすぐで評価が乗りきっていないとかの理由もあります。
◆6/9のキャプチャは?
これはわかりません。
6月下旬にGoogleのアルゴリズムが変わったせいかな?なんか6/9直前にこのページになにかあったのかな?とかとかおもいましたけど、今では調べることができません。
どうしてなんでしょう?SEOの偉い人教えて!
上で書きましたことがなにか誤りとしまして、SEOの偉い人も間違いとしまして。
クローキングの発覚によるペナルティというのは過去にも大量の例がありますが、このような「ちょっと順位をさげちゃおう」みたいな生易しいものじゃないです。インデックスから消されちゃっています。
GoogleはわざわざUserAgentを普通のブラウザに、IPもGoogleと知られていないIPでクローラーもまわして、普通のGoogleBOTの見た内容と違うかをチェックして、クローキングの有無を調べている、とGoogleの中の人がインタビューで話していました。そして、自動でペナルティをかけないで、人の目で確認しているようです。その位クローキングはしっかり確認して、厳しく処罰しています。
ですので/entry/以下を少し不利にしちゃおうかな?というものはクローキングのペナルティではないと思います。
以前ためしに自分でクローキングやってみて、自分を通報してみたら2週位で消されちゃいました。もしも、Googleがこのことを問題視しているなら、もうきえちゃってるんじゃないかな?とおもいます。
~~~~~~~
ごめんなさい、はまちちゃんの書き込みはいつもストーカーのように追いかけては愛とブクマを送っているほど好きなんですが、今回は誤りとおもいます。どうか怒らないで;;
http://www.google.co.jp/search?q=%83j%83R%83j%83R
ニコニコ動画(夏)
ニコニコ動画は、音楽、お笑い、アニメ、ゲーム、グラビアなどの動画再生中にリアルタイムでコメントを付けられる「動画コミュニティサイト」です.
http://search.yahoo.co.jp/search?p=%A5%CB%A5%B3%A5%CB%A5%B3
ニコニコ動画(SP1)
動画再生中にリアルタイムでコメントを付けられるサービス。ランキング、ランダム動画検索等。
ヤフーの検索エンジンってちゃんとクローラー動いているのかな?
グーグルは7/5夜の時点ですぐに変わってたけど・・・
http://pr.yahoo.co.jp/release/2006/0425a.html
aucfanの詳細検索で目的は果たせそうな感じ。
いいところを教えてくれてありがとう。
こういうサイトがあることを、クローラープログラムを作り終えてから初めて気付くあたりが自分の駄目なトコロなんだよな。
そりゃ貧乏にもなるわ。
使用期限が迫った10個以上の在庫品プリンタインクをYahoo!オークションにまとめて出品してみたら、1円で落札されてしまった。
希望落札価格も最低落札価格も設定せずに1円スタートした自分が悪いのだが、がっかりするという以前に驚いた。Yahoo!オークションって利用者が多い分、ある程度有用な物は必ず競り合いになると思っていたから。
で、逆に考えてみた。
自分のような初心者が1円で出品してしまい、しかも競り合いにもなっていない、ある程度価値のある商品ってYahoo!オークション上にたくさんあるのではないか。
世に初心者の種は尽きまじ。
送料とか振り込み手数料を考えても利益を出せる、商品の仕入先としてYahoo!オークションを活用できないだろうか。
そんなことを考えて、なんとか「価値より割安な商品」をヤフオク上から抽出できないか、考えてみた。
つまり、「終了時間が迫っているのに安値の商品」を探して、定価と比べればいいのかな、と。
残念ながらヤフオク公式としてはそういう検索の仕方はできない(残り時間とか現在価格は検索の対象にならない)。
でも、Yahoo!オークションにはRSSがある。
ヤフオク上の全RSSを監視して、条件にある商品だけを抽出すれば、今回の目的は達せないだろうか。
実際にはもちろん中古品もある(というかむしろ中古品が主)だろうし、情報商材などのスパム出品もあると思うが、そのあたりは抽出時にキーワードでフィルタリングすればなんとか除外できるだろう。
簡単なクローラープログラムを作り、ヤフオクのカテゴリhtmlを片っ端から取り寄せ、中のRSSのURLを抽出する。
あとはこれを元にして
……と、ここまでやったところで飽きた。
パソコンジャンルだけで軽く1000以上あるぞ(これを書いてる現在、まだクロールが終わってない)。
いくらこの後フィルタリングしたって、こんな膨大な量、うちの回線的にも逐一チェック仕切れないし。
ていうか、手動でいくつかヤフオク内を見て回ったけど、普通は価値に応じた値段がちゃんとついてるし。
プリンタインク?もういいよ。
あんな物、どうせホントにハナから1円の価値しかなかったんだろうさ。
けっ。