「クローラー」を含む日記 RSS

はてなキーワード: クローラーとは

2010-08-12

サイト登録やサイトマップ登録について【2010年8月時点】

ウェブサイトを公開したら、まずはみんなに見てもらうために検索エンジン無料登録。

日本の主要な検索エンジンに、自分サイトを登録するためのページや方法について簡単にまとめたので以下共有。

ウェブマスター ツール

http://www.google.com/webmasters/tools/

Googleだけは、メタタグ認証ファイルアップロード所有権確認方法以外にも、DNSレコード追加による認証方法が用意されている。

サイトマップも登録しておく。


サイトエクスプローラーサイト管理者向けツール) - Yahoo!検索

http://siteexplorer.search.yahoo.co.jp/

認証ファイルダウンロードして、サーバーにアップする場合は、GoogleBingと違って、認証ファイルサイトごとに異なるので注意が必要。


Webmaster Tools - Toolbox

http://www.bing.com/toolbox/webmasters/

一部英文だが、簡単なので問題ない。URLサイトマップの登録だけなら、アカウントは不要。

サイトURL登録は画像認証のみでOK。

サイトマップ登録は、ブラウザアドレスバーに、“www.YourWebAddress.com”の箇所を自分サイトのものに変えて、以下のように入力するだけ。

http://www.bing.com/webmaster/ping.aspx?sitemap=www.YourWebAddress.com/sitemap.xml

Thanks for submitting your sitemap.という文が出力されたら成功。

また、Webmaster Center - Bingは、Googleウェブマスター ツールと同じように、アカウント(Windows Live ID)やサイト認証が必要。

サイト登録するサイト認証クローラーの動きなどを見ることができる。


モバイルgoo検索へのサイト登録申請

http://addurl.goo.ne.jp/mobile/

docomo公式検索goo採用しているので、モバイルサイトがあるならば、gooにも登録しておきたい。

アカウント不要で、URL入力して、画像認証ボタンを押すだけの簡単登録方式。


サイトURLの登録申請 - Baiduバイドゥウェブマスターサポート

http://www.baidu.jp/info/help/webmaster/site/01.html

gooと同じく、アカウント不要で画像認証があるだけだが、暗証番号が変わらないので連続登録がラクにできるw

2010-07-19

生まれて初めて父の死因を知った。

 なんか色々と混乱してて何から整理していいのかわからないから、書き出してみることにした。

私は1992年生まれの17歳(大学受験生)で、父が死んだのが1996年で3歳の時。今は2010年だから、14年経ってる。

父に関する記憶は、ほとんど無い。あるとしても、棺が焼却炉に入っていく場面しかもう覚えていない。

17年間生きてきて、母から父については何も教えてくれなかった。「3歳の時に事故で死んだ」くらい。

だから私は周囲の人が「父はこういう人だったんだよ」と言ってくれるのを頼りに、自分なりの父親像を描いていた。

きっと父がいたら、こうしているだろうな、とか。父さえいれば、とか思ってた。

 そんなこんなで今日2010年7月、私が家の掃除をしていたら、いつも閉まっているはずの金庫が開いていた。

母が書類を持ってどこかへ急ぎ足へ行ったことから、急いでいて鍵を閉めるのを忘れていたんだと思う。

私は興味本位でその金庫を覗いた。するとそこには、家の契約書?とか保険?の書類とか、そういうのがいっぱいあった。

なんだつまんないと思いながら見ていくと、埃がかぶっている分厚い真っ黒のファイルを見つけた。

すると、父に関する書類がたくさん出てきた。遺産相続和解契約書、戸籍新聞の切り抜き、資格の何か免許書?、献血賞状、弔辞…

見るのが怖いと思いつつ、開けちゃったから見ちゃおうという好奇心から、全部読んだ。

それが間違いだったのかもしれないと今思ってる。

 父は××運輸で働いていたらしい。色々な資格証明書があった。どんだけだよ。

父の昔の写真も出てきた。女装とかどんだけだよ。

父は献血が好きだったようだった。表彰状があった。126回ってどんだけだよ。

父は学生時代から行動派だったようだ。毎週キャンプとかどんだけだよ。

そこには私が教えてもらった父と、知らない父とがいて、とても面白かった。

生きていればよかったのにって思った。

 父の死因が明確に記載されていた書類を見つけた。

平成8年×月×日、××町にて、ブームを倒して駐車中の40tクローラークレーンオペレーターが、10tトラックで入荷してきた止水矢板を卸すため、ブームを約33度に上げたうえで、40tクローラークレーンを約7m前進し停車したところ、その反動で主巻ボットブロックフットピン部に固定してあった台付ワイヤーが切断し、ボットブロックが前方にふられて、荷姿の写真撮影中の故 父の名前 氏に当たり、同氏は午前8時10分頃死亡した。」

はっきり言って、これの意味が全く理解できなかった。でも、次の新聞記事で少し理解した。

「作業を始める前に、クレーンの重さ約三百五十㌔のフックが、近くにいた父の後頭部を直撃、父は脳挫傷即死した。警察の調べによると、クレーンの運転手が、フックを固定していたワイヤを外さずにアームを上げようとしたため、ワイヤが切れ、反動でフックが振り子のように動いて、約五㍍離れたところで作業報告用の写真撮影をしていた父に当たった。父はヘルメットを着用していたが、フックがぶつかった際、はね飛ばされたという。」

この時昔の記憶が一気に戻ってきた。そういえば小さい頃おばさんが、

病院に運ばれたけど、目が開いたままで植物状態だったんだって。もう植物状態でもいいから生きてほしいってあの時は思ったよ。朝の5時に出勤して8時に死んだんだって、気の毒にね。」

みたいなことを私に話してくれたのを思い出した。

なんかもう、今まで父のことをそんなに考えていなかったのに、これ読んだ瞬間涙が止まらなかった。よくわからない感情が頭の中を動き回ってた。

少しだけ、クレーンの運転手を憎んだ。あんたさえいなければ父は生きていたのにって、その時は思った。今は思わないようにしてるけど。

 戸籍を見つけた。父のものだった。私の名前、母の名前が載っていた。でもそれとは別に、違う人の名前も載っていた。

戸籍によれば、父はバツイチだった。しかも私の5歳年上の長男もいるようだ。

私が想像している父と違って、本当すごくがっかりした。

自業自得自分勝手だと言われれば否定はできないけれど、小さいころから信じていたものが一気に崩れていった気がした。

しかも、年金手帳を見ると、母の名字も今と旧姓とは異なるものが書かれてあった。母の戸籍はなかったけれど、母もバツイチなのかもしれない。

遺産相続の書類には、私の名前と母の名前、長男の名前とその母の名前、そして住所が書かれてあった。

父が働いていた会社のお偉いさんの名前も沢山書いてあった。住所も。

 金庫の隅にA4の黄色い紙が、綺麗に折られてた。開いてみたら、赤いペンで絵が描いてあった。

私はすぐにわかった。これは3歳だった私が、人から「父は頭を怪我して死んだんだよ」と伝えられた言葉を頼りに描いた父の絵だった。

あの頃の私は、何を思ってこれを描いたんだろう。

頭から血が流れている父の姿は、どうやって想像したのだろう。

 なんかもう、よくわからなくなった。

何をしていいのかわからなくなった。

何をすればいいのかわからなくなった。

私はこれから、どうすればいいですか。


7月21日トラバ

 この記事を書いた増田です。

いきなりですが長文すみません

 この間吐き出すだけ吐き出してからずっと椅子に座って、ぼーっとしてました。

ブクマ見たら凄いことなってて驚きました。ありがとうございます

色々なことを考えました。殺した相手を復讐するか、血のつながる兄に会いにいくか、もっとたくさんの情報を仕入れるか、

家族とは何か、父とは何か、一番良い死に方とは何か、片親であることは悪いことか、などなど。

自分の中で答えが見えないものを、ただひたすら探し回ってました。答えなんか出る訳なく、殆ど眠らぬまま今を迎えました。

でもブコメを見て考えていくうちに、ほんの少しだけ理解できるようになりました。

一方的に受け取るのは申し訳ないと思ったので、少しですが答えさせて下さい。

■何で増田に書いたのか■

 恋人や友達にいきなりこんな話したってどうしていいのかわからなくなるだろうし、

母や親族に直接聞ける話題でも無いし、そうなると人間で話を聞いてくれる人は私の周囲にいません。

Twitterだと連投は嫌がられるし、元々そのようなツールではないし、ブログなんて持ってないし、mixiやってないし、

一番の理由は、身元を知られずに誰かに聞いてほしかったからです。匿名性があるから、私が誰かわからないと思います、多分。

■「普通に」生きればいい■

 逆に普通って何ですか?

だってごく一般的な、両親が揃った家庭を普通とするならば、私は3歳から異常なわけで、

異常な私がすることって普通とは言い難いのではないかと思います。

今回の件を水に流して忘れて生きるというのが普通ならば、そもそも水に流そうと思っている時点で人とは違います。

普通に生きることって簡単なようですごく難しいです、今の私にはさっぱりわからない。

多分、世の中から父の存在を消せば、普通になるのかもしれませんが、それは無理なので一生普通には生きられません。

■何故父に不満を持つのかわからない■

 私は小さい頃から父の人柄や評判を積み上げてきました。

それはみんないいことばかりだったので、私にとって完璧な父が頭の中にいました。

だから今回離婚歴があると知って、ショックでした。

私の思っていた父とは違う、と思いました。まあ、私が勝手妄想していただけの自業自得ですが。

 そして、家族についても考えました。家族って何だろうと。

街中で父母子が手を繋いで歩いているのを見て、ああいうのが本来の家族であって、父さえいれば私もああだったと思ったこともありました。

でも今回の件で気づいたことは、愛が移動することで、笑顔の場所が変わるということです。

だって離婚する前は、違う人たちにその笑顔を振りまいていた訳です。

そう考えると、なんか、納得いかないというか、すみません上手く表現できないです。

母親相談するor仲良くすべき■

 母とはあまり話しません。性格が180度違うのに自己主張が強い為、話す度にぶつかり合います。

私が遅れてきた反抗期というのも少し関係しているかもしれませんが。母の口から父の話を聞いたことはありません。

母は父が死んでから高血圧になり、ちょっとしたことで倒れるようになったそうです。

だからもし私が父の話をしたら、母は具合を悪くするかもしれません。

もうこの話題はタブーなのかなと思って、父に関することは他の人に聞くようになりました。

これ以上仲良くしようとも思わないし、仲悪くしようとも思いません。

■また悩んだら増田に書けばよい■

 もう増田に書きません。なぜならここは悩み相談をする場所では無いからです。

なので今回私が一方的に思ったことを吐き出したことに罪悪感を感じています。

不快に感じられた方もいるようで、本当にごめんなさい。

ですがブコメを読んでいくにあたり、少しずつ整理していこうと思うようになりました。

おそらく多くの人はこれを見ないと思いますが、私はどうしてもお礼を伝えたかったのです。

こんな風にしか伝えられませんがお許し下さい。

 本当にありがとうございました

2009-07-07

はまちちゃんの「はてなブックマーク詳細ページがGoogleペナルティ…?」というエントリーに反論

はまちちゃんの「はてなブックマーク詳細ページがGoogleペナルティ…?」というエントリーhttp://d.hatena.ne.jp/Hamachiya2/20090707/google)に反論なんてしてみようと思います。

スーパーハカーはまちちゃんに表立って楯突くなんて恐ろしいことをしたら、あっというまに個人情報抜かれて表社会で生きていけなくなるので増田でごめんなさい><

ペナルティではないという理由

「site:b.hatena.ne.jp ちょっと知識と勇気があれば誰でも職質は断れます!」と、Yahooでも検索してみると、同じく、エントリーページは表示されませんね。

Baiduでも同じです。

Bingでも・・・ってこっちはインデックスすらされてない。今話題のNaver・・・はsite:に対応してない。

GoogleYahoo、Baiduの3つとも、エントリーページを表示しません。3つともにそのページを評価するべきではない、と判断しているということじゃないでしょうか。3つとも同時にペナルティよりも納得できる理由だと思います。

◆entry以下が表示されないで、タグページが表示される理由

検索エンジンアルゴリズムがそうなっているから」としか言えません。

検索エンジンがページの評価をするにあたって、ページの中でどのようにキーワード記述しているかという評価と、ページの外からどうリンクを張られているかという2つがあるということはご存知のとおりと思います。

それで圧倒的に強いのは、ページの外からのリンクの力です。

そして、タグのページは大量にリンクを受けています。ためしに、被リンク数を比較的しっかり出してくれるYahoo!で調べますと

100件=タグページ→link:http://b.hatena.ne.jp/t/%E8%81%B7%E8%B3%AA

55件=エントリーページ→link:http://b.hatena.ne.jp/entry/www.rll.jp/hood/text/left/20090703001819.php

このように、タグページのほうがしっかりリンクをうけているんです。エントリーページは700以上のブクマをされていても、まだ認識されていませんでしたり、ブックマークページからのリンクですので評価されていないのかと思います。

上は新しい記事なので特例かも、ということで少し時間がたった記事「はてなブックマークのやりすぎちゃったかもしれないSEO」でしらべますと

16件=エントリーページ→link:http://b.hatena.ne.jp/entry/d.hatena.ne.jp/Hamachiya2/20090609/cloaking

217件=タグページ→link:http://b.hatena.ne.jp/t/%E3%82%AF%E3%83%AD%E3%83%BC%E3%82%AD%E3%83%B3%E3%82%B0

このとおり、やはりentryではなくてtのページにリンクが集まっています。

特にGoogleはこのような場合ですとタグページを評価するアルゴリズムを持っていますので、site:で調べても、検索結果がタグで埋め尽くされるのは当然です。titleにテキストがあるといいましても、リンクの力には勝てません。

これが一番の理由と思いますが、もともとエントリーのページは、ページ内部の評価としても、エントリータイトルで評価されづらいマークアップになっていることも原因と思います。他にも上のページは生成されてすぐで評価が乗りきっていないとかの理由もあります。

◆6/9のキャプチャは?

これはわかりません。

6月下旬にGoogleアルゴリズムが変わったせいかな?なんか6/9直前にこのページになにかあったのかな?とかとかおもいましたけど、今では調べることができません。

どうしてなんでしょう?SEOの偉い人教えて!

クローキングによるペナルティではないという理由

上で書きましたことがなにか誤りとしまして、SEOの偉い人も間違いとしまして。

それでもクローキングによるペナルティではないとおもいます。

クローキングの発覚によるペナルティというのは過去にも大量の例がありますが、このような「ちょっと順位をさげちゃおう」みたいな生易しいものじゃないです。インデックスから消されちゃっています。

GoogleはわざわざUserAgentを普通ブラウザに、IPGoogleと知られていないIPクローラーもまわして、普通GoogleBOTの見た内容と違うかをチェックして、クローキングの有無を調べている、とGoogle中の人インタビューで話していました。そして、自動ペナルティをかけないで、人の目で確認しているようです。その位クローキングはしっかり確認して、厳しく処罰しています。

ですので/entry/以下を少し不利にしちゃおうかな?というものはクローキングペナルティではないと思います。

以前ためしに自分クローキングやってみて、自分を通報してみたら2週位で消されちゃいました。もしも、Googleがこのことを問題視しているなら、もうきえちゃってるんじゃないかな?とおもいます。

~~~~~~~

ごめんなさい、はまちちゃんの書き込みはいつもストーカーのように追いかけては愛とブクマを送っているほど好きなんですが、今回は誤りとおもいます。どうか怒らないで;;

2008-09-27

http://anond.hatelabo.jp/20080927155546

プレビューツールつかたけどアカウント抹消のエラーは出ずに、Googleクローラーアクセスできない状態にあるか、禁止ワードかなにかに反応してるって出てた。

前回のクロール時にFC2が重くてクロールできなかったか、記事や広告に禁止ワードが出てたかのどちらかだと思われる。

2008-08-01

グーグルさんは違法ゴミ収集しないでくださいっ!

グーグルさん、なんであなたは勝手ゴミを収集するんですかっ!?

私がいくらゴミをばらまいても、すぐにゴミ集めのクローラーが収集していきます。

しかも私が出したゴミだけではありません。

周りがくだらないゴミWeb放出すると、すぐに違法収集していきます。

なぜですか?

勝手ゴミ集めをしないでください。

とくに、はてダはてブゴミだらけです。

こんなはてなゴミを収集して、偉そうに陳列するのはやめてください。

はてなの9割はゴミでできています。

ゴミを収集しないでください。

お願いします。

もちろん今から捨てる生ゴミも収集しないでください。

お願いします。

グーグルさんは違法ゴミ収集しないでくださいっ!

2008-07-11

7/11 11:30時点のgoogleyahooの検索結果の差

ニコニコgoogleyahooで検索してみる

Google

http://www.google.co.jp/search?q=%83j%83R%83j%83R

ニコニコ動画(夏)

ニコニコ動画は、音楽お笑いアニメゲームグラビアなどの動画再生中にリアルタイムコメントを付けられる「動画コミュニティサイト」です.


Yahoo

http://search.yahoo.co.jp/search?p=%A5%CB%A5%B3%A5%CB%A5%B3

ニコニコ動画(SP1)

動画再生中にリアルタイムコメントを付けられるサービスランキングランダム動画検索等。


ヤフー検索エンジンってちゃんとクローラー動いているのかな?

グーグルは7/5夜の時点ですぐに変わってたけど・・・

かしここまで技術力に差がついてしまうとyahooが哀れでならない。

2008-05-30

http://anond.hatelabo.jp/20080530190308

http://pr.yahoo.co.jp/release/2006/0425a.html

2006年段階で1日1000万件突破だって。

aucfanの詳細検索で目的は果たせそうな感じ。

いいところを教えてくれてありがとう

こういうサイトがあることを、クローラープログラムを作り終えてから初めて気付くあたりが自分の駄目なトコロなんだよな。

そりゃ貧乏にもなるわ。

プチワーキングプア(あるいは働き損のくたびれもうけ)

使用期限が迫った10個以上の在庫プリンタインクをYahoo!オークションにまとめて出品してみたら、1円で落札されてしまった。

希望落札価格最低落札価格も設定せずに1円スタートした自分が悪いのだが、がっかりするという以前に驚いた。Yahoo!オークションって利用者が多い分、ある程度有用な物は必ず競り合いになると思っていたから。

で、逆に考えてみた。

自分のような初心者が1円で出品してしまい、しかも競り合いにもなっていない、ある程度価値のある商品ってYahoo!オークション上にたくさんあるのではないか。

世に初心者の種は尽きまじ。

仕入れ値が1円なら、転売でも利益を出せるのではないか。

送料とか振り込み手数料を考えても利益を出せる、商品の仕入先としてYahoo!オークション活用できないだろうか。

そんなことを考えて、なんとか「価値より割安な商品」をヤフオク上から抽出できないか、考えてみた。

つまり、「終了時間が迫っているのに安値商品」を探して、定価と比べればいいのかな、と。

残念ながらヤフオク公式としてはそういう検索の仕方はできない(残り時間とか現在価格は検索の対象にならない)。

でも、Yahoo!オークションにはRSSがある。

ヤフオク上の全RSSを監視して、条件にある商品だけを抽出すれば、今回の目的は達せないだろうか。

実際にはもちろん中古品もある(というかむしろ中古品が主)だろうし、情報商材などのスパム出品もあると思うが、そのあたりは抽出時にキーワードフィルタリングすればなんとか除外できるだろう。

とりあえずヤフオク上の全RSSを洗い出すことにした。

簡単なクローラープログラムを作り、ヤフオクカテゴリhtmlを片っ端から取り寄せ、中のRSSURLを抽出する。

あとはこれを元にして


……と、ここまでやったところで飽きた。

ヤフオクRSSって一体何個あるんだよこれ。

パソコンジャンルだけで軽く1000以上あるぞ(これを書いてる現在、まだクロールが終わってない)。

いくらこの後フィルタリングしたって、こんな膨大な量、うちの回線的にも逐一チェック仕切れないし。

ていうか、手動でいくつかヤフオク内を見て回ったけど、普通価値に応じた値段がちゃんとついてるし。

プリンタインク?もういいよ。

あんな物、どうせホントにハナから1円の価値しかなかったんだろうさ。

けっ。

ログイン ユーザー登録
ようこそ ゲスト さん