  |
はてなキーワード: マルコフ連鎖とは
技術的な内容を増田に書くという実験のために、試しに検索エンジンの仕組みについて書く。
検索エンジンは、大雑把に言ってクロールするパート、インデクシングするパート、検索インターフェイスを出力するパートに分かれる。
インデクシング時に使っている基本手法は「転置インデックス」と呼ばれ、文書内のngramを文書IDと対応付ける辞書を保存する。
インデクシングの別の種類としては、文書をエンコーダからベクトルへ変換し、それを近似最近傍検索できるようにするものもある。
インデクシングされたものがキーワードマッチ的に絞り込まれると、さらに精密な手法が使われる。
クエリとドキュメントから特徴量設計し、関連性の高いものを引っ張るような訓練をする方法はLearning to rankという。
Learning to rankの中に使われる特徴量の一つにPage Rankがあるが、これは初期の検索エンジンで画期的とされた量で、「リンクされるページの価値は高い」「高価値ページにリンクされると価値が高い」という基準からマルコフ連鎖で計算する。
Page Rankは人間が論文を評価するときと似たような評価手順であるとされる。
Learning to rankの中にエンコーダからのベクトルを特徴量として組み込むことも可能であり、そのようなエンコーダの初期の例がBERTである。
こうやって絞り込まれた文書に対して、さらに有用な情報を表示するモデルがいくつか使われる。
情報抽出モデルでは、クエリを質問と見做してその回答を文書から抽出することがある。
あるいはクエリが人物名や組織名、場所名などであれば、そのエンティティの詳細情報をデータベースから取得することもでき、これはナレッジグラフとも呼ぶ。
蓄積された増田の投稿データをソースにしてるかもしれんがアホなのはアルゴリズムのせいだろ
AIブーム以前の昔からあるマルコフ連鎖で次に来そうな頻出フレーズを並べてくだけのやつとしか思えん
こういう事 https://www.pc-koubou.jp/magazine/4238
ただAnond AIは増田が途中まで書いた文に重み付けをして能動的に出力してみせる事でよりチャットボット風にしてるってことだろ
最近のAIブームで、色々と得心が行った。私の行動はAIと同じだったんだと気づいたのだ。
自分は今まで生きてきておそらく全く思考というものを行っていないのだ。ただ今まで学習してきた何かしらの文書から得られた学習の結果としての何らかのあやふやなデータから、ただ周囲から与えられている入力に対して反射的に出力を行っているだけなのだ。
仮に、思考というものが存在するというのなら、それはおそらくNSFWフィルタのようなフィルタリング機構であって、それ以外は私の身体には実装されていない。普通は、実装されているのかもしれないが、少なくとも私には実装していない。
お絵かきAIに絵を描かせている人がつぶやいていた「AIはてっきり論理ばかりがわかって感情がわからないのかと思ったが、むしろ逆で感情ばかりわかって論理がわかっていない」という言葉が芯を得ていると深く感じた。本当に得心が行ったのだ。物理的な構成も論理的なパースも完全に無視されていながら、反射的には極めて『美しい』とされているような描写を導き出しているということが、結局論理を理解できていなくとも、感情だけが出力された結果として生じうる、そんなふうに思ったのだ（もちろん、この感覚も極めて『感情的』で、欠片も『論理的』ではない）。
私は会話にしても行動にしても、何にしても反射的な行動を繰り返しては『どうして○○（Ex.人の気持ち）を考えられないのか』という返答（あるいはそれに類される言動）を返され、絶縁・嫌悪などの反応を受けてきた。
私は何も考えてなどいなかったのだ。文章を書くにあたっても、私はこの文章を書くときすら、何も論理的な思考など行っていない。ただ脳内に浮かび上がる単語を、文章らしく整っているらしく思われるこの文字を打ち込み続けているだけで、それが伝わるように構成されているのか、それとも構成されていないのかすら理解していないし、理解できない。読解する時にも、いつも表層しか読み取っていないし、下手をすれば表層すら読み取れていないのかもしれない。ただ、文面上にある単語に対して今までの学習データから想像される言動を引き出しているに過ぎず、それに対する何らの論理的整合性を有していないのかもしれない。私は論理的な整合性を考えることなど出来ていないから、私には他の人がこの文章を読み取ることができる文章となっているのかを理解できない。古いAIが行うマルコフ連鎖（この言葉の意味についても正確に使えているかなどわからない）と、結局のところ何が違うのかすら理解できない。単なる脳内に学習されてきたらしいデータ的な何かの違いだけではないか？ 私には意味が通っているのか通っていないのかを単なる違和感でしか説明できておらず、それに対して反射的な言動を返すことはできるが、その反射的な言動が正しいかすら理解出来ていないし、理解することは（論理的に）できないように思う。
私はただ、キーボードの上で踊る指先を眺めて、ただ出力されている文字を眺めているだけだ。誤った言葉を打ち込んでしまったときにだけバックスペースキーを押し、それを消しているだけだ。私は何も考えることなく、ただ脳が命令したように指先を動かしているだけに過ぎない。これはどこまでも反射であり、論理的な思考などどこにも存在していない。
だから、私は他人のことなど考えて発言などしていないし行動などしていない。なぜなら私は今まで何も考えてなどこなかったからだ。ただ学習データの中から一定の方向付がなされたデータのなかから反射的に言動を引き出しているだけだから、初対面の相手までならそれなりの行動が返せても、そこから継続的な関係を結ぶためのあらゆる行動が学習されていないし、それに対して考えて思考することも当然できていない。AIが継続したデータの出力が出来ないこととあまりにもそっくりで笑えてしまう。
私は人生で何も考えてなど居なかったのだ！
強いて言うのであれば、AIのプロンプトに適切な表現を打ち込めば求めた答えが返ってくるのと同じように、うまいこと「どんな入力を行えばどんな反射が返ってくるのか」を自分自身をハッキングしていくことが大切なんだろう。
これを理解してからいわゆるマインドフルネス的な瞑想もすごくうまくいくようになった。私はただ反射でしか動いていないから、反射しているということだけを認識していれば、これは反射だとすぐにわかる。SNSで優れた人を見たことに対する反射であったり、不幸なニュースを目にしたことによる反射であったり、他人が近くにいたことによる反射であったりすると思うと、自分がどれだけ単純な出力を行っているのかが信じられないくらい整理できる。
こんな簡単なことに気づくのに３０年もかかったのか。
今までの自分のような人間が、今の自分のように、誰にも殺されることなく傷つけられることもなく良いものを食べ屋根のある場所で暖かく眠ることが出来たとは到底思えないが、そんな贅沢を尽くした上で、なお、言うとするのなら、できれば生まれたくはなかったし、今も生きていたいとはあまり思わない。
これでどうやってゲームを作ったり、検索エンジンを作ったりするんだとなってくる。
つまり言いたいことは、実際に動くアプリケーションというのを作りたいのにも関わらず
プログラミング入門書は、これで判定と繰り返しという基礎ができますと言うだけ。
これがもう滅茶苦茶イライラする。
検索エンジンを作るとしても、検索エンジンにも色々あるのだけど、仮にGoogleを作るとする。
そうすると、まずページランクの論文を読むのは必須だと思われるが、
論文読まなくても日本の大学の授業の内容などが公開されてるので、それで分かりやすい解説を探したとする。
そうするとマルコフ連鎖とか、少なくとも高校、大学学部の行列計算の知識は必須となる。
ここで受験勉強なんて何の役に立つの？といった詰め込み教育に反対していた人達は挫折する。
英語も数学も単なる道具であって、詰め込み教育というのは理由はともかく先に道具を持たせる教育である。
必要になれば必要性を感じるのだから、必要になってから学べばいいというのは往々にして遅い場合がある。
例えば、敵が襲い掛かってきてから初めて剣や盾の使い方の必要性を感じても遅いのである。
よく分からんが学校や塾で装備をくれるというのだから貰っておこう、と思えなかった人はここで脱落する。
プログラミング言語の本でよくあるパターンは文法の説明などで始まり、ファイル入出力などで終わるというのがある。
なぜ、ファイル入出力で終わるのか？
これはUnix哲学とも言えるのかもしれないが、現在になってもコンピュータの世界では、すべてをファイルと考える、というのがある。
と思う人がいるだろうが、それは半分正解であり、半分ちょっと違う。
文字とかバイナリと呼ばれるものが入っているファイルはファイルの一面に過ぎない。
例えば、ディスプレイに図形や文字を表示する、プリンタに出力する、別のコンピュータと通信するための仮想的なつなぎ口を作る、
これらはすべてファイルで実現できる、すべてファイルを読み書きするように実現できうるものである。
「よろしい、ならば戦争だ」
デコイ（英語: decoy、Military dummy、囮とも）は、敵を欺瞞して本物の目標と誤認させる目的で展開する装備の総称。
Matt Cutts氏が指摘するように、順位を下げるために付けたリンクが、期待とは正反対に順位を上げる手助けをしてしまうこともあり得なくはありませんね。
リンクされているサイトではなく、リンク元のサイトがスパムかどうか判断していることをGoogleのゲイリー・イリェーシュ氏がMarketing Land のポッドキャストで明らかにしています。
この説明にもネガティブSEOの具体例をあげて解説していることから、ペンギンアップデートがネガティブSEO対策に力を入れていることがうかがえます。
目的は「はてな次郎」の文字列を自分で管理して、インターネット上に増やすこと。
セルフプロデュースでセルフブランディングするのがポジティブSEOの王道です。
現在、「はてな次郎」をGoogle検索したら1万件ヒットする場合、セルフブランディングした情報が3万件ヒットするぐらいを目指してください。
「はてな次郎」に関する誤情報が、検索結果の10ページ以下に沈めばとりあえず成功です。
「はてな次郎」という文字列をインターネット上で増殖させる作業を、手動ではなく自動で行うことも可能です。
（例）有名人を応援するファンサイトを作り、各ページのタイトルやヘッダーに「はてな次郎」の文字列を入れる。
このような方法で、100万ページ程度のWebサイトは自動的に作れます。
元データや加工方法を変えて、さらにWebサイトを作れば「はてな次郎」の文字列をインターネット上に1億個以上投下することも可能です。
アメリカ大統領選挙でロシアが情報操作を行っていたと言われている「ロシアゲート事件」を参考にして、SNSにデコイをばらまくことも可能です。
やりたい放題のGoogleをブッ飛ばすには、プログラミングが有効です。
頑張ってください。
元記事の仮名が変更されたので本記事の仮名も変更しました。（はてな次郎）
補足：
