■言語ってなんだ、状態か？

まずは【お前自身が機械翻訳に駆逐されろ】"iwatani"の翻訳した記事が上がっていた。

＜GoogleのAI翻訳ツールは独自の内部的言語を発明したようだ、そうとしか言えない不思議な現象が＞

http://jp.techcrunch.com/2016/11/23/20161122googles-ai-translation-tool-seems-to-have-invented-its-own-secret-internal-language/

http://b.hatena.ne.jp/entry/jp.techcrunch.com/2016/11/23/20161122googles-ai-translation-tool-seems-to-have-invented-its-own-secret-internal-language/

Zero-Shot Learningは分岐のない翻訳などではない。これは正しくOne-shot Learningの延長線上にあり、

ワンショット学習すらしないで（この場合対応ペアでの事前学習をおこなわず）、新規ペアでの処理を行うっていうことだ。

この語は翻訳に限った話でもない。だからほとんどの訳がおかしい。むしろ機械翻訳の方がマシ（背景を理解していない翻訳者より機械翻訳の方がマシという皮肉な状況）。

ワンショット学習っていうのは人間ができることでもある、極めて少ないサンプル(多くの場合一サンプルでもいい)から学習する方法。

（ちなみに実際に脳内でもOne-Shot Learningは繰り返し学習とは別パスなのではという示唆もある）

＜グーグルの翻訳AIが「独自の言語」を生み出したといえる根拠＞

http://wired.jp/2016/11/24/google-ai-language-create/

http://b.hatena.ne.jp/entry/wired.jp/2016/11/24/google-ai-language-create/

なんだ英語を介さない翻訳手法って。もうなんなの。

これらは古くから考えられてきた「基底となる」文法等を完備した「中間言語」などではない。

論文で触れられている「『Interlingua』な表現形式」は『semantic representations』とされていて、まさに多言語間で共通する「『意味表現』の表現空間」であり、

ツリー状に開かれてもいない。人が想像する構造化された言語などではない。

ただしその空間を共有していて、つまり共通の意味表現を持っていることは論文(arXiv:1611.04558)で実験的に証拠を提示されている。

今までも多対多の翻訳でネットワークを共有することでBLEUを向上できるという論文は出ていたが、今回のは、翻訳に関して言えば、十分普遍化した意味空間を内部的にもったネットワークに新規ペアをぶち込んでも能動的な転移学習すらせずにそれなりの結果が得られる、結果の向上だけでなく未知ペアを処理できるって事である。

　そしてその効果は汎用性↑↑、そして最大のメリットはサンプルが少ない言語ペアもやりやすくなるぞ、マイナー言語にも早く適用できるかもって所だ。

One-shot Learning系（小サンプル）とDeep Learning系（巨大サンプル）によるネットワークについて、意味という（我々にも見えない）上位構造の下に配置された構造である「言語」を扱う特別な例では、両方を一つで達成できる可能性が垣間見えた論文なのでもある。

Permalink | 記事への反応(1) | 17:32

ツイートシェア