早い話、深層学習が何をみてそれを出力したか、「なぜそうなったのか？」..

早い話、深層学習が何をみてそれを出力したか、「なぜそうなったのか？」なんて、わからないんです。人間には一切説明ができないんです。そうでしょう？たとえばこの文章をバラバラにして、1000次元に分解して、ひゅっとまとめて、えいやーっと掛け算をして、値がひとりしきり出力されたら、その値の大きいものを見ているんです、というのが仮に事実だったとしてね、人間からすれば「どれなのよ？」って話なんです。それはバイナリの世界の解釈であって、僕らの普遍的意味としての情報を持たないんです。だから「なぜそうなったのか？」なんて、人間に説明できるわけがない。宇宙人と会話するようなものですよ。