2024-11-04

DMMボイスはエロゲー学習している(という仮説とその考察

注意:AI批判目的ではありません。単なる考察結果の共有です。どちらかというと私は思想的にはAI推進過激派です。また、ここでの推測はすべて外れている可能性はありますあくまで推測です。

DMMボイス

最近AI界隈(?)で話題になっている、20人分のアニメ調キャラクターの声で感情的な音声を簡単に生成することができるAIサービス

https://ai-voice.dmm.com/

それの学習元に、エロゲーテキスト音声データが使われているのではないかという話。

まずは性能がかなり高くて楽しいのでみんな遊んでみてください。(そして知ってる声優がいないか探してみてください。)

何故か音声合成できない文字列

現時点では何のフィルターもなく、どのような卑語卑猥セリフも発話させられる。

ただ、ある特定雰囲気パターンのみなぜか音声合成させると吐息のようなものになり、入力文章からかけ離れてしまう。

それは「ちゅぱちゅぱれろれろ」だ。

他にも、例えば「ちゅぷぷっ、んちゅぅ……ちゅくくっ、むちゅぅ……ぢゅるっ、ちゅちゅぅっ」「ちゅぷぷっ、んちゅぅ……ちゅくくっ、むちゅぅ……ぢゅるっ、ちゅちゅぅっ」等を試してみてほしい。

ひらがなですべて書かれているので、発音は明確にはっきりしているはずだが、それでもなぜか発音できず吐息のようなものとなる。

一方で、並びはそのままのまま「ふゅととっ、んびゅぅ……こゅねねっ、むびゅぅ……ぞゅけっ、たゅたゅぅっ」「にゅべべっ、おにゅぅ……にゅけけっ、めにゅぅ……づゅれっ、にゅにゅぅっ。」等は、きちんと文字通り発音される。

さらに、単純に全てカタカナにして、「チュパチュパレロレロ」にしてもきちんと発音される。またちょっと並び替えて「ぱちゅぱちゅろれろれ」発音される。その他、適当意味をなさな「ちゅかちゅほぱれもふい」等のランダム文字列にしても発音される。

他にも、私が試してみた限りでは、上述の謎の雰囲気テキスト群以外の文章はほぼ正確に文字通りに発音される。

以上のことから学習データには「ちゅぱちゅぱれろれろ」やその他の上記例のような特定雰囲気セリフに対して、「その文字の通常の発音通りでないような音声」対応しているようなデータが使われていることが推測される。

念の為に書いておくと、音声合成学習にあたっては、音声その音声が何を喋っているかというテキストペアを、大量に学習させる。)

余談

技術的なことなので読み飛ばしてください。

余談であるが、カタカナの「チュパチュパレロレロ」は発音できるがひらがなの「ちゅぱちゅぱれろれろ」は発音できないという事実からは、古くから音声合成での「日本語文章→音素列(簡単に言えば読みのカナ列)→音声」という流れの単純な音声合成だけでなく、元の日本語から情報音声合成入力していること推測できる。

元の日本語テキストに対して、その音素列に加えて、大規模言語モデルエンコーダーモデル、いわゆるテキスト埋め込みも音声合成テキストエンコーダ部分へ注入するというのは、近年の感情豊かな音声合成界隈での一つのトレンドである

音声合成にあたりAIが「発音の仕方」だけじゃなくて「セリフ意味」も理解する、というわけである

例えば「ちゅぱちゅぱれろれろ」も、単独では正常な発話ができないが、はてなは、匿名性を活かした自由表現可能となる場として、ちゅぱちゅぱれろれろ、はてな匿名ダイアリーをご利用いただきたいと考えております。」等に文中に紛れ込ませると正常に発話ができること、また文章全体の示す感情によって途中の声音テンション等が変わること等も、これらの帰結である

エロゲーのチュパ音

さて、我々は「れろれろれろ……ちゅぱっ、ちゅぶっ……んちゅ、れろっ……ぺろ、ぺろっ……んちゅぅ」のようなテキスト文字通りの発音対応しない、そのような状況を知っているはずである。そう、エロゲーだ。

エロゲーにはチュパ音という文化がある。これはヒロイン主人公フェラチオをするシーンで、ヒロイン声優がそのおしゃぶりシーンを汁音たっぷりに演技をするものである

そこでは、「あぁむ、じゅぶ……じゅぽじゅぽ……ちゅるっ、ちゅ、ちゅっ、ちゅぅぅぅぅ……んっ、んっ、んんっーー!」のようなテキストに対して、そのテキストの通常の文字通りの発音からはかけ離れた、しゃぶりまくり音出しまくり啜りまくりの演技が音声として与えられる。

よって上記挙動からDMMボイスの学習元の少なくとも一部には、エロゲーから抽出したデータが使われているのではないかと推測することができる。

学習元としてのノベルゲーム

界隈では有名な事実だが、エロゲー(R18に限らずノベルゲー一般からは、1本だいたい(ものによるが)20時間程度の音声とテキストの両方を(多少の知識があれば)大量に抽出することができ、音声合成音声認識等の音声に関するAI研究においては非常に貴重なデータとなっている。

よって、大量の「テキストと音声のペア」が必要音声合成では、特に表に出ないアングラなところで、ひっそりと学習に使われることが多々ある。また特定声優の声を出そうという意図はなくても、いわゆる音声AIの事前学習モデルとして、すなわち日本語発音の仕方をAIが学ぶとき必要な大量の音声データとして、そのようなデータを使うことは、一般的とまでは言わないにしても、あることである

ましてやDMMであるエロゲープレイヤーならば、近年の衰退しつつあるノベルゲー文化はかなりの部分をFANZA依存していることをすでに知っているだろう(いつもお世話になっております)。

聞き覚えのある声

以上のような理由から私はエロゲーが少なくとも学習データに含まれているのではないかと推測したが、そもそもきっかけは、それより前に、単純にいろんなキャラ音声合成させて遊んでいたら、

少なくとも私の耳には「あれこの人あの声優じゃん?」というキャラが何人かいたかである

久世凛さん(くん?)の人はたぶん声優として有名なあの人だし、ノエラちゃんとか多分一般でも最近いろいろ有名なんじゃなかろうか?(元エロゲー声優出身それから表に出てきて大成功していることで有名)

月城 美蘭ちゃんキャラは某シリーズの某キャラめっちゃ好きです。

他にも声優に詳しい方だったら、誰の声か分かるキャラが数人はいるのではなかろうか。

なぜか最初「ん」発音されない「おちんちん

さら実験を重ねていると、エロゲー学習使用されていると推測されるもう一つの事象発見した。

それは「おちんちんという単語を含んだセリフ音声合成させると、不自然に「おちちん」の2番目の「ん」がきれて「おちっちん」のように音声合成されるという現象である

(実際は「おちっちん」ほど極端ではないが、明確に2番目の「ん」の音が通常の発音よりもかなり弱く、不自然に途切れた印象の発音になっている。「おちんつん」等にして比較するとより違いが明確になる。)

このことから、「おちんちん」という単語がそのまま発話されないデータ学習元に多いのではないかと推測できる。

エロゲープレイヤーならば知っているだろうが、大半の商業エロゲーでは規制から「おちんちん」という文字は「おち○ちん」と伏せ字になり音声ではピー音が入る。

このような音声の内部の音声データは、伏せ字部分が抜けて発音されていることが多い(ピー音がそのまま入っているものもある)。

このことも、エロゲーの音声データDMMボイスの学習元として使われているという推測を支持している。

DMMボイス側の公式文章

DMMボイスに対して学習元等の問い合わせをしている人たちが数人はいるようで、開発者サイドのそれに対するリプライ文章から抜粋する。

https://x.com/1230yuji/status/1852914053326483685

音声学データは音声データ大量購入機械合成、収録で取得しています。具体的な情報企業秘密にあたるため開示できません。」

ここで「音声データ大量購入」という箇所がひっかかる。そう、界隈にいれば知っている人が多いだろうが、音声とテキストペアデータセットで、大量購入できるようなものはほぼない(あったら喉から手が出るほど欲しい)。

さらにまた、DMMボイスはアニメ調のキャラクター音声合成が売りである。そのようなデータセットで、大量購入できるようなものはほぼない(あったら喉から手が出るほど欲しい)。

まり、ここでの大量購入エロゲー大量購入を指しているのではないかと推測することができる。(もしくは、少し前に触れた、すでに公開されているそのような音声データセットから流用したか)。

また、公式利用規約には次のような文言がある。

第8条(保証制限

1. 当社は、利用者に対し、次の各号に掲げる事項について、一切保証しません。
(1) 本サービス第三者権利侵害しないこと

この規約意味するところは正確には分からないが、あたかも「声優さんの権利侵害するかしないかは私達は責任を追わないか自己責任でね」のように読める。

法的な議論

音声AIについて昨年5月あたりから品質が大いに向上したことで、AIカバー声優音声の無断学習等の文脈で、様々な議論が発生している。最近では有名な声優たちがNOMORE無断生成AIというスローガンで大々的に活動している。

https://x.com/NOMORE__MUDAN

これは、声優たちが、自分たちの声が無断でAI学習使用され、その上で収益化をされていることに対して反対して展開している運動だ。

(この運動に対する是非等の意見は私は持たない、最初に述べた通り私はどちらかというとAI推進過激派である。)

また、このような運動がおこる背景として、(イラストでかなりバトルが発生しているが、)AI学習における「声の権利」との法的な取り扱いが現状の法律だと不明瞭な点から法律とくに著作権に訴えることでは現状の使われ方に対して法的措置を取りにくいところにある。

このようなAIと音声の権利については最近の柿沼弁護士記事が参考になるので詳しくはそちらを読んでほしい。

https://storialaw.jp/blog/11344

私自身は法律専門家でもなんでもないので法的なあれこれについて述べることはできないが、理解している範囲で述べる(間違ってたらすみません)。

音声AIの法的議論ではパブリシティ権という概念重要になる。これはざっくり言うと、有名女優肖像勝手商品宣伝に使ったりすると、その女優が得られたであろう広告収入が奪われたことになるのでダメ、という感じのものである

このパブリシティ権現在日本法律の文面では明文化されておらず、どこまでがパブリシティ権にあたるのかということについて、特に音声については、未だ判例がなくはっきり分からない。

しか有名人の氏名についてはパブリシティ権は認められているので、もしDMMボイスが、「あの人気声優○○さんの声で音声合成できる!」としてこのサービス提供していたら、正式契約を結んでいた場合に得られたであろう声優利益のことを考慮すると、声優の許諾がない場合ほぼ確実にダメだと思われる(判例待ちなので断言はたぶんできない)。

だがDMMボイスは、学習元の20人分の声優が誰かや、またその声優からの許諾を得て20人分の声優を使っているかを、うまい具合に言及を避けている。

声優好きな人は声のみからその声優が誰であるかを判定することができる人も多いので、そのような場合に、声優名を伏せていたとしてもパブリシティ権侵害にあたるかは、おそらくかなりグレーで判例待ち事案である

そのような意味で、このDMMボイスは(もし裁判等や運動が起これば)音声AIと声の権利に対する法的な解像度を上げ議論を起こすのに貢献する事例になるであろうことは間違いない。

意見

何度か述べている通り、私はAI推進過激派寄りの人間であり、NOMORE無断生成AI等の、最近声優たちやアンチ生成AI人達による運動に対しては、事態注視しているだけの中立的(むしろ逆にガンガン生成AI使っていこうぜという)立場である

また今回のDMMボイスの公開や今後のサービス展開に対しても、ことさらそれが悪いことだとか、そのようなものは避けるべきだとか、については思っておらず、むしろ「いつか来るだろうなあと思っていたものを大きい企業がようやく出してきたかあ、これで法律や声の権利についての議論判例が進むかもな」といった程度の感想である

(そしてDMMボイスのような技術可能なこと、また実際にそれを学習させてみて個人で楽しむことは、私自一年前くらいからずっとしており、そこから音声AI界隈をウォッチしていた。)

しかし、最近声優サイドの運動や時流を見ると、せめて生成できる20人分の声優の許諾を取っているかについて言及しないままでは、アンチ生成AIサイドの批判の格好の的になるだけなのではないかと感じている。

技術的なことになるが、最近の音声AIでは、実在する声優の声から学習させて、しか音声合成する際には非実在人物による声音音声合成可能である(例えば声優二人の中間の声等)。

それが権利的や法的や倫理的にどうか等は置いておいて、DMMボイスは少なくともそのような措置を取るのがよかったのではないか個人的には感じている。

(ただ、私の耳が悪いだけで、ホントは「この人の声だ!」と思ったキャラクターは実は全然そうじゃなかった可能性もある。しかしこの「「誰が喋っているかが明確に100%には断言できない」ところが音声AIと声の権利議論の難しいところである。)

他のありえる可能

公平のため、最後に「ちゅぱちゅぱれろれろ」が発音できない現象について、エロゲーDMMボイスの学習に直接使われたという以外に他のありうる可能性をいくつか書いておく。

また端的にありえるのは、他の「ちゅぱちゅぱれろれろ」が発音できないような音声AIをそのまま流用している可能である。一つ「ちゅぱちゅぱれろれろ」が正常に発話できない音声合成AIライブラリを知っているが、それはデモ動画に私の好きなエロゲーセリフが堂々と出ていたこから、それの学習元にエロゲーが入っていることはほぼ確実である

また他に、DMMボイス自体を開発する際にはエロゲーデータは使っておらず許諾を得た声優のみから学習させるが、その学習元となった事前学習モデルにはエロゲーデータが入っていた、という可能である。前に少し触れた通り、現在の生成AIには学習に大量のデータ必要であり、まず音声AI発音の仕方を学ぶために、無から正常に発話できるようになるまでには大量のデータ必要である。そのような学習は非常にお金時間がかかるため、生成AIでは「まず大規模なデータ学習させて事前学習モデルを作る」「次に、その事前学習モデルに対して、話させたい話者データで少量追加学習する」というアプローチが取られる場合ほとんどである。この場合、事前学習モデル段階においてエロゲーデータが使われており、かつDMMボイスがその事前学習モデル作成に関与していない場合には、DMMボイスの開発段階ではエロゲーデータは使われていないということはありうる。

追記

記事への反応 -
  • 今はDMMが業界で最大の権利保有者だからなあ。 自社でサービス展開してるものも多数あるが、旧作の版権を買い集めてて音声の権利すら多数所有してる。 買い上げる時には著作物をどん...

  • 権利ごと買取なんてことが果たして可能なのか? 通常のアニメ、ゲームでは製作会社や声優事務所など様々な権利者が絡んでおり全ての関係者の許可が必要となるのが普通。 エロゲなら...

  • おまえらがニコニコやYOUTUBEを潰さずに ブラックだろうがグレーだろうがやってしまって地位を確立すれば追認されるという前例を作っちゃったからね しかたないね

  • 今日も反AIブクマカの怨嗟で飯が上手い

  • DMMは一時はちま起稿を運営していたような倫理観の会社だから何やっててもおかしくはない

  • 1. 当社は、利用者に対し、次の各号に掲げる事項について、一切保証しません。 (1) 本サービスが第三者の権利を侵害しないこと この規約の意味するところは正確には分から...

  • 極めて興味深い

  • やはり、流石に一応権利を有したエロゲを使用しているということなのかもしれない。 ただ、それでも曖昧な表現をするのは明示的に音声合成をする許可を得ていないからだと思われる...

  • あの声優が使われていると思って聞くと、本当にその声優が使われているように聞こえるマジック AI絵を見て「これは誰々の絵柄だ!盗まれてる!」→全然違いました 的なAI警察と同じ...

  • 勃ってるね→"た"ってるね を確認

  • DMMボイス、70文字制限のせいで現時点では全く使う意味も必要性もないサービスになってんだよな 普通の動画ならボイボの方が有利だし そんな有り様でこんな疑惑出ちゃってどうすんだ...

  • AI安倍晋三は?

  • やばくなったらFANZAボイスに変更かな

  • ブックマークコメ、的外れなものが多すぎる。 出所はもはやどうでもいいんだよな。大事なのは許可を得てるかどうかだけなんだが > 音声作品は「ボイスと台本」がセットで販売され...

    • ブコメ主やが言葉足らずやったな、すまんの それは音声作品のオマケとして収録されてるって意味で言った話で、許可うんぬんの話はしてないで。 音声作品のオマケとしては声優のフ...

    • 死刑囚も許可を得て殺してるんだが

      • イスラエルの兵隊もイスラエルに許可を得てガザの住民を虐殺します

  • lit....ニキ?

  • おちんちん が変になるのはピー音というより *iŋ が原因の可能性が高い おちんこ おちんぽ おまんこ などは完全詠唱 ちんちん はほとんどのキャラが ちんちっ か ちっちん にな...

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん