  |
はてなキーワード: フォルマントとは
俺は「声」ってのもちょっと違うと思うな。単純化しすぎというか。
ある意味で声優自身がそのキャラのプロデューサーとも言える感じがある。もちろん実際には音響監督とかと話して表現を調整していくわけだけど、声優個人も表現者として追うに値する存在なんだよ。そして声優としての力量もそこに現れる。
だからファンになる人は、ただの「声」のような素材としての意味以上に、声優の表現に深みを見出してるわけ。その表現の幅に人間性すら幻視するくらいには。
もちろん単純に素材としての「声」が持つフォルマント特性的なものに対し、個人的ツボに来る癒やしを感じたりするかどうかの要素もあるけどさ。
同じ内容を同じ口調で喋ってても全然周りの人の反応が違いますねー
自分は声変換ソフトとかではなく地声のまま男性のフォルマントと女性のフォルマントを行き来できるように訓練したので両方の声を地声として出せるようになりました
なので、その状態でdiscordやtwitterのスペースの音声通話に参加してみました
その結果、まったく同じ口調、同じ内容を喋っても、声質が男か女かでここまで人の反応や対応が変わるんだなーということが実感できて面白いです
具体的にいくつか例をあげると、
女声で適度に意思がありそうな程度にちょうどいいぐらいの「生意気さ」の発言だと捉えられたノリは、男声だと周りから本気で嫌味なやつだと捉えられる
男声の時に「周りに気を配っていて適切に空気を読んでいる優しそうな雰囲気」と評価されたノリを女声の時にやっても、さほど気を遣って配慮をしているようには捉えられなかった（そこまでわがままというほどでもないものの、ちょっと意志が強そうにとらえられる程度にはとっつきにくく感じられるらしい）
あと、同じノリでも女声だと真面目な話をはなから相手にせず、聞くに値しないと切り捨てがちな層がいるが、男声だと真面目な話を聞かない層がいない。全員が「とりあえず相手の話を聞いてみよう」というノリ
あと、これだけ印象論で人の行動が左右されるなら、男女の容姿や声を見てわかる程度に異なる状態にしたまま、ジェンダーを完璧に平等にするとか無理なんじゃないかなーと思いました
バミ肉が少し前に流行ったけど、色んな人が色んなことを試したけど、結局うまく行かなかった。
フォルマントを変更すると男性から女性の声になると、書籍やネットでは書かれているが、実際は違和感が凄い。
他にDAWだとピッチ補正ソフトがあるが、ピッチ修正するとロボット声になってしまうのが何年も解決されていない。
AIが解決するんじゃね？と思う人は多いが、学習した声と全く同じ声を出すのは違和感ないが、
プラグインなど沢山出ているが、基本的に音声を劣化させる方向のものが大半だ。
環境によってノイズが載っていない音声でも、聞き取りにくい声になっているときに、聞き取りやすいするようなのはない。
様々な動作に関わる定数が変わることになりますので補正する必要があります。
現実に即していない誇張された重力加速度は一見無関係に見えますがそうではありません。
視聴者が無意識に記憶している加速度をベースに誇張が行われるため、嘘の加速であっても変化の影響を受けます。
特撮でスローを用いて大きさを演出することができるのはこのおかげですが、それは倍速で演出が変わるということでもあります。
F = ma ですので、見かけの加速度の変化でずれて見えてしまった力や質量を補正する必要があります。
またこの話はモーメントにも拡張できます。人間の体は重心から離れたところに重量物が乗っていますし腕や脚は1m前後もある
わけですから、見かけの角速度や先端速度から類推される力の差は無視できません。
声で言うところのフォルマントです。
声のキャラクターがフォルマントに影響されるように、動作のキャラクターは動作の周波数に影響されます。
音声におけるタイムストレッチ(「犯人ボイス」にならないような処理)が映像でもあればよいのですが、
ボイスチェンジャーで男声から女性声に変換したけれど、ノイズが酷いので取りたい。
「ノイズ」と言っているが、まずボイスチェンジャーで変換したときに出るノイズの名前がわからない。
マイクでの収録時に乗る、エアコンの音といった環境音を取るのはすぐに出てくるが、
フォルマントとピッチを変換した後の、機械音になってしまっているのを除去したい場合がわからない。
iZotope RX8だと、De-click、De-clip、De-ess、De-hum、ブレスの除去、音声ノイズ除去と言ったのはあるが、
音声自体が歪んでしまっているような場合を直すのは対応していない。
4kHz以上のスペクトルをリペアする機能もあるが、200Hz～の所から歪んでしまっているので効果がない。
突発的なノイズについては、前後のパタンから推測して修復する機能もあるが、理想の波形がどこにもないからマッチしない。
WavesのVitaminというのがエンハンスというのだから、違ったアプローチで直せれるかと思ったが、まったく効果がない。
EQで気になる箇所だけ削ればというのは正しいが、削っていくと残らない。
のどちらかなわけだが、見つからない。
GANやディープフェイクと言われている時代なのだから、あるだろうと思うのだがない。
英語だとLyrebird、Overdubといった有名どころは見つかるわけだが、日本語を使いたい。
モンスター声に変えるといったのはあるが、もっと自然に変えたいのだ。
どれもこもった音になる。
1,2日で炎上していることを調べるといった、タイムリーな状況を知りたいといったのは、役に立っているし、
プログラミングの一部については調べれば出る。
だが、「バ美肉おじさんがボイスチェンジャーで声を変えようとした場合、音の高さを合わせても機械音がするのは、物理的な事象の何に差があるのか」
という疑問を解決できない。
フォルマントとピッチを変更しても、思ったようにならないバ美肉オジサンは多かったことだろう。
ネットを調べれば、色んなソフトを試した結果は手に入るわけだが、どれも失敗している。
書籍に関しては声に関していくつか書籍があり、買ってみたが解決には至らなかった。
進捗 25％
実はこれが最も難度が高い（売ってない）
C++でWORLDという音声ツールを使ってスペクトログラム抽出まではできてる
ディープラーニングに手を出した
スペクトログラムから母音フォルマント成分引いた差分みたいなのって出せないのかな、名大の論文でそんなのがあったが難しすぎた
（巷に溢れる報告はどれも目標が高すぎる気がする、もうちょっとライトな目標設定したらうまくいくのでは？）
これは最初に流用後改変したいが、モデルとviveの繫ぎ込みやボーンってどうなってるんだろうという不安がある
モデリングは少しずつアップデートすりゃいい、必要なのはむしろ良い声だ
・ネタ
いくつか用意してるので一番大丈夫なんだが
・目的
明確な目的がある
Live2Dではダメ、3Dでやりたい（ベクトルとしてはねこます）
・期限
6月いっぱい ここで無理なら多分何かで躓いて詰んでる
所感
似たやつ結構いるだろうな
いろいろ調べたが様々な技術的なハードルが降りてきているのを感じた
VOCALOID2へのバージョンアップに伴い、キャラクター性を押し出したのがクリプトンの初音ミク以降のシリーズって感じだわな。
まぁ、フォルマントシンギング音源全般での話で行くなら、XG音源のプラグインボードとかあったし、それ持ってるわ。
ただ、以前の音源系はバックコーラス用途でも音楽素材切り貼りしたほうがマシなことが多かったし、VOCALOID2シリーズも出た当初はボーカルとして使えるようなレベルではなかった。
ユーザー数が増えて、テクニカルな使い方が深化してきたからこそ商業ベースに食い込んでくる作品が出来てきたんだし。
ボカロは、ソフト名を姓名を持ったネーミングにしたりパッケージのキャラを前面に押し出したりして「歌声を操作できるキャラクター」として売ることでヒットしたものの
それは、クリプトンやインターネット、AHS等の戦略であってそれを「ボカロ」と定義するならそうだろうな。
個人的には、「ボカロ」で金が集まったおかげで、VOCALOID3の開発が早まったとするなら、大いに有難い所。
VOCALOID3はインターフェースがDAWっぽくなってきたから、そもそもFL Studio使っててVOCALIODプラグインで使えない身としては大助かりだ。
いや、海外メーカーはキャラクター性で売ってないし、ビープラッツもそうだろ。
商業ベースに乗せるために、ニコ動界隈の知名度を利用できるだけでも相当良い事じゃないかと思うよ。
何もなしに商業ベースに乗せるなんて、人間が歌っていても無理なことが多いんだから。
さらに言えば、各種のボーカロイド操作のテクニックを編み出してきたのはニコ動界隈だから、今後しばらくはニコ動界隈が牽引して行くんじゃないかね？
これは、不利な点ではないし、むしろテクニックの深化という意味ではニコ動みたいな「コメント可能な動画メディア」と「スキルが必要な何某」のシナジーは凄いと思う。
