【悲報】vtuber業界ガチで終わる 音声だけで顔面を認識するAIが発達し全員中の人がバレる時代に

【悲報】vtuber業界ガチで終わる 音声だけで顔面を認識するAIが発達し全員中の人がバレる時代に
1: 風吹けば名無し 2019/06/04(火) 13:21:24.39 ID:kmGUVTGT0.net

左が本人
右が音声を元にAIが描写した人物画像

https://ai-scholar.tech/others/speech2face-159/

2: 風吹けば名無し 2019/06/04(火) 13:21:44.82 ID:SxUj2lYJM.net



3: 風吹けば名無し 2019/06/04(火) 13:21:55.18 ID:kmGUVTGT0.net

声から顔を予測するSpeech2faceモデルとは?

提案された「Speech2Face」は、”音声のみから顔を予測し、画像を自動生成”することができるモデルです。
発話と外観には相関関係があるといわれており、年齢、性別、口の形、顔の骨の構造など、すべてが音声に影響を与えると考えられています。また、言語、アクセント、スピードなどは国、地域、文化などのアイデンティティを反映しています。

これらの音と顔の相関関係をYoutubeなどの動画から人物が話している様子を”顔”と”声”に分けて学習データとし、声から正確に顔が予測できるようにモデルを訓練します。

話者の年齢、性別、人種などの複数の属性を短い話セグメントを通して推測し、その後話者の顔を再構築することができます。

例えば以下のような、一見関連がなさそうな音声データから外観を推測することが可能になります。


5: 風吹けば名無し 2019/06/04(火) 13:22:12.36 ID:kmGUVTGT0.net

これまでも、音声データを元に性別や年齢などの人物を特定する研究や、音声を元に画像を生成する提案はいくつかありました。しかしそれらの多くは与えられた画像から適切なものを選び出すだけで、画像を生成するというアイデアは再現不可能でした。

“音声データのみ”を元に異なるデータ型である”顔の画像”を生成する研究は今回が初めてと言えます。

本モデルの重要なアイデアとして計算過程では、”顔全体を予測するための計算”を行う訳ではなく、下記のように”顔の各パーツの特徴量の相関係数を計算し再現する”ことで予測を行なっています。

これにより、顔の各パーツに特徴を精密に表現することができ、”似ている”人物像を作り上げることができます(パーツが似ている人を作るイメージ)。


7: 風吹けば名無し 2019/06/04(火) 13:22:33.86 ID:pQKROevL0.net

精度低い...


9: 風吹けば名無し 2019/06/04(火) 13:23:07.10 ID:kmGUVTGT0.net

こんなんほぼ正解だろ
https://i.imgur.com/x7prdjk.png


18: 風吹けば名無し 2019/06/04(火) 13:24:12.17 ID:3cWoDHS90.net

>>9
髪は予測できないぞ
髪は後付や


10: 風吹けば名無し 2019/06/04(火) 13:23:08.38 ID:pThrFV6b0.net

これって萌え声でも通用するんか


11: 風吹けば名無し 2019/06/04(火) 13:23:10.72 ID:p93NEbSGM.net

>>1
凄すぎやろ


13: 風吹けば名無し 2019/06/04(火) 13:23:14.94 ID:djQqNMRGa.net

似てないやんけ


14: 風吹けば名無し 2019/06/04(火) 13:23:22.04 ID:vifJ1Okzr.net

いや全然


17: 風吹けば名無し 2019/06/04(火) 13:23:48.60 ID:H5tuCr7G0.net

すごい


19: 風吹けば名無し 2019/06/04(火) 13:24:17.44 ID:kciXD2Lfr.net

アジアンってやっぱ白人と声違うよな


21: 風吹けば名無し 2019/06/04(火) 13:24:26.62 ID:spI4IYIgM.net

髪型やメイクまでは見抜けんからな
この精度はヤバすぎる


23: 風吹けば名無し 2019/06/04(火) 13:24:37.82 ID:nHuhjEHe0.net

すげぇ


26: 風吹けば名無し 2019/06/04(火) 13:25:15.48 ID:+hB727730.net

凄いな
釘宮の声から釘宮の顔が生成されるのか試してほしいわ


30: 風吹けば名無し 2019/06/04(火) 13:25:59.67 ID:xSjoGtjMd.net

サンプル白人に偏っていそう


32: 風吹けば名無し 2019/06/04(火) 13:26:15.02 ID:UrUXUufg0.net

ぜってー嘘だわ
似た声質で全然顔違うやつおるやろ


34: 風吹けば名無し 2019/06/04(火) 13:26:23.86 ID:y/3cvsjZ0.net

美形かどうか顔の系統は分かるな


35: 風吹けば名無し 2019/06/04(火) 13:26:33.82 ID:jym/Fzbm0.net

全くの別人で草


33: 風吹けば名無し 2019/06/04(火) 13:26:20.77 ID:g7AhWnxW0.net

みくさんで試そうぜ!!


元スレ: http://tomcat.2ch.sc/test/read.cgi/livejupiter/1559622084/


わんわん
はてなブックマークに追加する この記事をツイートする
Pocketに保存する この記事にコメントする

コメント

About

18歳未満の閲覧を禁じます。
このブログについて
RSS Twitter

音声作品ランキング

男性向けランキング 女性向けランキング

新作音声作品

男性向け新作 女性向け新作

DLsite

FANZA

注目記事








なんJ伝統の音声部

Amazon


Amazon タイムセール