mieki256's diary

要するに、wavファイルを読み込んで解析してタイミングを出していければいいんだよな。そのくらいならLLでやれるんじゃないかと。まずは wavファイルを読み込めないと話にならないなと。

Pythonの場合、どうも標準で wave というモジュール？ ライブラリ？ があるようで。ソレを使えば、wavファイルを読み込めるのかな。

_21.5. wave ・ WAVファイルの読み書き ・ Python 2.7ja1 documentation

実際に音を出したいときは、おそらく PyAudio というモジュールをインストールして使えばいいのだと思う。

_Python によるオーディオ処理 - Kaiseki
_[Python] Pythonで音楽再生 | wave, PyAudio | FiFiFactory Official Page

Rubyの場合はちと分からなくて。wavファイルを読み込めるモジュールが標準で入ってるわけではナサゲ。ググったところ、 _wavefile と、 _wav-file が公開されてるらしい。それぞれの違いはよく分からず。

母音を判別するのは、フォルマントとやらを抽出すればできるっぽい。が、そもそも日本のアニメの口パクって、母音に合わせて種類を作ってたかな、どうだったかな、という疑問が。

もし、口がパカパカ動くだけでいいなら、音量を調べて、口の種類をランダムに切り替えるだけでもそれらしく見えそうな。母音の解析までしなくていいんじゃないか。たぶん。

以下の記事で、日本のアニメの口パクについてまとめられていた。ありがたや。

_アニメーションにおける奥深き"クチパク"の世界
_WEBアニメスタイル ｜ 色彩設計おぼえがき［辻田邦夫］第46回　なぜか今週は「色」じゃなくて「口パク」のお話
_WEBアニメスタイル ｜ β運動の岸辺で［片渕須直］第76回　筆者多忙中につき
_平松禎史先生の「口パク話」 - Togetterまとめ
_WEBアニメスタイル ｜ β運動の岸辺で［片渕須直］第23回　ＡＢＣは知ってても
_listeningside sideA
_Flashアニメ作家・青池良輔の「創作番長クリエイタ」 (22) Flashアニメーションのキャラクターの口の動きを考える | マイナビニュース

欧米アニメの場合、6種類＋特殊な発音で数種類ほど口の形が用意されるらしい。AKIRAもプレスコだったので、基本は7種類あったという話で。もっとも、ちゃんとやろうとすると種類は増えて…。AKIRAに参加したアニメーターさんの話では、「馬鹿野郎」(「あああおう」)を表現するのに原画を22枚描いた事例が紹介されていた。

ただ、日本のアニメはそこまでやってなくて…。

日本の従来のやり方は、アフレコ録音で作画先行で、作画上では、

「閉じ口」
「閉じ口と開き口の中割り」
「開き口」

の3種類を作り、これら3種類をランダムに配置する、というものだった。例えば「1323121321231」というふうに。3枚の出現頻度は均等となるようにし、基本的に3コマ打ちで行う。

WEBアニメスタイル ｜ β運動の岸辺で［片渕須直］第23回　ＡＢＣは知ってても より

3種類をパカパカ切り替える、しかも3コマ撮りでいいなら、母音解析までしなくて良さそうだなと。音量を見るだけで全然イケそうな気がする。というか、エロゲがそういうやり方でやってるらしいから、そのほうが実績はあるのだろうと。

コンピュータが自動でリップシンクしてくれますよ、という話になれば、アニメだって、もしかするともっと口の種類を増やして発音にキッチリ合わせよう、という流れになったりするのかもしれない。

と思ったけれど、体が3コマ撮りで動いてるのに口だけ1コマで動いてたら、結構気持ち悪いんじゃないか、てな予感も。日本のアニメが3コマ撮りを基本にして作られてる限り、発音にキッチリ合わせて口を動かそうという話にはならないのではないか。たぶん。

ググっていて、 _3DCG界隈では自動でリップシンクするのが当たり前っしょ、 てな空気を感じたり。となると、手描きアニメ制作に3DCGのアレコレがもっと組み込まれていけば、演出家さんが口パクのタイミングをシートに書く作業に、それら技術が導入される可能性もあるんかなと。

演出家さんが、口パクタイミング抽出用の専用3DCGモデルデータ＋3DCGソフト＋プラグインを使ってタイミングを抽出するけれど。しかしソレを、「目視」と「手書き」で、タイムシートにわざわざ書き写す。そのタイムシートを受け取った撮影さんが、「目視」でシートを読みながらタイミングを合わせる、という光景になるのだろうか。なんじゃそりゃ。まさかね。そんなバカな。

タイムシートの共通デジタルフォーマットが存在してないので、何かツールを作っても狭い範囲でしか使われない、という状況がありそうな気もしてきたり。例えば、MMD界隈で誰かが趣味でゴイスなツールを作っても、その技術はアニメ業界に持っていけない。なぜなら、持っていくための共通・汎用フォーマットが無いから。

画像フォーマットも、動画フォーマットも、そこそこ普及したフォーマットはあるけれど。その中間に位置するフォーマットが普及してないことで、制作作業をしてる方々が不便な目に合ってるのかなあ、と思えてきたりもして。まあ、エンドユーザには関係ない話だし、制作作業をしている方々が不便を不便と思ってない節もあるので、どうでもいいことなのかも。