MetaHuman Animatorについて

MetaHuman Animatorについて

UnrealEngineに新機能「MetaHuman Animator」がリリースされました。
MetaHuman Animatorを説明するには、MetaHumanの機能を説明する必要があります。

MetaHumanとは
MetaHumanとは、UnrealEngineの開発元のEpic Gamesから提供されているサービスになります。
名前の通り、高性能な人型のキャラクターモデルを簡単に生成することができます。
生成したモデルは、UnrealEngine内であれば無償で使用可能です。

MetaHuman Animatorとは
MetaHuman Animatorはカメラの映像をもとにフェイシャルキャプチャデータを抽出し
そのデータをMetaHumanで再生することができます。
これだけだと簡単なように聞こえますが、本来はフェイシャルキャプチャのデータを利用するには
高額な機材、専用のライブラリが必要になります。
それを本機能では条件付きではありますが、無償で行うことができます。

ぜひ皆様も使用してみてはいかがでしょうか。

動画の音ズレはどうして発生するの?

iPhoneやAndroidのスマートフォンが普及して以来、スマートフォンのカメラを利用して写真や動画を撮る機会が年々増えてきた人も多いかと思います。
動画を編集する作業をしたことがある人なら、
「スマートフォンで撮影した動画をそのまま再生する分には問題ないけど、複数の動画を一纏めにしようと動画編集すると、なぜか音ズレが起こる」
という経験をしたことがある人も、中にはいるのではないでしょうか?

今回は、このような音ズレが発生する原因と、その解決方法についてご紹介していきます。

前提:フレームレートについて

音ズレの原因を解説する前に、動画とは切っても切り離せない関係の「フレームレート」を紹介します。
フレームレートは、「fps(frames per second)」の略称で使われることがほとんどで、「1秒あたりに表示される画像の枚数」を表したものになります。
そもそも、動画とは「複数の画像を連続で表示させたもの」であるので、このフレームレートが高ければ高いほど、一つの動画で使える画像の枚数が増える(=動画が滑らかに見える)ことになります。
一般的に、テレビやyoutubeなどで目にする動画は30fpsであることがほとんどです。

動画ファイルのフレームレートは2種類存在する

一般的にフレームレートと言っても、「固定フレームレート(CFR)」と「可変フレームレート(VFR)」の2種類が存在することはご存知でしょうか?

固定フレームレート(以降はCFRと表記)は、その名の通り、1秒間に表示される画像の枚数が一定値で固定されているものを指します。CFRの場合、30fpsと指定されている場合、どの区間においても必ず30fpsで動画が作成されます。

一方、可変フレームレート(以降はVFRと表記)は1秒間に表示される画像の枚数が定まっていない動画を指します。
例えば、
「区間Aでは動きが激しい描画が多いから、この区間ではフレームレートを増やして動きを滑らかに見せよう」
「区間Bではほとんど動きがないから、この区間はフレームレートを減らして動画ファイルの容量を削減しよう」
というように、動画の内容に合わせて適切なフレームレートを使い分けてくれるのがVFRの特徴です。

昨今のスマートフォンで撮影された動画は、VFRであることがほとんどです。

動画の音ズレはどうして発生するの?

ここからが本題で、音ズレが発生する原因は、動画のフレームレートがVFR(可変フレームレート)である場合が多いです。
VFR形式の動画は、動画再生ソフトでは音ズレなく再生できているように見えますが、動画編集ソフトなどで読み込みを行うと音ズレが発生してしまいます。
これは、動画編集ソフト側がVFR形式の動画に対応しておらず、無理やりCFR形式として読み込もうとして発生してしまう事象です。

もう少し詳しく解説します。
VFR動画の「画像」と「音声」を、以下のように切り分けたとします。

VFR動画
画像:\-\-\‐\-\‐\ー\-\―\-\-\-\-\-\-\―\-\‐\-\―\-\
音声:\-\-\‐\-\‐\ー\-\―\-\-\-\-\-\-\―\-\‐\-\―\-\

上記のVFR動画で、”\”区切りで記載されている”-“や”ー”が、1フレームの表示時間となります。VFRは可変フレームレートなので、1フレームが長い部分は動きがない部分、逆に短い部分は動きがある部分と捉えていただけたら大丈夫です。

このVFR動画の内容をCFR動画に変換し、1フレームレートでの表示時間をすべて一定化すると以下のようになります。

CFR動画
画像:\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\
音声:\-\-\‐\-\‐\ー\-\―\-\-\-\-\-\-\―\-\‐\-\―\-\

パッと見でもわかるように、画像の表示時間と音声の再生時間に大きな差が出てきていますね。これが音ズレの原因となります。(図で表示するとかなりずれ込んでいるように見えますが、実際にズレてくるのはごくわずかです)
フレームレートはあくまで動画(画像)の表示方法であり、音声には反映されないため、動画編集ソフトを介するとこのような音ズレが起こります。(こんな感じの説明で理解できるでしょうか。。?)
ちなみに、動画再生ソフトのほとんどがVFR形式の動画に対応しているため、音ズレなく再生できます。逆に、動画編集ソフトの大半はVFR形式に非対応のため、VFR形式の動画ファイルは編集に不向きな動画と言えますね。

どうやったらCFRかVFRか分かるの?

基本的に、動画ファイルのプロパティからではCFRかVFRかの判別は不可能です。
撮影した動画がVFRかを判断するには、「MediaInfo」等のファイル解析ソフトを利用する必要があります。

せっかく撮影した動画がVFR形式だった!

これまでに解説した通り、VFR形式の動画だと動画編集で利用するときにかなり不便を感じるかと思います。
では、VFR形式の動画が全部編集で使えないのか?と聞かれるとそんなことはありません。いくつかの対応方法を紹介します。

①事前にVFR形式の動画をCFR形式に変換する
VFR形式の動画を予めCFR形式に変換して動画編集ソフトに読み込ませると、上に挙げたような音ズレはなくなります。
フリーソフトの「Hand Brake」や「AviSynth」などを活用すれば、CFR形式の動画に変換できるので、お手軽に試せる手段でもあります。

②動画編集ソフト側にVFR形式の動画を読み込めるよう設定を行う
フリーの動画編集ソフトである「AviUtl」では、特定のプラグインをインストールすることでVFR形式の動画を読み込むことができるようになります。
ただし、対応しているソフトが極端に少ない(筆者が調べた限り、情報が出たのはAviUtlのみでした。。)ので、こちらの手順よりは前述した①の手段のほうが確実といえます。

 

今回は、「動画の音ズレ」という少しマニアックな問題について解説させていただきました。
皆さんも、動画編集を行う際にはフレームレートの種類に気をつけてください!(筆者は動画編集が終わったあとに完成品を検閲して何度かやらかしてます汗)