焦点距離シミュレーターの​プレビズから、​AIで​MVを​作った​メイキング

前回の記事で組んだプレビズを、RunwayのSeedance 2.5に渡してMVにした。曲はSunoで作ったインスト曲「Pulse-Width Knob」。

プレビズを深度マップにして渡すと、構図とカメラの動きはほぼそのままで出力される。夜の街の質感や人の動きはプロンプトで制御している。

深度マップを渡すと、構図とカメラはほぼそのまま出る

Seedance2.5には、プレビズを深度マップにした映像を参照動画として渡した。これに主人公の全身と顔の画像、群衆の画像、各クリップの最初のコマを添えて、720p・16:9で生成している。1回に作れるのは15秒までなので、クリップごとに7〜15秒で作った。

ドローンが塔のあいだへ降りる高さも、倒れるビルの向きも、1.6秒ごとのカットの切り替えも、プレビズどおりに出力された。

プレビズと本編を同じタイミングで重ね、縦の線で切り替えて見比べられる動画も作った。線の左がプレビズ、右が本編になる。

人物の歩き方動き方

歩き方は、深度マップの人形の動きがそのまま映る事がわかった。プレビズの人形がカクカクでぎこちないと、生成された人もカクカク歩く。シミュレーターの人形に膝・足首・肘の関節と、骨盤の上下、体重移動、腕の振りを足すと、横から撮った歩きはまぁまぁ自然になった。

ただ、正面からカメラに向かって歩いてくる人は、深度マップの上で形がほとんど変わらなかった。手前に滑ってくる板のように見えて、生成しても歩きが固くなったので今回はボツ！

空間を歪めるシーンは、プレビズがとても便利

0:13〜0:38の3カットは、街そのものをダイナミックに動かしている。

• 0:13〜0:25：大通りの床が1拍ごとにねじれながら持ち上がり、建物ごと頭上へらせん状に巻き上がる
• 0:25〜0:32：真上から見た、すり鉢状の街。段ごとに逆向きに、ダイヤルのようにカチカチ回る
• 0:32〜0:38：宙に止まった瓦礫が吸い寄せられ、ビルが下から組み上がる。爆発を逆再生した街に、ドローンが飛び込む

床がねじれる角度や、段ごとに回る速さは、プロンプトでは伝わりにくい。プレビズで動きそのものを渡せば、AIはそこに夜の街の質感をのせてくれて便利。すり鉢の街と逆再生の街は、最初のコマの静止画も別に作り、深度マップと一緒に添付している。

まとめ

プレビズを深度マップで添付する手法は、構図とカメラワークを伝える手段としてかなり強力で便利だった。質感と動きはAIに任せられて、人の動きも、姿勢や速さまで数字で書けばある程度は従ってくれる。

シミュレーターで動きを決めて、レンダリングはAIに任せる手法なら、実写では撮れない映像でも、狙ったカメラワークのまま作れて便利だと思えた。