焦点距離シミュレーターで​MVの​プレビズを​作る​（Pulse-Width Knob メイキング）

「Pulse-Width Knob」という曲のMVのプレビズを、焦点距離シミュレーターで組んだ。曲はSunoで作ったインスト曲で、このプレビズを参照動画にしてRunwayのSeedance 2.5で生成した。

シミュレーターは本来、人物とカメラを1つずつ置いて画角を確かめる道具だが、そこにClaude Codeを組み合わせると、扱える量が一気に増える。今回のプレビズは部品が約2,000個ほどあり、そのうち人と車の約300個が、それぞれの経路に沿って動く。手でキーを打ってられない量。

シミュレーターのシーンは、部品の位置やカメラのキーを並べたJSONファイルとして保存できる。このファイルをClaude Codeにスクリプトで記述させる。

ざっくりとした構成。

1. 曲の波形から、拍の位置と、低音・中音・高音それぞれの音量の変化を取得する
2. 拍の位置にキーを打ったシーンファイルを、クリップごとに書き出す
3. ヘッドレスのChromeでシミュレーターを開き、各ファイルをMP4に書き出す
4. 速度の変化やスリットスキャンをかけ、曲の音と合わせて1本に編集する

AIで特有の映像にするために..

元のシミュレーターでは、部品は床の上で位置・向き・大きさを変えられるだけだった。実写では撮れない映像を作りたかったので、今回のMVに合わせて機能を足した。

• 部品の編集欄に「浮かせる (m)」「前後に傾ける (°)」「左右に傾ける (°)」を追加した。どれもタイムラインのキーで動かせる。傾きは部品の根元を軸に回り、360°を超えて回すこともできる
• 主役・通行人・車の移動経路に高さを持たせた。空中を歩く人、空を走る車、宙に止まった群衆が作れる
• 部品に、つまみ・球・輪・階段・枠を加えた。つまみは、ジャケットに描かれているシンセのつまみをそのまま形にしたもの

これまでに保存したシーンファイルは、そのまま開ける。新しい値がないときは0として扱う。

8本のクリップ

曲名のPulse-Widthは、シンセで波の幅を変えるつまみのこと。これを映像のルールにして、つまみを回すとレンズの焦点距離も、建物の幅も、重力も変わる世界にした。

Seedanceは1回に15秒までしか生成できないので、プレビズも小節の区切りで8本に分けた。

#	曲の時間	内容
1	0:00–0:13	青い平面から白い柱が1本ずつ生える。見上げると、街がまるごと逆さまに空からぶら下がり、その上に巨大なつまみが浮かんでいる。主人公の周りでは、人と柱を並べたゾートロープのリングが回る
2	0:13–0:25	ビルの長さが拍ごとに切り替わって矩形波になる。通行人とベンチと植え込みは1拍おきに跳ね、上の車線では車が空中を走る。街灯だけが動かない
3	0:25–0:32	主人公は巨大なつまみの上に立ち、つまみと一緒に街が回る。回るほど遠心力でビルが外へ傾いて浮き上がり、家具も回りながら浮く。静かになった瞬間に全部落ちる
4	0:32–0:45	前半は主人公の出ないドローンショット。上空70mから塔のあいだへ降り、ビルが倒れる瞬間を真上から見る。後半は1小節ごとに18⇄200mmのドリーズーム。倒れたビルは宙で回り、奥のビルは通りに覆いかぶさってアーチになり、階段が空へ伸びる
5	0:45–0:51	120m先から600mmで、主人公の後ろに並んだ輪がトンネルに見える。ベースが抜けると、ビルも人も家具も上に向かって落ちていく
6	0:51–1:04	ビルの高さを曲の音量で動かす。宙に浮いた球・輪・つまみ・ソファは高音に合わせて上下する。1小節ごとにカットし、2カット目は45m後ろの上空から彼女の肩越しまで1小節で急降下する
7	1:04–1:18	カメラは止まらず回り続け、足元の世界だけが小節ごとに入れ替わる。逆さまの森、海に立つビル、無重力の居間、ミニチュアの街、高さ200mの柱、階段がらせん状に伸びる巨大なつまみ
8	1:18–1:32	無音の間、主人公と群衆と家具が宙に浮いて止まり、150m先から600mmで360°回り込む。最後の一発で重力が戻って全部が落ち、街が地面から一気に立ち上がる

次はSeedanceでレンダリング

プレビズはここまで。次は各クリップを深度マップにしてSeedanceに渡し、人物の参照画像とプロンプトを添えて生成する。

焦点距離シミュレーターは、1枚の構図を確かめる道具として作った。Claude Codeにシーンを書かせると、同じ道具で92秒ぶんの、拍に同期した2,000個の部品まで扱える。AIに「こう撮って」と言葉で頼むより、動きそのものを渡せるのがいちばんの利点だと思う。