「好きな小説やゲームが映像化されたらいいのに」。誰でも一度は思ったことがあると思います。私の場合、その筆頭が『ファミコン探偵倶楽部 消えた後継者』でした。レトロゲームのレビュー記事で「筋金入り信者」だと白状したあのゲームです。小学生のときにディスク書き換えで遊んで震え、Switchのリメイクはコレクターズエディションで買い直しました。
そして2026年、動画生成AIは「参照画像を渡すと、その顔と場所で、日本語のセリフを喋る動画を作る」ところまで来ました。前回、MiniMax H3を自宅のRTX 5090で回せるようにしたあと、私は思ってしまったのです。自分で映像化すればいいのでは、と。
もう一つの動機は、もっと実務的です。1分のMVや短編は作ってきましたが、1時間を超える長編を作ろうとすると、何が壊れるのか、どこに手間がかかるのかが分からない。長い動画を通しで作ってみないと得られないノウハウがあるはずで、それを取りに行きたかった。題材は、自分が台詞を暗記するほど好きで、全体像を把握しているものがいい。それなら、あのゲームしかありません。
最初に、権利の話とお断り
作り始める前に、権利について調べました。ゲームのシナリオ、登場人物、セリフは任天堂の著作物です。それを元に映像を作って公開すれば、二次的著作物の公衆送信になり、権利者の許諾なしにはできません。ファン活動の一環と言い張れる余地はあるにせよ、原作のセリフをそのまま喋る「実写版」を無断で公開するのは、どう考えても筋が通らない。
そこで決めました。誰にも公開しない。自分ひとりで楽しむ。 私的使用の範囲に収める、というのがこの計画の設計条件です。生成した映像も、脚本も、使ったセリフも、このブログには載せません。
つまりこの記事には、肝心の「映画」が出てきません。出てくるのは数字と、手順と、失敗の話だけです。少し締まらない記事になることを、先にお断りしておきます(笑
何を、どう作っているか
Switch版のプレイ録画から始めて、次の流れで作っています。ゲームの文章を映像の脚本に直すところから、生成、検査、結合までを、Claude と私の二人で回しています。
| 工程 | 内容 | 担当 |
|---|---|---|
| 台本の抽出 | プレイ録画の画面から文章を文字認識で抜き、音声も文字起こしして突き合わせ | Claude |
| 脚色 | 原作のテキストアドベンチャーを、映像の脚本(シーン・カット・台詞)に直す。反復と空返事だけ整理し、話の順番と台詞は原作どおり | Claude が下書き、私が確認 |
| 人物と場所の「正典」 | 登場人物34名の顔と4面図、場所の参照画像を画像生成で作り、私が選ぶ | Claude が候補、私が選定 |
| 声 | 主要人物の声質を先に決めて参照音声にする | Claude が候補、私が選定 |
| カット表 | 1カット13秒以内、台詞1〜2ブロック、参照画像と話者を割り当て | Claude |
| 生成 | ComfyUI上のMiniMax H3(参照画像→動画)に順番に投入 | Claude(自動) |
| 検査 | 数値、画像、隣接カットの3層で不良を検出し、撮り直しを組む | Claude(自動)+ 私が最終確認 |
| 結合 | 採用テイクを並べて章ごとのプレビューに | Claude(自動) |
| 監督 | プレビューを見て、直すもの・許容するものを決める | 私 |
私の役割は、はっきり言って「監督」です。手を動かすのはほぼ全部Claudeで、私は上がってきた映像を見て「ここは直す」「ここは許容」と決める。この分担が、長編を回すうえでは決定的でした。1章あたり100〜200カットの生成を人間が一つずつ面倒みていたら、とっくに投げ出しています。
現在の進捗: 序章〜第2章、47分
序章から第2章までが完成しました。合計47分、377カットです。全11章プラス序章の構成なので、まだ4分の1にも届いていません。それでも、この3章分を作るのに、生成そのものは3日弱(61時間)しかかかっていません。RTX 5090が昼夜問わず唸り続けた結果です。
| 章 | 採用 | 生成(没テイク込み) | 生成÷採用 | 撮り直しのバッチ数 |
|---|---|---|---|---|
| 序章 | 45カット 6.9分 | 193本 32.9分 | 4.8倍 | 13 |
| 第1章 | 97カット 13.9分 | 235本 39.8分 | 2.9倍 | 13 |
| 第2章 | 235カット 26.5分 | 413本 46.3分 | 1.75倍 | 13 |
| 合計 | 377カット 47.3分 | 857本 122分 | 2.6倍 | — |
「生成÷採用」は、完成版の1分を作るために何分ぶん生成したかです。序章は試行錯誤の塊で4.8倍。第2章は、後述する検査と規則がそろってきて1.75倍まで落ちました。生成そのものの速さより、この倍率が下がることのほうが、長編では効きます。
初回生成の「要撮り直し」率も、第1章の46%から、第2章の前半で32%、後半で14%まで下がりました。同じモデル、同じマシンで、変えたのは書き方と検査だけです。
課題と、工夫したこと
長編を作って初めて分かったことを、効いた順に書きます。人物の名前や台詞は出せないので、少し抽象的な書き方になります。
1. 品質ゲートを3層にした
1章100カット以上を、全部人間が見るのは無理です。そこで検査を3層に分けました。
- 数値ゲート: 音声認識で台詞が台本どおりか(欠落、読み間違い、途中で日本語でなくなる崩れ)、声紋が参照音声と合っているか、画面の顔の人数、途中で別人に入れ替わっていないか。GPUで自動
- 視覚ゲート: 12コマの帯画像をClaude(Opus)に渡し、13項目(人数、正典との一致、衣装、髪、背景、視線、口の動き、変形、履物など)を0/1/2で採点。「1は許容、2だけ撮り直し、3回で諦める」
- 境界ゲート: 隣り合うカットの最終コマと先頭コマを並べ、場所・位置・小物・光・画角の連続を5項目で採点
視覚ゲートは最初、8コマの帯を小さなモデルに見せていましたが、私が指摘した19件の不良の大半を見逃しました。コマ数を増やし、手順付きのチェックリストを書き、モデルを大きくしたら、見逃しがほぼ消えました。検査は人間の目より甘くてもいいが、見る手順は人間より厳密でなければならない、というのが学びです。
2. 事後の検査より、最初から狙った画を出す
途中で方針を変えました。検査を厳しくするほど撮り直しが増え、総生成時間が伸びる。それより「最初から狙った画が高い確率で出る」書き方に投資したほうが得です。そこで、効くと分かった定型文をカット表からプロンプトへ自動で差し込むようにしました。
| 定型文 | 効果 |
|---|---|
| 「ちょうどN人。複製も、鏡やガラス越しの人物もいない」と断言 | 引きの構図で湧いていた「もう一人の主人公」が消えた |
| 聞き役は「台詞がなく、口を閉じたまま聞く」 | 相手の台詞を口パクする現象がゼロに |
| 一人カットは「カメラを横に置き、三分の一横顔で画面の左/右を向き、画面外の相手を見る」 | 向きの指定どおりに出る確率がほぼ100%、レンズ目線もほぼゼロ |
| 家の中は「全員靴下、靴もスリッパもどこにも無い」 | 参照画像の靴が室内まで引き継がれていたのが直った |
| 同じ部屋の連続カットには什器を列挙し「他は無い」 | 装飾の総入れ替えが止まった |
3. 小物や傷は、文章ではなく参照画像に描き込む
主人公は物語の途中で額に絆創膏を貼っています。これを文章で指定すると、42本中15本しか正しい位置に出ませんでした。頬に移る、髪の上に乗る、隣の人物に転写される。そこで画像編集モデルで顔の参照画像そのものに絆創膏を描き込んだら、全テイクで正位置になりました。モデルは「絵」を写すのは得意で、「文」を守るのは苦手です。同じ理由で、顔の参照画像の背景は無地にしました。背景付きの顔写真を渡すと、その背景が別の部屋に混入します。
4. 「撮れる構図」だけで脚本を切る
生成モデルには、得意な構図と壊れる構図があります。壊れる構図を脚本から追放しました。
- 家の中は台詞ごとの一人カット(壁を背に、床と開口部は画面外)。屋外と診察室は腰から上の二人カット(1カット1台詞)。この使い分けで、墓地の会話は26カット連続で人数・視線とも完璧でした
- 肩越しの構図は全廃。手前に肩を置くと、その肩とは別に本人が生えてきて複製になります
- 1カット内のカット割り(“then cut to”)は禁止。台詞と画が入れ替わるので、分割して2カットにする
- 床を映さない。畳や床が画面に入ると、脱いだ履物を描きます
- 心の声は、目だけの寄りではなく「小声でつぶやく」台詞にする。「唇を結んだまま」と書いても、口が映っていれば5本中4本が口パクしました。口が動いて正しい画にしてしまうのが確実です
5. 否定形と個数は通らない、肯定形は通る
第2章で一番はっきりした法則です。「窓や掛け軸は入れない」と書くと、名指しした物ほど出ます。「月は1つだけ」と書いたら3〜5個出ました。「前景に他人はいない」も無視されます。一方、「閉じた障子の前」「無地の壁が画面いっぱい」「窓の外は真っ暗で蛍光灯が点いている」「ちょうど2人」のように、画に写るものを肯定形で書いた指示は通ります。数を数えさせるのではなく、写るものを列挙する。
それでも余白があると窓や家具で埋めに来るので、最後の手は「顔が画面の大半を占める寄りにして、余白そのものを無くす」でした。3回目の撮り直しで7本中7本の背景不良が消えました。
6. 「直前カットの最終フレームから続ける」方式を検証した
同じ人物の切り返しなのに、カットごとに背景が変わる。これが第2章で最後まで残った課題でした。そこで、直前のカットの最終フレームを次のカットの先頭に固定する方式を、数値で検証しました。結果を要約します。
- プロンプトに「この画像が最初のコマ」と書くだけでは厳密には効かず(先頭コマの一致度0.4)、ComfyUIのAddGuideノードで0フレーム目に画像を刺すと厳密に効く(一致度0.96)
- 最終フレームを次々に渡す連鎖は3段で鮮鋭度が26%落ち、露出が暗くなる。超解像で復元しても色のドリフトは戻らない
- 代わりに、シーンと話者ごとに1枚のアンカーを決めて全カットの先頭に刺すと、深さが常に1なので劣化ゼロ、背景も構図も光も7本で完全一致
- ただしアンカーは先頭コマを固定するだけで、カットの途中で起きる色の変化(夕方の光で黒い服が茶色に転ぶ)は止められない
この「固定アンカー方式」は第3章から使います。同じ構図が続いて単調にならないか、という懸念は残っていて、第3章を見て続けるかどうか決める予定です。
7. 運用で痛かったこと
- 生成中に検査モデルをGPUに常駐させたら、VRAMが溢れて生成が2時間半止まりました。検査は生成の合間に別プロセスで、排他ロック付きで回すようにしました
- 長いバッチの待ち時間に4時間の上限を入れていたら、割り込みの小バッチで上限を使い切り、検査が半分にしか走りませんでした
- 「無地の背景版」の顔画像に切り替えたとき、絆創膏の定型文がファイル名の完全一致で判定されていて、第2章の間ずっと入っていませんでした(参照画像のおかげでほぼ正位置には出ていましたが)。名前で判定している規則は、派生名を増やしたら全部見直す
もし有償APIで作っていたら
さて、170万円の自宅AI環境です。この計画で元が取れるのか、計算してみました。
MiniMax H3の公式API(従量)は、2026年9月時点で768Pが1秒0.08ドル、2Kが1秒0.13ドルです。私が生成しているのは960×544なので、最も安い768Pの単価で換算します。没テイクを含む生成量は857本、122分、7,350秒。1ドル150円なら約8万8千円です。
| 項目 | 量 | 換算 |
|---|---|---|
| 序章〜第2章の生成(没込み) | 857本 / 7,350秒 | 約588ドル ≒ 8万8千円 |
| 同、電気代(RTX 5090 約40時間稼働) | 約24kWh | 約800円 |
| 残り9章の予測(1章20分×1.75倍) | 約315分 / 18,900秒 | 約1,512ドル ≒ 22万7千円 |
| 完成までの合計 | 約26,000秒 | 約31万5千円 |
完成しても、API換算で31万5千円。170万円の投資を回収するには、同じ規模の映画をあと4本作る必要があります(笑
もちろん、これは真面目な比較ではありません。有償APIには同じ参照機能があるとは限らず、撮り直しを1,000本近く投げる神経も要ります。逆に、ローカルには画像編集、音声認識、顔照合、検査の全部が同じ機械に乗っていて、それらは全部「無料」です。元を取る話ではなく、やりたい放題できる環境がある、という話だと思っています。電気代800円で3日間回し続けられるのは、精神衛生上とてもよろしい。
今後の予定
- 第3章から固定アンカー方式を導入します。カット表の段階でカメラ設定に名前を振り、アンカーを先に生成して確認してから、残りを固定して回す2段階です
- 漢字の読み間違いは、今は直しません。1章に数か所は必ず出ますが、直すたびに再生成が増えます。全章が完成したら採用カットを並べて、直せる範囲でまとめて直す予定です。アンカー方式で先頭フレームの依存関係ができるので、直す順番には気を使うことになりそうです
- 残り9章を、いまの倍率で回すと生成だけで8時間前後×9章。検査と撮り直しを入れて、1章あたり1日のペースが目標です
- 完成したら、DaVinci Resolveで音量と色を揃えて、テロップを載せて、私だけが観る上映会をやります
まとめ
- 生成AIで長編を作る本当の課題は「生成」ではなく「検査と撮り直しの回し方」でした。人間が全部見るのは無理で、3層のゲートを機械に回させる
- 効くのは肯定形の指示と参照画像。否定形と個数は通らない
- 撮れる構図だけで脚本を切る。壊れる構図は最初から使わない
- 先頭フレームの固定は効くが、連鎖は劣化する。アンカーは1段まで
- 有償APIなら完成まで約31万円。170万円の元は取れないが、電気代800円で3日回せる
何一つ見せられない映画を、私は今日も作っています。完成したら、感想だけは書きます(震え声
コメント