Geekなオヤジブログ

動画生成AIは学習のしかた上、1回に出せる尺が短く(MiniMax H3は15秒)、短いクリップを編集でつなぐのが前提の道具です。つなぐ、タイトルを載せる、BGMを混ぜる、音量を揃える、1カットだけ差し替える、といった仕上げは編集ソフトの仕事。そこでClaudeにComfyUI(MiniMax H3)とDaVinci Resolve Studioの両方を操作させ、8カットの生成から、ディゾルブ・タイトル・BGM・ラウドネス正規化・1080p書き出しまでを自動で組ませました。完成した1分の短編、Resolveのスクリプティング APIでつまずいた5か所、H3の破綻(カップが分裂する、手が増える、屋台が2台になる、雨が止まらない)を撮り直しで直したプロンプトの書き方、そして「全カットをClaudeに目視させるといくらかかるか」の話です。

MiniMax H3の参照画像→動画(Ref2VA)で15秒を回すと、RTX 5090でも11分16秒。2026年8〜9月に出揃った高速化手法(Turbo 8-step LoRA、ComfyUI 0.35のBlock Sparse Attention、INT8 VAE、EasyCache)を同一シードで実測し、2分32秒(4.46倍)まで縮めました。標準テンプレのTurboで音が割れていた原因と直し方、1 stepごとの秒数、音声のtrue peak/LUFS、Whisper転写、同一シードのSSIM。さらに「速度以外に何を失うか」を、全力疾走+ジャンプの動画と5つの順序指示で検証。プロンプト追従は落ちず、ジャンプだけTurboが溶けました。

動画AI(LTX-2.3)に覚えさせた実写風のMZKVと線画のOYAJIくん。2つのLoRAを重ねて同時に出したら、部屋も彼女も漫画になりました。ところが画風の一文を外すと、重みは同じなのに全部実写に戻り、OYAJIくんは実写の男性に。18本の検証で見つけた「文が勝つ」「0.4と0.7の間で切り替わる」という挙動と、掛け合い動画をffmpegだけで合成した手順の小ネタです。

ブログのマスコット OYAJIくん(モノクロ線画)を、映像と音声を同時に生成する LTX-2.3 に覚えさせました。原画131枚の静止画LoRAで絵柄を、Qwen3-TTSで設計した声の口パククリップ36本で声を。顔認識も口検出も効かない線画で何を測り、どこで人間の目が要ったか。実写で効いたカメラ移動の手が線画では半分しか効かなかった話も、正直に書きます。

AlibabaのQwen3-TTSと日本語特化のIrodori-TTSを、漢字の読み(ASRで仮名CER)・自然さ(UTMOS+ブラインドA/B)・感情表現(F0の変化量)で数値化して比べました。読みはIrodori優位。自然さと感情は、エンジンの差ではなく「参照音声の性質」でほぼ決まっていた、という自分の耳の思い込みが覆った記録。音声サンプル付き。

日本語特化TTS「Irodori-TTS」を、GMKtec EVO-X2(Ryzen AI Max+ 395 / Radeon 8060S)の内蔵GPUでWindows ROCm nightlyを使って動かしました。torch 2.10の入手、無い依存パッケージ3つの回避、そしてMIOpenの失敗でデスクトップが2〜3秒おきに真っ暗になった事故と対処。推論4倍・学習7.7倍。同じStrix Haloユーザー向けのメモと、コーディングエージェントが必須だと思う理由。

前回作った音声つき動画キャラLoRA(LTX-2.3)には、正面しか向かない・カメラが動かない・キャプションが矛盾しているという弱点がありました。データだけを直して2回再学習し、何が直り、何が悪化し、なぜカメラだけは「書くだけでは直らなかった」のか。学習を2倍速くした設定と、1日2回まわせる運用も書きます。

画像生成AIで顔を、テキスト指示だけで声を設計し、映像と音声を同時に生成するLTX-2.3のLoRAに覚えさせました。32GBのRTX 5090で音声つき学習は回るのか、声は何ステップで乗るのか、自動検品が見逃して人間の目と耳が拾った3つの罠。規約調査から最適ステップの選定まで、全部書きます。