Geekなオヤジブログ

動画AI(LTX-2.3)に覚えさせた実写風のMZKVと線画のOYAJIくん。2つのLoRAを重ねて同時に出したら、部屋も彼女も漫画になりました。ところが画風の一文を外すと、重みは同じなのに全部実写に戻り、OYAJIくんは実写の男性に。18本の検証で見つけた「文が勝つ」「0.4と0.7の間で切り替わる」という挙動と、掛け合い動画をffmpegだけで合成した手順の小ネタです。

ブログのマスコット OYAJIくん(モノクロ線画)を、映像と音声を同時に生成する LTX-2.3 に覚えさせました。原画131枚の静止画LoRAで絵柄を、Qwen3-TTSで設計した声の口パククリップ36本で声を。顔認識も口検出も効かない線画で何を測り、どこで人間の目が要ったか。実写で効いたカメラ移動の手が線画では半分しか効かなかった話も、正直に書きます。

AlibabaのQwen3-TTSと日本語特化のIrodori-TTSを、漢字の読み(ASRで仮名CER)・自然さ(UTMOS+ブラインドA/B)・感情表現(F0の変化量)で数値化して比べました。読みはIrodori優位。自然さと感情は、エンジンの差ではなく「参照音声の性質」でほぼ決まっていた、という自分の耳の思い込みが覆った記録。音声サンプル付き。

日本語特化TTS「Irodori-TTS」を、GMKtec EVO-X2(Ryzen AI Max+ 395 / Radeon 8060S)の内蔵GPUでWindows ROCm nightlyを使って動かしました。torch 2.10の入手、無い依存パッケージ3つの回避、そしてMIOpenの失敗でデスクトップが2〜3秒おきに真っ暗になった事故と対処。推論4倍・学習7.7倍。同じStrix Haloユーザー向けのメモと、コーディングエージェントが必須だと思う理由。

前回作った音声つき動画キャラLoRA(LTX-2.3)には、正面しか向かない・カメラが動かない・キャプションが矛盾しているという弱点がありました。データだけを直して2回再学習し、何が直り、何が悪化し、なぜカメラだけは「書くだけでは直らなかった」のか。学習を2倍速くした設定と、1日2回まわせる運用も書きます。

画像生成AIで顔を、テキスト指示だけで声を設計し、映像と音声を同時に生成するLTX-2.3のLoRAに覚えさせました。32GBのRTX 5090で音声つき学習は回るのか、声は何ステップで乗るのか、自動検品が見逃して人間の目と耳が拾った3つの罠。規約調査から最適ステップの選定まで、全部書きます。

絵が描けないのでブログのマスコットをLoRAにしました。作って終わりにせず、40パターンの体系的検証→データセット修正→再学習で重度破綻率を20%→7.5%に。RTX 5090 + kohya_ss + Illustrious-XLでのキャラLoRA制作記です。

中年バツイチの哀愁を歌詞にして、MiniMax Music 3で楽曲、Flux.2+MiniMax H3(Ref2VA)で映像を生成。同じ歌詞のバラード版とロック版、2本のMVをローカル環境+Claude Coworkで1日で制作した全プロセスと、AIエージェントに任せられる範囲の実感を紹介します。