実写LoRAと線画LoRAを重ねたら、世界ごと漫画になった──犯人はプロンプトの一文でした(小ネタ)

ここまでで、動画AIに覚えさせた登場人物が2人になりました。実写風のMZKVと、線画のOYAJIくん。どちらもLTX-2.3のLoRAです。そうなると素朴な疑問が湧きます。2人を同時に出せるのか。 実写の世界に線画のOYAJIくんが現れる、あの絵が作れるのか。

Claudeに聞くと「LoRAは場所を選べないので、重ねると混ざるはず」との予想でした。やってみたら、予想は半分当たり、半分外れました。短い記事ですが、結果が面白かったので小ネタとして残します。

まず結果をどうぞ
18本で確かめた
掛け合いは、別々に作って重ねる
人間がやったこと、AIに任せたこと
まとめ

まず結果をどうぞ

2つのLoRAを両方とも強度1.0で重ね、「左にMZKV、右にOYAJIくん(白黒の線画)」と書いて生成したものです。

両方1.0。部屋も彼女も漫画になりました。ただし眼鏡・髪・顔立ちはMZKVのままで、漫画化されたMZKVとして認識できます。声も彼女の声のまま

世界ごと漫画です。ここまでは予想どおり。面白かったのは次です。プロンプトからOYAJIくんの画風の一文(a black-and-white line drawing with bold ink lines and no color)を外し、トリガー語だけにして、LoRAの強度は両方1.0のままで同じseedを回しました。

画風の一文を外しただけ。LoRAの重みは同じなのに、場面は実写に戻り、OYAJIくんは眼鏡をかけた実写の男性になりました。OYAJIくんではありませんが

つまり「線画LoRAの重みが世界を平らにしていた」のではなく、「白黒の線画」というプロンプトの一文が、LoRAを通じて場面全体のスイッチになっていたわけです。

18本で確かめた

同じ場面・同じseedで、プロンプトの文と強度だけを変えて18本作りました。判定は画面の左半分(彼女)と右半分(彼)を別々に、画像埋め込み(CLIP)で「写真か、線画か、カラー漫画か」の確率を出し、左は顔認識でMZKVとの一致、右は原画との近さでOYAJIくんらしさを測っています。

上から、両方1.0で画風文あり(全部漫画)、画風文なし(全部実写)、「A photograph of MZKV」+OYAJI 0.4(最適解)、「ステッカーとして貼られた」と書いた版

条件(MZKV / OYAJIの強度)	左半分が写真の確率	左の顔一致	右半分	右のOYAJIらしさ
1.0 / 1.0、画風文あり	0.00	0.12(顔として検出できず)	線画〜漫画	0.89
1.0 / 1.0、トリガー語だけ	0.99	0.83	写真 0.96	0.62(別人)
1.0 / 1.0、彼女に「photograph」を足す(画風文あり)	0.00	0.18	線画	0.91
1.0 / 1.0、「ステッカーとして貼られた線画」	0.78	0.78	漫画	0.88
1.0 / 0.7、画風文あり	0.00	0.26	線画	0.88
1.0 / 0.4、画風文あり	0.91	0.83	線画(Tシャツが白に)	0.83
1.0 / 0.2、画風文あり	0.99	0.83	線画(白いTシャツのまま)	0.79
「photograph」+ 1.0 / 0.4	1.00	0.89	線画	0.85
1.0 / 0(OYAJIは文だけ)	1.00	0.84	線画(一般的な男)	0.74
0 / 0(LoRAなし)	0.97	0.48(一般的な女性)	線画(一般的な男)	0.79

分かったことは3つです。

文が勝つ。 彼女に「A photograph of」を足しても、彼の画風文が残っていれば全部漫画です。「白黒の線画」の一文は「写真」の一語より強い。
強度にはしきい値がある。 OYAJIを0.7に下げても全部漫画のまま、0.4で初めて彼女が実写に戻ります。徐々に混ざるのではなく、0.4と0.7の間で場面ごと切り替わる。
実写と線画の同居は、素のLTX-2.3ができる。 LoRAなしでも「実写の女性と線画の男」は出ます。LoRAを重ねて壊れたのは、線画LoRAが画風の一文に強く反応するように育っていたからです。

OYAJIの強度を1.0 → 0.7 → 0.4 → 0.2 → 0と下げたときの同じフレーム。0.7までは彼女も漫画、0.4で実写に戻ります。代わりに0.4から彼のトレードマークの黒Tシャツが白くなる。同一性の数字より先に、服が崩れます

同じことをグラフに。彼女の「写真である確率」は0.4と0.7の間で崖のように落ち、彼のOYAJIらしさは強度とともにゆっくり上がる

一発生成の最適解は、彼女に「A photograph of」を付け、OYAJIの強度を0.4にするでした。彼女は実写のまま顔の一致0.89、彼は線画のままOYAJIらしさ0.85です。ただし代償があって、彼の黒Tシャツは白いTシャツになります。強度を下げると、顔より先に服が抜ける。

「A photograph of MZKV」+ OYAJI 0.4。実写の部屋に線画のOYAJIくん。1回の生成で、声も彼女のものです。Tシャツは白くなりました

なぜMZKVの特徴は漫画化しても残るのか。彼女のLoRAが覚えたのは、素のモデルが得意な「実写の日本人女性」の中での顔の骨格・髪・眼鏡・声で、描き方そのものではありません。構造の差分は、レンダリングが漫画に変わっても生き残ります。一方OYAJIくんのLoRAは、167サンプル全部が線画で、毎回キャプションに「白黒の線画」と書いてあった。だからその一文に反応して画面全体を平らにする方向に育った。そう解釈しています。

掛け合いは、別々に作って重ねる

同じ画面に出せることは分かりましたが、2人が順番に喋る掛け合いは一発生成では難しい。そこで、それぞれ別に生成してffmpegで重ねました。

MZKV「今日は特別なゲストがいます。隣の彼を紹介します」→ OYAJIくん「どうも、ギークオヤジです」。2人の台詞は音声認識で全文一致。編集ソフトは使っていません

手順は3つだけです。

素材は4本。 彼女の台詞入り、彼の台詞入り、それぞれの「無言で聞いている」クリップ。無言クリップは、台詞クリップの最終フレームを種にして生成すると、カットの前後で姿勢がつながります。
線画の切り抜きは輝度で。 白背景の黒い線なので、枠に接している白を透明に、線で囲まれた白(顔や手)はそのまま残す、という塗り分けだけで「ステッカー」として写真に載ります。クロマキー不要。
音声は喋っている側だけ。 区間ごとに、喋っている側のクリップの音声を採用して連結します。

ひとつだけ罠がありました。彼女の無言クリップを「隣の誰かの話を聞いている」と書いたら、その誰かが画面右から本当に登場しました。実写側で「誰か」を書くと描かれます。「She is alone in the shot」と書き直して解決。

ちなみに、実写の写真に線画を貼り込んだ合成画像を種にして、両方のLoRAを載せて動かす方法も試しました。こちらも実写と線画は崩れず、彼女は喋り、彼は手を振ります。

合成した種画像から生成。種画像が構図と画風を固定してくれるので、LoRAは動きと同一性だけを補います。ただし彼はあまり動きません

人間がやったこと、AIに任せたこと

工程	人間(私)	Claude Code
発端	「2人同時に出せる?」「なぜOYAJIくんは実写に寄らない?」	3つの仮説と18本の検証設計、左右半分の自動判定
判断	「仮説検証してみよう。小ネタでも記事に」	生成・計測・表とグラフ、掛け合いの合成ツール

今回の私の仕事は、素朴な疑問を投げただけです。Claudeの最初の説明は「線画→実写は難しい方向」でしたが、検証したら否定されました。AIの説明は、実験で確かめるまでは仮説です。 20秒で1本作れる環境なら、確かめる方が早い。