Geekなオヤジブログ

DeepSeek V4.1 Flash 1017（748B）を、Strataのエンジンを元にしたProject Mayaで、RTX 5090（32GB）とメモリ128GBのPCに載せ、Codex CLIの日常タスク21回にかけました。決まりどおりの25分では合格11回、考える量を減らすと18回でQwen3.8 Flash Nextと同点、打ち切りを50分にすれば19回。中身は良いのに、1回に10分以上考えて時間が足りません。遅いモデルに合わせて変えた評価の決まり（apply_patch）と、その影響も書きます。

NVIDIAのNemotron 3.5 Bolt（74B、アクティブ9B）を、EVO-X2（128GB）でSuper VLと同じ21回のテストにかけました。合格はUnsloth版（約5ビット）が21回中8回、量子化を前提に学習したNVIDIA公式の2ビット版が13回で、生成はSuperの1.8倍。最初のループの原因はLM Studioが自動でかける予備の設定（温度0.1・Repeat Penalty 1.1）でした。小さいモデルでも空きメモリが増えない理由も、メモリの分け方から説明します。

10月15日にNVIDIAが公開したNemotron 3.5 Super VL（120B、アクティブ12B、70GB級）を、EVO-X2（128GB）で9月のQwen3.8 Flash Nextと同じ21回のテストにかけました。合格は17対17の同点で、前の世代のNemotron 3 Super（7/21）から大躍進。モデル名を伏せた中身の採点はQwen 4.75対3.65で、判定器の数値も同じ向き。速さはNemotronが上で生成1.35倍、1タスク約9分、空きメモリ26GB以上。速い理由はMTPの先読み（採用率80%）でした。

公開されたばかりのFLUX 3 Image Kleinを、前回のQwen Image 2.1と同じ機械・同じ課題・同じ参照画像で比べました。参照10枚までの多参照は互角。差が出たのは参照5枚以上の「なじみ」で、2.1は背景の写真に人物を貼ったような絵になりがち、FLUX 3は背景を描き直して照明と影もそろえます。一方、「Tシャツだけ紺に」のように文で頼む修正で、頼んでいない所を元のまま保つのは2.1。速さは、1枚目までならFLUX 3、同じ文で何枚も作るなら2.1。FLUX 3にだけある「囲み枠」での編集も1枚試しました。

ローカルLLMをエージェントとして普段使いするために、「モデルを信用しない」環境を作り直しました。Codex CLIはインターネットにつながらないHyper-VのVMに閉じ込め、外へ出る道は自作の中継（門番）だけ。中継は許可したAPIだけを通し、トークンを付け、モデルも決め、画像生成はテンプレートの名前と値だけを受け取ってComfyUI（このPCかRTX 5090機）へ回します。なぜここまでやるのかを、私の意見3つ（量子化した人が信頼できるか分からない／安全なモデルでも事故は起きる／検閲を外したモデルは断らない）と、Claudeの反論で両論併記。GGUFのテンプレート汚染、量子化だけで悪くなるモデル、NCSCの指針などの一次資料も。

OpenAIとAnthropicの廉価版、GPT-6 LunaとClaude Haiku 5.5を、同じVM・同じCodex CLI・同じ判定器の21回で比べました。単価は入力$0.10・出力$0.50でまったく同じ。合格は判定器どおりでHaiku 19/21、Luna 12/21（質も考慮して18/21）。速さは中央値58秒で同じ、費用はHaikuが2倍（21回で約40円と約20円）。Claude Codeで回すとxhighで21/21の初の満点で、Codexのxhighが伸びなかった正体は会話の上限でした。ローカルの最良モデル（Qwen3.8 Flash Next 17/21、27B 19〜20/21）とほぼ並び、50万〜120万円の機械より月3,000円のClaude Proが現実的、という話です。