テクノロジー ローカルLLMのエージェントは「隔離+門番」で動かす──量子化した人が信頼できるか分からない、検閲を外したモデルは断らない。VMと自作の中継で組んだ構成と、私の意見・Claudeの反論
ローカルLLMをエージェントとして普段使いするために、「モデルを信用しない」環境を作り直しました。Codex CLIはインターネットにつながらないHyper-VのVMに閉じ込め、外へ出る道は自作の中継(門番)だけ。中継は許可したAPIだけを通し、トークンを付け、モデルも決め、画像生成はテンプレートの名前と値だけを受け取ってComfyUI(このPCかRTX 5090機)へ回します。なぜここまでやるのかを、私の意見3つ(量子化した人が信頼できるか分からない/安全なモデルでも事故は起きる/検閲を外したモデルは断らない)と、Claudeの反論で両論併記。GGUFのテンプレート汚染、量子化だけで悪くなるモデル、NCSCの指針などの一次資料も。