配備先ごとにモデルを分ける
NVIDIAは2026年10月15日、Nemotron 3.5 Super VLとBolt 74B-A9B 24GBを公開しました。前者は視覚文書と多段階業務、後者はRTX・DGX Sparkでのローカル作業を対象とします。小型E4B 4GBは発表時点で10月23日予定です。
NVIDIA公式Hugging FaceでBoltのGGUF重みを確認しました。2ビット量子化による24GB設計ですが、全コンテキストやバッチで総メモリが24GB以下という保証ではありません。KVキャッシュと実行環境の追加分も必要です。
公開重みでも運用費は残る
データを外へ出しにくい組織には選択肢が増えます。一方、速度・精度は供給者の測定条件に依存し、GPU、電力、保守費が無料になるわけではありません。対象チェックポイントのライセンス、実行器互換性、長文メモリ、ツール成功率を小規模試行で確認しましょう。