Nemotron 3 Superから見るBoltの圧縮と24GBの条件

2026年10月15日、NVIDIAはNemotron 3.5 Boltを発表した。大型モデルの能力をローカル環境へ持ち込むため、モデルの構造、重みの保存精度、生成方法をまとめて見直した製品だ。名前の「24GB」は、その設計目標を表す。NVIDIAの発表

旧Nemotron 3 Superと比べると、何を小さくし、何を残したのかが見えてくる。ただし、Boltの直接の親は同日発表の3.5 Super VLである。旧3 Superとの性能比較と、親モデルからの圧縮工程を分けて読もう。

旧3 Superと直接の親を分ける

3月11日発表の3 Superは、Mambaで系列を効率よく処理し、Attentionで文脈内の情報を参照する。MoEは入力ごとに一部のexpert（専門家ネットワーク）を選ぶ構成だ。LatentMoEはexpertへ渡す表現を低次元にして計算を抑える。この共通構造を基に、Boltが減らした計算量と保存容量を見ていく。3 Superの設計

小型モデルとしては3 Nano 30B-A3Bと3.5 Lightning 30B-A3Bもある。Nanoは総数30B・実際の稼働数3.5B、Lightningは30B・3B。小型モデルとの規模の違いを見るために、この2製品も比較に加える。Boltの総数74B・稼働9Bは両者より大きく、「24GBだから30B級より小さいモデル」とは読めない。

構造・保存精度・生成方法を変える

構造圧縮ではStar Elasticを使い、予算に合わせて各層のexpert数と中間幅を選ぶ。Boltではトークンごとに選ぶexpert数も22から9へ減る。その後の追加学習で視覚機能や道具利用などを整える。Boltへの適用

保存精度は部品ごとに変える。routed/shared expertのFC1・FC2はIQ2_XXSの2.0625bit/要素、Mambaの線形層はNVFP4、Attentionや埋め込みなどはQ8_0だ。モデル全体を一律2bitにしたわけではない。Boltモデルカード

QAD（量子化を考慮した蒸留）は、量子化した生徒モデルの出力分布を教師へ近づける学習だ。保存精度を落として生じるずれを補う。QAD自体は旧Nanoにも使われた技術で、Boltでは構造圧縮と約2bitのexpert量子化に組み合わせている。回復学習があっても、すべての能力が親と同じになるとは限らない。

LiLiCorrは生成時の工夫だ。並列に作った候補は、一つずつなら自然でも、つなぐと不整合になることがある。軽いネットワークで隣り合う候補の整合性を評価し、本体が受け入れやすい列を作る。最終的には本体が検証するため、先読みした候補がすべて確定出力になるわけではない。旧3 SuperにもMTPによる先読み生成があり、先読みそのものがBoltで初登場したわけではない。

24GBに含まれるもの

NVIDIAが推計した23.83GBは、テキスト推論、batch 1、文脈長131,072、Mamba prefill chunk 8,192という設定の値だ。技術報告のTable 2・§8.2では、次のように分けている。

合計は報告書の値を掲載した。丸められた小計を足すと0.01GBの差が出る。画像を扱うencoderとprojectorの1.68GBは合計から除外されており、OSや他のアプリを含めた24GB機器全体の使用量でもない。画像入力や長い文脈を使うなら、その条件で必要量を確かめる必要がある。

旧3 Superはエージェント能力を比べる相手、旧Nanoはローカルで使う小型モデルの容量を考える相手になる。ただし、公表されている容量の数値は種類が違う。次の表は必要メモリの順位表ではなく、それぞれ何が確認できるかを並べたものだ。

文脈上限も確認したい。モデルカード上は旧Superと旧Nanoが最大1Mトークン、Boltが256Kトークンだ。これらは仕様上の上限で、表の実行例やメモリ推計に使った長さとは異なる。Boltの23.83GBを、256K全体を保持する場合の容量へ流用することもできない。

旧3 Superより得意な評価、苦手な評価

旧3 Superとの比較は、同じ技術報告のTable 7に載る値を見る。以下はNVIDIAによる評価で、旧3 SuperはBF16、Boltは24GB量子化版。各指標の公表スコアを抜粋しており、異なる評価間で点数を足したり平均したりはしない。

Terminal-BenchやBrowseCompではBoltが高い。BrowseCompの評価にはExa検索APIを使っている。一方、AA-Omniscienceの正答指標とIFBenchの指示追従指標では旧3 Superが高い。Boltを使えば知識や指示追従まで一律に改善する、とは言えない。

この差には世代、学習、モデル構造、保存精度が一緒に影響している。旧3 SuperからBoltへの差を、量子化だけの効果として切り出すことはできない。使いたい仕事に近い評価を選び、その後に手元の入力で確かめる順序がよい。

生成速度と仕事の時間を分ける

NVIDIAの速度測定は、Surface Laptop Ultra 128GBのRTX Spark上でllama.cppを使用したものだ。BoltとLiLiCorrの組み合わせは、SPEED-Bench Codingで83.99 tokens/sec、AA-AgentPerf Localで再生時間600.80秒だった。24GB GPUでこの速度が出たという測定ではない。測定構成と比較表

tokens/secは生成の速さを表す。AA-AgentPerf Localは記録済みのエージェント処理を再生するベンチマークで、標準設定では道具の実行時間を飛ばす。600.80秒を、新しい仕事を自律的に解いて正解へ到達するまでの時間と読むことはできない。NVIDIAの表にはtool-modeの詳細も示されていない。

実際の仕事には入力の処理、道具の待ち時間、失敗後のやり直しもある。同じ機材で測った旧3 Superの速度はこの表にないため、旧世代から何倍速くなったかも算出できない。

ローカルで選ぶときの確認点

Boltのモデルカードが挙げるvLLM統合環境は、LinuxとNVIDIA Blackwell SM120・SM121だ。Windows上のllama.cppによる速度測定とは実行経路が異なる。24GB以上の容量があるだけで、どのGPUや実装でも同じ形式・機能を使えるとは限らない。Software IntegrationとQuick Start

まず確認したいのは、使う量子化形式、対応する推論実装、文脈長、画像の有無、同時処理数だ。公式モデルカードにはGGUF / llama.cppとModelOpt / vLLMの実行経路がある。重みが載るだけでなく、必要な機能と処理時間を満たすかを見る。

ローカルLLMを仕事へつなぐ観点は実用ローカルLLMの記事でも扱った。TensorFoldの記事では、学習済みモデルを動かす推論ランタイムと、先読み候補を本体で検証する仕組みを説明した。Boltはモデル自体の構造と保存精度も変え、回復学習を加える。先読みを検証することと、圧縮前の能力を保つことは分けて考えたい。

なお、4GB向けのBolt E4Bは10月23日の提供予定として発表されている。この記事の確認日である10月16日時点では、今回の24GB版と同じ公開済み製品として扱わない。記事中の数値は一次資料の公表値であり、LATENTによるモデル実行や実機測定は行っていない。提供予定の発表