技術・研究 · · Team LATENT
Anthropicの蒸留防御は何を守るか：推論の持ち出しと開発への影響
Claudeの推論を別モデルの訓練へ使う経路を、移動制限・分類器・利用制限で抑える。90〜99%減の対象、全文と要約の比較、正規のエージェント開発に生じる制約を一次資料から読む。
高性能なAIに大量の問題を解かせ、その回答を別のAIの教材にする。こうした学習は「蒸留」と呼ばれる。提供元のモデルの重みを入手しなくても、出力から能力の一部を学べる。
Anthropicは2026年10月12日、Claudeの推論を無断で大量収集する行為への防御を報告した。注目したいのは、推論を読む会話・モデル・組織を制限する設計だ。抽出を難しくする一方、正規のエージェント開発でも会話履歴の扱いを変える必要が生じている。
この記事の要点
- 防御の主な対象は、別モデルの訓練に使う推論全文の収集だ。Anthropicは推論の移動制限、抽出要求を検知する分類器、利用制限やアカウント停止を組み合わせている。
- 90〜99%減は、自社プラットフォーム上で抽出された推論トークン量の推定値だ。全文と要約を教材にした別実験では、学習後のモデルのSWE-bench Verified成績が80.4%と71.8%だった。
- 長期の防御効果と他社経由の収集への効果は確定していない。対象モデルで過去の推論を再利用する開発者には、履歴の編集に制約がある。推論を破棄すると出力トークンや待ち時間が増え得る。
教師モデルから蒸留先へ渡るもの
重みの受け渡しを伴わない、出力を使った学習の概念図
1 教師モデル
利用者が問題を送る → Claudeが推論し、回答を生成する。
2 集めた出力
問題＋回答、入手できれば推論全文 → 学習用のデータにまとめる。防御は特に推論全文の収集を抑える。
3 蒸留先モデル
集めたデータで学習 → 教師に似た解き方を身につける。教師の監視や利用停止の仕組みは自動では移らない。
蒸留では出力が次のモデルの教材になる
蒸留の基本は、教師モデルの振る舞いを学習の手がかりにすることだ。Hintonらの2015年の論文では、複数モデルの知識を扱いやすい一つのモデルへ移す方法を示した。従来の蒸留では予測の確率も教材になる。今回の報告が扱うのは、主にAPIから得た回答や推論の文章を使う蒸留だ。
たとえばコード修正なら、完成したパッチだけを教材にする方法がある。調査した箇所、試した案、修正に至った手順も得られれば、学習用データは詳しくなる。ここでいう推論は、モデルが回答前に生成するテキストの記録だ。モデル内部で起きた計算を余さず説明する記録と同一視はできない。
蒸留自体は、モデルを小さくして使いやすくする学習手法でもある。今回Anthropicが問題にするのは、提供元の許可なく能力を模倣するための大規模な収集だ。同社は不正アカウントを使う活動を報告し、能力が移っても同程度の安全対策が整わないことを懸念している。すべての蒸留を一律に不正と呼ぶ定義ではない。
要約だけでは残った推論の抽出経路
推論の要約を返せば、通常の応答を集めるだけの蒸留では、教材の情報量を減らせる。しかし、サービスが会話の続きを処理するために保持する推論と、画面に表示する要約は別のデータだ。利用者に全文を見せなくても、次のリクエストで推論を再利用する経路は残る。
原文がリンクする8月の論文「Stealing Reasoning Traces from Proprietary LLM APIs」は、この再利用を調べた。研究者は、暗号化された推論ブロックを別の会話や防御の弱いモデルへ渡せる互換性を利用した。暗号鍵を解読したのではなく、推論を読めるサービス側のモデルに文章として出させる攻撃だった。
論文の試験期間は2026年7月初旬で、著者らは責任ある開示の後に同じ攻撃を実行できなくなったと報告する。抽出された全トークンの忠実性も、元の平文を参照できないため完全には検証できていない。現在のAPIでも同じ攻撃が使える、という証拠として読むことはできない。
三つの防御が制限するもの
第一の防御は、推論をどこへ渡せるかの制限だ。preserved thinkingでは、返送された推論ブロックの署名を検査する。モデルの互換性と生成時の会話文脈を確かめ、一部のモデルでは生成元のアカウントとの対応も制限する。画面に見える回答を読むことと、保護された推論を再利用することは区別される。
推論を再利用する三つの条件
概念図。適用範囲と処理はモデル・APIの仕様によって異なる
会話の条件
生成時のsystem、tools、先行messagesを保持する。先行する内容を変えると、後の推論ブロックが無効になり得る。
モデルの条件
別のモデルへ切り替えても、すべての推論が読めるわけではない。読めないブロックはAPIが除外する。
組織の条件
Sonnet 5.5などの推論は、生成元または関連づけられたアカウントで再利用する。他のアカウントから送ると除外される。
会話文脈の検査は、対応するモデルを使う新規APIアカウントで既定となる。公式文書は2026年8月31日00:00 UTC以降に作成されたアカウントを対象としている。元の推論を保持したまま過去の指示だけを書き換える操作と、末尾に新しい指示を加える操作では、扱いが違う。
第二の防御は、推論を抽出する要求の検知と修正の継続だ。Anthropicは二段階の分類器を使い、社内外の担当者が回避を試すレッドチーミングも実施したと述べる。別言語への翻訳やタグ内への書き出しなど、観測した抽出手法への対策を更新している。
設計の背景にあるConstitutional Classifiers++は、軽い検査で全体を調べ、疑わしいやり取りだけを高コストの検査へ送る。回答だけでなく質問と回答の組を調べるため、前後関係で意味が変わる表現も判断材料になる。1月の論文は有害な回答を引き出す攻撃への研究であり、10月の防御と細部まで同じ実装だとは示されていない。
第三の防御は、繰り返し試す負担を増やす運用だ。同社は継続的な抽出要求に利用制限やアカウント停止を適用する。9月24日からは、蒸留など誤検知率0.1%未満とする特定領域で、応答前に遮断されたリクエストへの課金も再開したと報告している。
10月12日の報告は、二段階分類器の適用先をClaude Sonnet 5.5、Opus 5と5.5、Fable 5と5.1としている。同程度に蒸留の対象となる将来モデルへの適用は計画だ。すべての旧モデルや外部の提供経路に、同じ防御が導入済みだとは述べていない。
Constitutional Classifiers++の二段階構成
三つの数値を別々に読む
減った抽出量、学習後の成績、誤検知
対象も比較条件も異なる、Anthropicの三つの報告値
推論の抽出量
90〜99%減。同社プラットフォーム上で蒸留者が取得したと推定する推論トークン量の導入前後比較。
教材を変えたモデルの成績
80.4% → 71.8%。Opus 4.8の推論全文と要約を使った別々の学習条件で、SWE-bench Verifiedを比較。
正規利用への誤検知
0.1%未満。抽出を検知する防御が無害な要求を誤って扱う割合として同社が報告した値。
抽出量の比較では、分類器の導入後に推論トークン量が従来の10分の1〜100分の1程度になったと同社は述べる。観測先は自社プラットフォームであり、他社のクラウドや別モデルも含む総収集量ではない。少なすぎて測定できない日があったという説明も、抽出が完全にゼロだったことを証明しない。
教材の比較では、事前学習済みのClaudeモデルを、Opus 4.8の記録で追加学習している。推論全文を使う条件で80.4%、要約を使う条件で71.8%だった。SWE-bench Verifiedは実際のソフトウェア課題を解く評価だが、この報告だけでは学習データ量、学習計算量、試行間のばらつきなどを十分に追えない。あらゆる蒸留で同じ差が出るとは言えない。
誤検知率0.1%未満は、無害な要求への影響に関する値だ。攻撃を見逃す割合とは異なる。公開報告は、蒸留防御の推定手順や評価標本を独立に再計算できるほど詳しく開示していない。数値は同社の報告として受け取り、観測範囲の外へ広げない読み方が必要になる。
背景の1月論文にある40倍の計算費用削減や0.05%のフラグ率も、今回とは別の評価だ。40倍は、やり取りを一段階で検査するexchange classifierとの比較を指す。攻撃への耐性は、化学・生物・放射性物質・核兵器に関係するCBRN分野の課題で評価した。一方、0.05%は本番通信を実際には遮断せずに調べた際の、通信全体に対する検知の割合だ。蒸留防御全体の費用や誤検知を測ったものではない。
正規のエージェント開発に生じる変更
会話のたびに日時や現在の作業状態をsystemへ書き直す実装を考える。推論ブロックを保持したまま生成時の先行文脈を変えると、文脈の検査に失敗することがある。公式文書は、履歴を受け取った形で保持し、新しい情報を末尾へ加える方法を案内している。モデルが対応する会話途中の指示・ツール変更機能も選択肢になる。
文脈が一致しない場合、Messages APIでは既定で400エラーになる対象がある。対応する設定のdrop_blockを使えば、該当する推論を除外して続行できる。ただし、モデルや組織の不一致、署名の破損は同じ扱いではない。Batch APIにも既定動作の違いがあるため、すべての失敗を一律に再送する実装は避けたい。
推論を除外すると、モデルは以前の推論を作り直すことがある。公式の複数ターンのコーディング評価では、max effortでセッション中に一度除外すると出力トークンが20.1%増えた。初回の後に毎ターン除外する条件では67.1%増だった。これは特定の実行環境での例で、防御導入後の全利用者の料金増を表す数字ではない。
実装を点検するなら、会話履歴を保存し直す処理、モデル切替、ツール定義の変更を確認箇所にできる。署名を含む空のthinkingブロックを省略していないかも関係する。変更前後を自分の課題で比較し、完了率、出力トークン、待ち時間を測る必要がある。ここではそのAPI実験を実施していない。
回避と長期の効果に残る限界
Anthropicは数万の関連アカウントを停止し、活動開始から2時間未満で停止した例も多いと報告した。一方、効果がどのくらい続くかは分からず、高度で執拗な回避の試みはまだ観測していないとも述べる。9月に報告した手法を検知できることと、未知の攻撃にも耐えることは別の課題だ。
収集する側には、古いモデルや別の提供元を使う経路が残る。同社が原文で挙げるGLM-5.3の事例も、Claude Fable 5のサイバー分野の安全対策に遭遇した後、古いClaudeと他社モデルへ移ったという説明だ。この帰属はAnthropicの報告による。自社で抽出量を減らすことから、業界全体で能力の移転が止まったと結論することはできない。
能力の模倣を抑えることと、危険な行動を減らすことも分けて評価する必要がある。今回の抽出量やコーディング成績から、生物分野やサイバー分野の被害がどれだけ減ったかは測れない。提供元は安全上の理由と事業上の利益を持ち、利用者はAPIの安定性や推論を確認できる範囲に関心を持つ。数値だけでは、この利害の調整まで決まらない。
この報告が示すのは、推論全文の収集を、API仕様と継続的な検知・利用管理を組み合わせて難しくする方法だ。対象となる将来モデルへ広げる方針や、他の提供元との協力は今後の取り組みに属する。効果の持続期間、他経路への移動、正規利用の負担を続けて確認することが、導入済みの成果と将来の期待を分ける基準になる。
公開モデルに広がる能力と安全対策の関係は、LATENTのGLM-5.3とサイバー攻撃の変化を扱った記事でも整理している。そちらの攻撃能力の評価と、今回の学習データの収集量は、測っている対象が異なる。
一次資料と確認範囲
2026年10月13日時点の公開資料を確認した。本文の数値は提供元や論文著者の報告であり、LATENTがモデルを訓練・攻撃して測り直した結果ではない。図は関係を説明するための編集部による概念図だ。
- Strengthening our defenses against distillation attacks。三層の防御、抽出量、全文と要約の比較、限界の原報告。
- Distilling the Knowledge in a Neural Network。知識蒸留の基本を説明する原論文。
- Stealing Reasoning Traces from Proprietary LLM APIs。推論の互換性を使った抽出と、開示後の変化。
- Constitutional Classifiers++。CBRN分野の脱獄防御を扱う背景論文。
- Preserved thinking。会話・モデル・組織への制約と統合上の注意点。
- September 2026 Threat Intelligence Report。収集活動と抽出手法に関するAnthropicの観測。