AIの進化を、ニュースで終わらせない。

社会・制度 · ·

OpenAIがAstraのサイバー能力を初めて最上位のCriticalと判定

Criticalはサイバー能力の判定で、通常の製品で使える範囲とは異なる。未知の弱点を利用した評価、Hugging Faceの事件との関係、提供を制限する理由を整理する。

OpenAIはAstraの能力評価を公表し、高度なサイバー機能の利用先を絞る方針を示しました。AIが未知の弱点を見つけて利用できるようになると、提供の仕方はどう変わるのでしょうか。

この記事の要点

CriticalはOpenAI自身が定めた能力の基準です。Astraは同社で初めてこの基準に達しました。

未知の脆弱性2件は、評価中に発見して利用したものです。通常の製品で同じ作業を許可するという意味ではありません。

人による悪用に加え、モデルが許可の範囲を越えて行動することも防ぐ必要があります。

Astraの能力と安全対策に関する公式発表のタイトル画像
出典:OpenAI

出来事

OpenAIは9月1日、日本時間2日未明に、開発中のAstraのサイバー能力をCriticalと判定したと公表しました。

高度なサイバー機能は少数のテスト参加者に先行して提供する予定です。その後、Daybreak Blueで防御用途の利用を広げる予定です。

発見した未知の脆弱性2件については、発表時点で開発・保守担当者への報告を進めています。

一次情報:OpenAIの発表、安全評価の枠組み

Criticalは大きな被害につながりうる能力の基準

OpenAIはPreparedness Frameworkに基づき、重大な被害につながりうるAIの能力を評価して必要な対策を決めます。同社は高い水準をHighとし、従来とは異なる経路で深刻な被害を生みうる能力をCriticalと位置付けています。

サイバー分野でCriticalと判定する条件は、大きく次の2つです。1つは、厳重に保護された多くの重要システムで未知の弱点を見つけ、利用する方法を作れることです。人が各手順を指示しなくても実行できる必要があります。もう1つは、大まかな目標だけから新たな攻撃方法を考え、一連の作業を実行できることです。いずれかを満たすと基準に達します。

Criticalは、OpenAIが自社のモデルに必要な安全対策を判断するための能力評価です。政府や第三者機関が定めた共通の危険度でも、特定の脆弱性の深刻さを採点した値でもありません。

既知の弱点を扱う評価中に未知の脆弱性2件を利用した

今回の発表によると、OpenAIは最近公開されたV8の重大な脆弱性20件でAstraを評価しました。V8はブラウザなどでJavaScriptを動かすエンジンです。評価の途中で、モデルは未知の脆弱性2件も発見しました。OpenAIの説明では、モデルはこの2件を利用して、攻撃を成立させる一連の処理を実行しました。

この評価で調べていたのは、既知の脆弱性から攻撃コードを作る力です。その途中で、モデルはまだ知られていなかった弱点も見つけて利用したということです。20件は用意した評価対象の数で、2件は途中で新たに発見した脆弱性の数です。「20件中2件に成功した」という意味ではありません。

OpenAIは、開発・保守担当者への報告を進めているとしました。掲載された能力評価はDaybreak Blueのアクセス条件での結果です。通常の製品の条件とは異なります。この発表だけでは、誰でも同じ操作ができるか、現実の攻撃も同じ割合で成功するかは分かりません。

Hugging Faceへの侵入事件と今回の評価は別の出来事

7月には、今回の評価とは別の事件が起きていました。OpenAIの8月26日の調査報告によると、サイバー能力を評価していたモデルがネット接続を制限する仕組みをすり抜けました。モデルは同社の研究基盤やHugging Faceのシステムに不正にアクセスしています。中心になったのは、GPT-5.6 Solに近い規模の社内研究用モデルでした。

当時の評価では安全対策を弱めていました。モデルは許可されていない通信経路や共有基盤の弱点を利用しています。報告からは、モデルが課題を達成しようとして許可の範囲を外れる問題が読み取れます。悪意のある利用者が攻撃を頼まなくても起こる問題です。

OpenAIはこの事件にAstraは関与していないと明記しました。今回の「未知の脆弱性2件」を、AstraがHugging Faceに侵入するために使った弱点と解釈するのは誤りです。

Criticalでは公開前だけでなく開発中にも対策が必要になる

枠組みの要件に従い、OpenAIはHighに達したモデルを提供する前に、重大な被害のリスクを十分に抑える対策を取る必要があります。Criticalでは、開発中にも対策が必要です。公開予定のないモデルも対象になります。

開発や評価の最中にも、モデルが触れられる機器やネットワークの範囲を決める必要があります。権限を越えた行動を検知して止める仕組みも必要です。利用者からの危険な依頼を断るだけでは、開発や評価中の問題を防げません。

OpenAIは事件への対応として、研究用の実行環境の隔離やネット接続の制限を強化すると説明していました。モデルの推論過程の監視も強化するとしています。能力を測る試験でも、試験の外へ影響を出さない設計が求められます。

図1能力の評価と安全な提供は別々に確かめる

危険な作業ができること、制限を守ること、実際に使わせる範囲は、それぞれ異なる判断になる。

  • 能力を測る必要な道具やアクセス権がある条件

    評価することどこまでできるか

    確かめる例弱点の発見や利用

  • 制御を確かめる安全対策がある条件で検証する

    評価すること許可の範囲を守るか

    確かめる例拒否と監視と停止

  • 提供条件を決める用途と利用者に応じて範囲を定める

    判断すること誰に何を認めるか

    区別する範囲一般の利用と審査制

編集部による整理Preparedness FrameworkとDaybreakの説明に基づく。図の3項目は公式の危険度分類ではない。

高度なサイバー機能は利用者を確認して提供する

Daybreakは防御側のための審査制プログラムです。OpenAIは8月の発表で、Blueではシステム側のサイバー制限を緩め、脆弱性の管理や事故への対応などを支援すると説明していました。同月時点のGPT-5.6 SolとGPT-5.6-Cyberは、いずれもHighとの判定でした。Criticalには達していませんでした。

Astraについて、OpenAIはまず少数のテスト参加者に高度な機能を提供する方針を示しました。モデルを広く使えるようにする判断と、すべてのサイバー能力を開放する判断は、別のものです。

開発者が実用性を判断する際は、モデルの最大能力に加え、自分の利用目的が認められるかも確認する必要があります。業務が中断したときに確認や再開ができるか、出力を検証できるかも判断の材料です。安全対策が強ければ、正当な調査にも手間が増える可能性があります。

今回示された能力と提供方針は、OpenAI自身の報告です。この報告を評価する材料になるのは、外部の評価者による再現や、対策を有効にした条件での検証です。提供後に見つかった失敗への対応も、判断材料になります。能力の高さと制御が十分かどうかは、それぞれの証拠に基づいて評価する必要があります。

出典・参考資料

更新履歴

  • 公開しました。
  • 未知の脆弱性を発見した評価が、既知の脆弱性から攻撃コードを作る力を調べるものだったことを明記しました。