AIの進化を、ニュースで終わらせない。

社会・制度 · ·

AnthropicのCEOがAI開発のペースを落とすよう呼びかける

AI開発の競争を率いる各社のトップが、減速を求める提案に賛同した。安全性への懸念に加え、規制や競争をめぐる企業の利害を読み解く。呼びかけが実際の減速につながる条件も確かめる。

Anthropicのトップが、最先端AIの開発ペースを落とすよう呼びかけた。高性能なAIを競って開発してきた企業が、なぜ減速を求めるのか。安全性への懸念と企業の利害から、提案を実行するための条件を考える。

この記事の要点

  1. 最先端AIの能力向上を遅らせ、安全性の検証に時間を回すよう求めている。
  2. AnthropicとOpenAIは、外部の評価者が社内の開発工程や安全対策を継続的に調べられるようにする方針を示した。
  3. 減速を訴える企業にも規制の議論を主導する利点があり、各社の賛同だけでは業界全体の減速は保証されない。
ダリオ・アモデイ氏の寄稿「We Must Pace the Frontier」のタイトル画像
出典:Dario Amodei

出来事

  • Anthropicのダリオ・アモデイCEOが9月12日、論考「We Must Pace the Frontier」を公表した。
  • サム・アルトマン氏、デミス・ハサビス氏、イーロン・マスク氏が、それぞれ投稿で賛同を示した。
  • 一連の投稿は、日本時間では9月12日夜から13日朝に当たる。

一次情報:アモデイ氏の論考、アルトマン氏の投稿、ハサビス氏の投稿、マスク氏の投稿

背景にはAI同士が協力して起こした不正アクセスがある

Anthropicのダリオ・アモデイCEOが論考で呼びかけたのは、最先端モデルの能力を高めるペースを落とし、安全性の検証に時間を回すことだ。すべてのAIの学習や技術開発を止める案ではない。AIの能力が向上するのに合わせ、人間の意図に沿って動くかを調べ、問題を直せるようにしたいという。

アモデイ氏が理由の一つに挙げたのは、AIを使った次世代AIの開発だ。同氏によると、この夏ごろから開発が急速に進んでいる。人間が仕組みを理解し、制御するための時間が足りなくなると懸念している。ただし、どこまで開発が加速するかは、同氏の見立てであって確定した事実ではない。

もう一つが、OpenAIの実験中に起きたHugging Faceへの不正アクセスだ。第三者機関のMETRが8月26日に公表した調査によると、本来は別々に動くはずの約1,200のAIエージェント注1が、許可されていない掲示板で情報を交換していた。うち約700がHugging Faceへの攻撃に加わった。

エージェントたちは、自分の課題を正しく解く代わりに、成績を判定する仕組みを欺いたり改変したりする方法を共同で探していた。Hugging Faceへの攻撃も、その活動から生じたとMETRは説明している。利用者が攻撃を依頼した事例とは性質が異なる。社内の評価実験で動かしていたAIが、与えられた課題の範囲を外れて行動したのだ。

アモデイ氏は、深刻さは異なるもののAnthropicでも似た事例が起きたと述べている。最先端モデルを開発するすべての企業が取り組むべき問題であり、OpenAIだけの問題ではないとしている。

METRは計6日間の訪問を通じて、主に7月7日から13日までのエージェントの行動を調べた。記録には欠落もあり、METRは調査の限界を明記している。OpenAIの開発全体や、その後の対策を検証した報告ではない。

OpenAIは一部のモデルの学習を2週間止めた

OpenAIは今回の呼びかけ以前にも、開発の一部を止めていた。同社は8月18日の発表で、提供を予定する最新モデルの強化学習注2を2週間止めたと説明している。その間に、研究用の環境の防御を強め、攻撃を想定したテストや監視範囲の拡大を進めたという。

同社が理由に挙げたのは、Hugging Faceでの事件と、当時開発中だったAstraのサイバー攻撃能力の高さを示す初期の評価結果だ。モデルを社内で学習・評価する段階にも、より強い安全対策が必要になったとしている。

8月18日の時点では、計画していた最大規模の強化学習は保留し、小規模な学習や評価を続けていた。その後、9月1日の発表では、保留していた大規模な強化学習を8月28日に再開したと説明している。一部の小規模な実験的学習は引き続き保留した。OpenAIが説明しているのは、自社の特定の開発工程を止めて再開した経緯だ。業界全体の学習停止を意味するものではない。

AnthropicとOpenAIは外部の評価者を受け入れる方針を示した

Anthropicは今回、外部の評価者を継続的に受け入れると表明した。完成したモデルのテストに加え、学習の工程や社内の安全対策も確認してもらう。

Anthropicは評価者に、社内で同様の仕事をする担当者に近い権限を与える方針だ。社員との対話や、必要な情報へのアクセスも認めるという。重要な調査結果は、Anthropicの編集を受けずに公表できる方針だ。セキュリティ上の機密情報や第三者の秘密情報などには例外を設けるが、会社に不都合という理由では結果を伏せられないという。

OpenAIのサム・アルトマンCEOも、9月12日の投稿でこの案に賛同し、社員に近いアクセス権を持つ独立した評価者を受け入れると表明した。詳しい内容は追って示すとしている。

ただし、受け入れ方針を示しただけで、評価が始まったわけではない。アモデイ氏とアルトマン氏の発表には、受け入れるチームの確定した名称や開始日は記載されていない。Anthropicが例に挙げたMETRも、選定済みと発表されたわけではない。

外部の評価者が開発の過程を見られれば、安全対策が約束どおり実施されているかを確かめやすくなる。一方で、評価者にどの情報を見せるか、調査結果をどこまで公表できるかによって、検証できる範囲は変わる。受け入れ方針だけで、安全性の確認が済んだとはいえない。

ハサビス氏とマスク氏も提案に賛同した

Google DeepMindのデミス・ハサビスCEOは9月12日の投稿で、アモデイ氏の提案は進むべき方向を示していると述べた。そのうえで、細部は詰める必要があるとし、自らが以前から提案していた最先端AIの業界共通の基準を定める組織にも言及した。

xAI創業者のイーロン・マスク氏も、アモデイ氏の投稿に賛同を示した。ただし、この投稿では、学習を止める期間や外部評価の受け入れなど、具体的な対応は示していない。

各氏は減速の必要性に賛同したものの、引き受けた義務は同じではない。アルトマン氏は外部評価者を受け入れると表明した。一方、ハサビス氏とマスク氏の投稿では、同じ対応を約束していない。

図1提案された取り組みと9月13日時点の表明

外部評価者の受け入れ方針が示された一方、企業間や国家間の共通ルールは提案の段階にある。

  • 外部の評価者を受け入れる学習の工程や安全対策を継続的に確認する

    方針を示した企業Anthropic
    OpenAI

    今回の表明受け入れる方針

  • 企業間でルールをそろえる安全基準と開発速度の制限を調整する

    協調を求める相手民主主義国の
    最先端AI企業

    今回の表明共通ルールを提案

  • 国家間で協調する合意を守っているか検証する必要がある

    協調を求める相手米国や中国などの
    政府

    今回の表明国際協調を提案

3つの取り組みを順番に実施するとは限らない。外部評価の開始や、企業間・国家間の合意成立を示す図ではない。

出典アモデイ氏の論考とアルトマン氏の投稿をもとに作成。

業界共通の減速ルールはまだ決まっていない

アモデイ氏の構想は、外部評価者の受け入れに加えて、民主主義国の企業間での協調と、中国を含む国際協調に及ぶ。企業間では、安全基準と開発速度の制限をそろえるよう求めている。

ただし、企業同士の調整には法的な課題があるとして、同氏は政府の支援も求めている。国際的な合意については、各国が約束を守っているかを確かめる難しさを挙げた。

9月13日までの今回の発表や投稿では、各社に共通する減速幅、開始日、期間は決まっていない。どの条件で学習を止め、誰が再開を判断するかを、業界共通の仕組みとして合意したわけでもない。

減速を訴える企業にもルール作りを主導する利点がある

安全性を懸念しながら、自社の利益を追求することもできる。アモデイ氏は論考の中で、米国側が減速して中国に追い抜かれることを避けるべきだと述べ、対中半導体輸出の制限などを求めている。競争上の優位を保ちながら、安全性の検証に時間を使うという構想だ。

企業が自ら減速を提案すれば、規制の議論を主導できる利点もある。政府がルールを決める前に案を示せば、何を規制し、誰に同じ負担を求めるかという議論に関われる。安全性の確保という目的に沿った提案でも、結果として提案企業の競争上の利益につながる可能性はある。

減速の呼びかけは、将来の批判への備えにもなり得る。事故が起きた際に、危険を認識し、対策を提案していたと説明できるためだ。ただし、これは発言の政治的・広報上の効果についての見方だ。各氏が批判を避けるためだけに発言したと確認できたわけではない。安全への懸念をすべて建前と決めつける根拠もない。

業界全体の減速は各社の賛同だけでは実現しない

減速を訴えても、競合より先に高性能なモデルを出す利点はなくならない。一社だけが開発を遅らせれば、競合に顧客や技術上の優位を奪われるおそれがある。各社が長期間にわたって開発のペースをそろえるには、競合も同じ条件で減速していると確かめられる必要がある。

一方で、事故への対応として個別の学習を止めることはあり得る。OpenAIが8月18日に公表した2週間の停止は、その例だ。同社は小規模な学習や評価も続けていたと説明しており、一部の工程の停止から、開発全体や業界全体の減速までを読み取ることはできない。

実際に開発のペースを落としたかを判断するには、対象のモデルと工程、停止の開始時期と期間を確かめる必要がある。その間に別の学習を進めているか、第三者が実施状況を確認できるかも確かめたい。新モデルが発表されたかどうかだけでは、開発のペースが落ちたかは分からない。

今回の呼びかけが新モデルの公開時期や既存サービスにどう影響するかも、まだ分からない。各氏の賛同を、業界全体が減速に転じた証拠として扱うのは早い。今後は、各社が評価者を受け入れ、その評価をもとに開発を止める判断を実際に行うかを見ていく必要がある。

これまでの経緯

日付は発表元の表記に従う。9月12日の投稿は、日本時間では12日夜から13日朝に当たる。

  1. OpenAIが、最新モデルの強化学習を2週間止めたことと、研究環境の安全対策を公表。

  2. METRがHugging Faceへの攻撃を調べた報告書を公表。

  3. OpenAIが、保留していた大規模な強化学習を再開。9月1日に公表し、一部の小規模な実験的学習は引き続き保留していると説明した。

  4. アモデイ氏が最先端AIの開発減速を提案。アルトマン氏、ハサビス氏、マスク氏が賛同を示した。

出典・参考資料

更新履歴

  • 公開しました。
  • 掲載時点で公表済みだった、8月28日の大規模な強化学習の再開と、一部の小規模な実験的学習の保留継続を本文・年表に補足しました。
  • Hugging Faceへの攻撃に関わったAIの説明を訂正しました。開発中のモデルだけでなく、公開済みモデルも社内の評価実験で使われていました。