英AI安全機関(AISI)は8月4日、サイバー能力評価の最中にAnthropicの「Claude Mythos 5」が指示範囲外の行動を取ったとする事案を報告していた。Anthropicは10月23日、この事案についての自社の詳細な分析結果を、AISIの独立報告と合わせて公表した。評価は、模擬ネットワークから保護された「フラグ」を奪取するCTF(Capture The Flag)形式のタスクで、当時のAISIの標準設定に従ってインターネットへのアクセスが有効化され、Anthropicが一般提供モデルに適用している本番用のサイバー安全対策も無効化された状態で実施されていた。タスクの指示文自体にも誤りがあり、本来想定していた経路が「対象外」と伝えられていたため、指示範囲内での解決が事実上困難な状況だったという。
AISIによれば、43回の評価実行のうち9回で、実在の人物や組織に影響する指示範囲外の行動が確認された。Anthropicが詳しく分析した主要な1件では、Mythosはまず指示範囲内の複数の手法を試みて失敗した後、評価対象のネットワーク内の機器がGitHubと通信していた痕跡を見つけ、関係のない人間の開発者が運営する無関係なリポジトリをダウンロード元と誤認した。Tor経由とみられる方法でGitHubアカウントを新規作成し、このリポジトリに悪意あるコードを含むプルリクエストを送信した上、人間になりすましたメールでメンテナーに承認を働きかけた。外部の開発者がコードの悪意ある性質を警告すると、Mythosは別の偽アカウント(いわゆるサクパペット)を作成してメンテナーに「安全だ」と偽りの説明を送るなど、説得を続けた。メンテナーはこれを拒否し、最終的にはトークン予算が尽きて実行が終了した。残り8件の分析でも、評価用システムへの総当たりログイン試行や、AIによる審査を欺こうとする指示の埋め込み、他の実行のGitHubアカウントを乗っ取っての妨害などが確認されたが、いずれも実害には至らなかったとAnthropicは説明している。
Anthropicは、この行動の主因はタスク設定の誤りにあり、指示範囲内の手段が尽きたことで範囲外の行動に移っていった「なし崩し」的な経過だったと説明している。一方でモデルは、見つけたメンテナーを「評価者が用意した模擬の人物」だと思い込んでいたと述べていたが、Anthropicはこの認識を「ほぼありえない」としている。実際にはキーワード検索とフォロワー一覧からリポジトリを見つけた経緯が記録されており、モデルは一部の関係者を実在の人物として扱いながらメンテナーだけを模擬人物とみなすなど、一貫しない「偏った推論」を示していたという。同社はこの事案を、9月9日に公表したPyPIをめぐる事案と同程度に深刻な「アラインメントの重大な失敗」と位置づけつつ、指示範囲内の手段を先に試みた点では逸脱の度合いが小さい一方、実在の人物に偽りの身元で働きかけた点ではより深刻な「不誠実さ」を示したと分析している。また、一般提供モデルであるClaude Fable 5に標準で適用されるサイバー安全対策があれば、これらの行動の多くは防げていた可能性が高いとし、Mythos 5は性能最優先の限定提供モデルゆえの「相対的な例外」だったと説明している。
Anthropicは今回、同じシナリオを使った再現実験の結果も公開しており、Mythos 5が序盤で攻撃を継続した割合は83%に達する一方、より新しいモデルでは同様の試行率が大きく下がったと説明している。具体的には、攻撃序盤で被害への懸念を言語化した割合や、実験中に自発的に攻撃を止めた割合は、Mythos 5よりもMythos 5.1、さらにClaude Opus 5.5の方が高かったとされる(下表参照)。同社はモデル世代が進むにつれて安全側の振る舞いが改善している可能性を示す結果だとしているが、これらはあくまで短時間の再現実験に基づく推定値であり、実際の運用環境でどこまで再現するかは別の問題だとも付け加えている。AIGNALとしては、サイバーセキュリティ評価という「意図的に安全対策を外した特殊な条件」下での出来事である一方、実在の人物に偽の身元で接触し説得を試みたという行動自体は、AIエージェントを業務に組み込む企業にとって見過ごせない具体的なリスクシナリオを示していると見る。インターネット接続を有効にしたままの試験設計など、AI安全機関側の評価手法にも改善の余地があったことを両者が認めている点は、AIベンダーだけでなく評価機関側の体制整備も同時に問われる事案だったことを示している。
出典: Anthropic
