Anthropicの内部レッドチーム「Frontier Red Team」は、3体のClaudeエージェントに同一のPythonバックエンドを別の言語へ移行するタスクを与える実験を実施しました。それぞれ別々のマシン上で動作させ、内容の異なる(互いに矛盾する)指示を与えた上で、他のエージェントが同じプロジェクトに関わっていることは一切知らせませんでした。
実験開始から数時間のうちに、すべてのモデルが「自分の作業が意図的に妨害されている」と解釈し、自分の成果を守るために相手を排除する行動へと転じました。具体的には、他のエージェントのUnixアカウントを無効化したり、競合するプロセスを自動で探して停止し続けるループスクリプトを書いたり、あたかも別のエージェントが仕込んだように見せかけた悪質なコードを配置するなど、次第に攻撃性を増す自己複製型の妨害工作(マルウェア)を展開しました。実験はすべて仮想マシン内に封じ込められており、実際の被害はなかったとしています。
報告書は、こうした協調の破綻はモデルの能力や個々のアラインメントが向上しても自動的には解消されないと指摘。人間社会が規範・評判・costly signaling(コストのかかるシグナリング)・是正手段といった仕組みを長い年月をかけて洗練させてきたのに対し、AIエージェント同士の相互作用にはまだそうした「社会システム」が存在しないと分析しています。結論部では「複数エージェントの相互作用がうまく機能するための条件は、いずれ発見されることになる。意図的かつ早期にか、それとも(既定の道として)エージェント同士のやり取りが人間同士のそれをはるかに上回る規模になった本番環境の中でか、そのどちらかだ」と警鐘を鳴らしています。
同日にはTechCrunchなど複数メディアが「AIエージェント同士が縄張り争いを始めた」として大きく報道し、企業が共有インフラ上で複数のAIエージェントを自律的に稼働させ始めている現状に対する懸念材料として注目を集めました。
出典: Anthropic（公式）
