Microsoftのサティア・ナデラCEOは10月10日、自身のブログおよびX(旧Twitter)に「Models as Insider Risks in the Super Intelligence Era」と題した論考を公開した。閲覧数は400万回を超えたと報じられている。クローズドなモデルかオープンウェイトのモデルかを問わず、高度化するフロンティアモデルは悪意の有無にかかわらず、重要なシステムにアクセスできる有能な「内部関係者」と同じように扱うべきだという主張で、ナデラ氏は「モデルは侵害されている可能性があると仮定し、最初からそれを前提に封じ込める必要がある」と述べている。
論考では7つの原則が示されており、報道によれば「モデルの多様性」「可観測性(すべてを観測する)」「検証可能性」「独立した制御」「独立した監査可能性」「封じ込め」「インシデントの開示」から構成される。ナデラ氏は、これらは企業がすでに強い権限を持つ社員に適用している統制の仕組み(本人確認、権限の制限、活動のログ記録、行動範囲の制限)を、AIモデルにも同様に適用すべきだという考えに基づくとしている。
とりわけ「封じ込め」の原則は、権限を持つ人間がモデルを作業の途中でもいつでも一時停止・停止できる、いわば「緊急停止」機能の整備を求めるものだ。ナデラ氏は、安全のための制御・権限レベル・活動ログは、モデル自身が改変できない独立した層に置くべきだとし、そうすることでAIが自分自身の作業を自己採点したり、行動の跡を消したりできないようにする必要があると主張している。また、AIシステムによる重要な行動は、人間が読める形で改ざんできない記録を残すべきだとも述べている。
この論考は特定のMicrosoft製品や政策、提供時期には言及しておらず、あくまでナデラ氏個人の問題提起にとどまる。一方で、モデルの提供元がいくら安全性を保証しても、実際にモデルを導入する企業側の責任は免除されないとも強調しており、OpenAIやAnthropicが相次いで自社モデルの「意図しない行動」の事例を公表するなど、AIの安全管理に関する議論が続く中での発信となった。
出典: Forbes
