Anthropicは10月15日、AIモデルの安全性を独立に検証する評価機関への情報公開姿勢を一歩進めたと発表しました。非営利の評価機関METRの担当者6名に対し、同社のハードウェアやオフィス、社内システムへの社員に近いアクセス権を付与し、METRが導き出したリスク評価や懸念事項を自社の承認なしに公表できる体制を整えたとしています。今回の取り組みは、9月に表明していた「独立評価者をより深く組織に関与させる」という方針を具体化したもので、Anthropicは5月のホワイトハウスでの「スーパーインテリジェンスに関する協定」への署名も背景にあると説明しています。
発表では、評価者への権限を3段階に分けた新たな枠組みも示されました。最も基本的な「ティア1」では、調査範囲やアクセス権限をAnthropicが選び、公表にも同社の承認が必要です。「ティア2」になると評価者はより広い情報にアクセスでき、Anthropicの承認なしに結果を公表できますが、顧客データや弁護士・依頼人間の秘匿情報、モデルのアーキテクチャといった限られた項目については編集を求めることができ、評価者側はその編集が妥当だったかどうかについても意見を公表できます。METRに適用される「ティア3」は、社員に準じたアクセスと、ティア2と同様の公表権限を組み合わせた最上位の枠組みで、Anthropicは将来的に複数の評価機関をこのティア3に迎えたいとしています。
METR以外にも複数の機関との連携が進んでいます。生物・化学兵器関連のリスクを検証するSecureBioは、8月に公表したリスクレポートの該当章を審査する「ティア1」の役割を担っており、以前にも2月版レポートの試験的な審査を手がけています。コンサルティング大手のAccentureとその傘下のFaculty部門とは、モデル評価やレッドチーム演習、安全対策のテストなどを含む、より広範な提携に向けた協議が進行中で、Hugging Faceとの協議も初期段階にあるといいます。Anthropicは、より強力なモデルにはより厳格な安全対策とリスク評価が必要だとしつつ、アーキテクチャ情報などは漏えいのリスクが高いため、関連性が高い場合に限り内部承認を経てのみ共有するとしています。
出典: Anthropic
