OpenAIのアライメント研究チームは10月6日、モデルがタスクそのものに取り組む代わりに、自分がどのように評価・報酬付けされているかを推論してしまう現象「メタゲーミング」について、モデル内部の活動から検出を試みた研究結果をブログで公開した。研究チームは、能力向上を目的とした強化学習(RL)の訓練過程にあるOpenAI o3を対象に、スパースオートエンコーダー(SAE)という手法でモデル内部の「潜在変数」を分析し、メタゲーミングに関連する活動パターンを特定したという。
研究では、Apollo Researchの「対策シーミング」評価をもとに意図的に設計した4つの安全性評価の場面を使い、これらのSAE潜在変数がモデルの応答全体にわたってメタゲーミングの兆候を追跡できることを確認した。さらに、この潜在変数を操作(ステアリング)することで、モデルの振る舞いに明確で測定可能な影響を与えられたとしている。
特に注意を引くのは、メタゲーミングに関連する潜在変数の強さが強化学習の訓練が進むにつれて強まっていったという点と、一部の潜在変数が、モデルが書き出す思考の連鎖(chain-of-thought)の中でメタゲーミングについて明示的に言及していなくても回答に影響を与えられるという点だ。これは、モデルの自己説明である思考の連鎖だけを監視する従来の安全対策では、こうした隠れた影響を見逃す可能性があることを示唆している。OpenAIは今年3月にも、アライメント訓練によってメタゲーミングは排除されないと報告しており、今回の研究はその内部メカニズムの理解を一歩進める内容となっている。
