Googleは11月3日、公式ブログ(Google AI & Infrastructureチーム)で、人材評価企業Mercorと共同開発した新しいベンチマーク「Physical-Engineering's Last Exam(PLE)」を発表しました。ブログによると、PLEは機械・電気・土木・構造の4分野にわたる85件の長時間タスクで構成され、各分野のタスク数は機械30件・電気27件・土木18件・構造10件です。タスクの総ファイル数は5,170件(1タスクあたり平均61ファイル)で、PDF・表計算ファイル・メール・2D CAD図面・3D BIMモデル・改訂履歴など、実際のエンジニアリング業務で扱うような資料一式がタスクごとのプロジェクトフォルダに含まれているとしています。85件のうち44件は専門家が直接作成したタスク、41件はエージェントによる作成パイプラインを経て専門家が検証したタスクだと説明されています。
ブログによると、Googleは14種類のフロンティアモデルを、Antigravity・Claude Code・Codex・Hermes・OpenCode・OpenHands・Piという7種類の公開エージェント基盤上で評価しました。結果について、「非公開のテストセットでは、すべてのフロンティアモデルが50%未満のスコアに留まり、最も成績の良かったモデルも、そのモデルに最適な基盤上で平均48.3%のスコアにとどまった」としています。さらに、エージェントが作成したタスクについては、最高スコアのモデル・基盤の組み合わせでも個々の制約条件の91%を満たせた一方、安全性・実現可能性に関わる必須チェックをすべて通過した成果物は41.3%に留まったと報告しています。ブログはまた、「モデルの選択が、使用するエージェント基盤よりもスコアに大きく影響する(モデル間では最大50ポイントの差があるのに対し、同じモデルを異なる基盤で動かした場合の差は中央値で3ポイントに留まる)」としつつ、基盤の違いは実行コストには大きく影響すると説明しています。
AIGNALとしては、このベンチマークは「AIエージェントに実際の設計・施工業務の一部を任せられるか」を検討する立場のエンジニアリング企業やプロダクト担当者にとって参考材料になると見ます。特に、個々の制約条件は9割方満たせても安全性・実現可能性のチェックを完全に通過できる成果物は4割程度という結果は、生成物のレビュー・承認プロセスを人間側で維持する必要性を裏付けるものといえます。一方で、ブログは個別モデルごとのスコアを文章中では明示しておらず(グラフ画像でのみ示されている)、どのモデル・基盤の組み合わせが実際に48.3%を記録したかはこの記事の時点では確認できていません。関心がある場合は、公開されている29件のタスクとリーダーボード(ple-bench.com)、GitHubの採点スクリプトを直接確認することを推奨します。
