米フロリダ州で、Claudeを私的な日記のように使っていた利用者が、重罪の脅迫容疑で逮捕される事態が起きた。報道によると、利用者は9月26日のやり取りでリー郡保安官事務所を「襲撃する」といった趣旨の文言を書き込み、翌日には新しく入手した銃に触れる内容も記していたという。Anthropicはこうした会話を検知し、人による審査チームでの確認を経て、法執行機関に通報した。
Anthropicは、脅迫や危害につながりうる特定の内容を含む会話を自動的な仕組みで検知し、内容の深刻度に応じて人間のレビュー担当者にエスカレーションする運用を行っている。今回のケースでは、担当チームが内容を具体的な脅威と判断し、通報に踏み切った。この利用者は9月30日付けで、フロリダ州法836.10条(集団殺傷・テロ行為に関する電子的脅迫)の重罪容疑で起訴されている。
報道では、Anthropicが同様の経緯で会話を警察に通報した事例は、今回で8月以降少なくとも3件目だとされている。チャットボットを日記や相談相手のように使う利用者が増える中、AI企業が私的な会話の中身をどこまで監視し、どの基準で外部へ通報すべきかという線引きは、プライバシーと安全確保のトレードオフとして今後も議論を呼びそうだ。
出典: Tom's Hardware
