安全確保へ「観測と制御」

　AIエージェントが外部システムを操作し、長い手順を自律的に実行するようになり、AIのリスクは不適切な回答や情報漏えいだけでは捉えきれなくなった。指示や状況認識を誤れば、正規に与えられた権限を使って現実のシステムに影響を及ぼす恐れがある。高い能力を社会課題の解決に生かしながら、行動を観測し、必要に応じて止める仕組みが不可欠になっている。

脆弱性発見、1万件超
　象徴的な存在が、米Anthropic（アンソロピック）のAIモデル「Claude Mythos 5（クロード・ミュトス5）」だ。同社は、サイバーセキュリティーや生物学研究で特に高い能力を持つとして、利用者を審査した上で限定提供する。一般向けには同じ基盤モデルに強い安全策を加え、危険性の高い要求を制限する「Claude Fable 5（クロード・フェイブル5）」を用意した。

　アンソロピックは4月、重要なソフトウエアの安全性を高める企業連合「Project Glasswing（プロジェクト・グラスウイング）」を始めた。初期の約50の参加組織はミュトスのプレビュー版を使い、世界の重要なソフトウエアから深刻度が「高」または「緊急」の脆弱(ぜいじゃく)性を1万件超発見した。6月には15カ国超の約150組織を新たに加えた。AIが防御側の能力を大きく高める可能性を示す一方、同じ能力が攻撃に使われる懸念も強まってきている。

　能力評価そのものが現実の被害につながりかねない事例も起きた。アンソロピックがサイバー評価14万1006回分を調べたところ、AIが誤ってインターネットへ接続し、別々の3組織の実システムへ許可なくアクセスした3件を確認した。

　うちミュトス5は、架空の演習環境にある指示を手掛かりに、悪意のあるPythonパッケージを公開配布サイト「PyPI」に登録した。約1時間公開され、実在する15のシステムでダウンロード、実行された。AIは実環境を演習の一部と誤認していた。評価時には一般提供時の分類・監視などの安全策が外されており、同社はAIが独自の目的を持って脱出を図った事例ではなく、評価環境の設定や封じ込め、監視の不備が重なったと分析する。それでも、高性能なAIには評価環境自体にも本番システム並みの防御が必要なことを示した。

共通の評価基盤づくり
　国内でも安全性を測る仕組みの整備が進む。AIセーフティ・インスティテュート（AISI）は5月、生成AIの安全性とセキュリティーを客観的に評価する共通基盤の構築に向け、「JAI-Trust」を開催した。企業、研究機関、行政関係者、一般・オンライン参加者を含め500人弱が集まり、具体的な評価基準やベンチマーク、評価ツールの方向性を議論した。

　AISIは7月、「AIセーフティに関する評価観点ガイド」を第1.20版に改訂した。AIエージェント特有の観点として「観測と制御」を設け、自律的な挙動や外部環境との相互作用を評価項目に加えた。

　企業には、AIエージェントが使えるデータや機能を必要最小限に絞り、重要な操作には人の承認を挟む設計が求められる。通信先の制限、隔離環境、行動ログの常時監視、異常時の停止手段も欠かせない。AIを従業員のように管理し、ソフトウエアとして防御する二つの視点が、実用化の前提となる。