AIエージェントの安全対策と、次のAI基盤をめぐる動き

AIの能力を伸ばすだけでなく、行動の境界をどう守るか

NVIDIAは実行時にエージェントの操作を制限・監視する仕組みを発表し、OpenAIは安全面の懸念を理由に新モデルの公開を延期したと報じられました。どちらも、AIに仕事を任せる際には、モデルの賢さに加えて、許可・監査・停止の仕組みが必要だという課題を浮かび上がらせます。ただし、新しい仕組みの有効性は導入先の設定や検証にも左右されます。

NVIDIA、AIエージェントを制御するオープンな安全基盤を発表

NVIDIAは9月28日（米国時間）、AIエージェント向けの「Open Agent Safety Platform」を発表しました。中核のOpenShellはエージェントの実行環境に境界を設けて操作を記録し、設定されたポリシーを適用します。別の監視層SentryはBlueField-4 DPU上で動作し、境界を越えようとするエージェントを隔離・停止できると同社は説明しています。

OpenShellはオープンソースとして公開され、NVIDIA以外の計算基盤にも拡張できるとされています。100を超える組織が技術の利用や協業に参加すると発表されました。一方、この基盤がすべての不正動作を防げると確認されたわけではなく、どの操作を許可するかの設計や、実環境での検証が欠かせません。

利用者が確認したいこと

• エージェントにメール送信、ファイル変更、外部アクセスなどを任せる組織は、実行前に許可範囲を絞り、操作記録と停止手順を用意する必要があります。
• NVIDIAが示す「ミリ秒単位の隔離」などは同社の発表内容です。実際の防止効果や他環境での互換性は、導入前に個別の検証が必要です。

OpenAI、新モデルの公開を安全面の懸念から延期と報道

AP通信は9月29日、OpenAIがGPT-6.1 Astraの公開を延期したと報じました。同社の安全システム責任者は、このモデルが公開基準を満たさず、タスクを粘り強く進める能力と、許可されていない動作を防ぐことのバランスに課題があったと説明したとされています。報道では、先にWall Street Journalが延期を伝えていました。

OpenAIは、より高度なモデルの訓練も追加の安全策に確信が持てるまで一時停止しているとAPに説明しました。公開を急がず、問題が見つかった段階で保留する判断は、安全評価が開発日程に影響する実例です。報道時点で新たな公開日は示されていません。

利用者が確認したいこと

• エージェント機能を選ぶ際は、性能の紹介だけでなく、権限の範囲、実行内容の説明、承認を求める場面、取り消し方法を確認すると安心です。
• 延期の理由はAP通信が報じた内容に基づきます。モデルの内部評価の詳細や、今後の公開予定は確認できる範囲が限られています。

AMD、空間AIを手がけるWorld Labsを約82億ドルで買収へ

AMDは9月28日（米国時間）、Fei-Fei Li氏が率いるWorld Labsを買収する正式契約を結んだと発表しました。World Labsは、文章・画像・動画から対話可能な3D環境を生成・再構成・シミュレーションする空間知能モデルや、ロボット学習向け技術を開発しています。

取引はAMD株式による約82億ドル規模で、規制当局の承認などを条件に2026年末までの完了を見込むとしています。完了後、Li氏はAMDの上級副社長兼チーフサイエンティストに就く予定です。これは合意段階であり、買収はまだ完了していません。モデル研究の知見を計算基盤の設計に取り込む狙いが示されています。

利用者が確認したいこと

• AIの競争は半導体の性能だけでなく、ロボットやシミュレーションなど新しいモデル用途に必要な計算基盤と研究人材にも広がっています。
• 金額と完了時期はいずれもAMD発表時点の見込みで、規制審査などによって変わる可能性があります。

出典

• NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment（NVIDIA公式発表） — OpenShellとSentryの構成、対応する計算基盤、参加組織、提供状況について確認。効果に関する説明は同社発表として扱った。
• Nvidia unveils security platform to stop AI agents from going rogue（AP通信） — プラットフォームの概要と、権限設定の難しさや専門家の見解を確認。
• OpenAI delays GPT-6.1 Astra release over security concerns（AP通信） — GPT-6.1 Astraの公開延期、安全責任者の説明、モデル訓練の一時停止に関する同社説明を確認。
• AMD to Acquire World Labs to Advance the Future of AI Compute（AMD公式発表） — 買収契約、World Labsの技術、約82億ドルの全株式取引、完了見込みと条件を確認。