Open Secure AI Alliance発足、AIエージェント防御を共同開発

NVIDIA、Linux Foundation、Hugging Face、Microsoft、Cloudflareなどが、AIエージェント向けのオープンなモデル、ハーネス、評価・防御基盤を共同開発する。

発足内容

NVIDIAは、クラウド、サイバーセキュリティ、オープンソース、AI分野の組織が参加する Open Secure AI Alliance を発表しました。Linux FoundationのAkritesとOpenSSFの活動を基盤に、ソフトウェアとAIエージェントを守る共通技術、ツール、評価手法を開発します。

初期参加組織にはNVIDIA、Linux Foundation、Hugging Face、Microsoft、Cloudflare、IBM、Red Hat、Cisco、Databricks、Salesforce、SAP、NAVER、SK Telecomなどが含まれます。

予定される貢献

  • NVIDIAはオープンモデル、重み、データ、エージェントハーネス研究を提供する計画です。
  • 新しいオープンソースNOOA研究フレームワークは、モデルとハーネスの挙動を試験、追跡、監査しやすくします。
  • エージェントIDと隔離、安全なモデル形式、マルチモデルスキャン、署名付きパッチ、安全なコーディングを対象にします。

注目点

エージェントの安全性はモデル重みだけでは決まりません。権限、ツール呼び出し、隔離、ログ、ガードレール、評価をスタック全体で確認する必要があります。共通ツールは一社の不透明なサービスだけに依存しない検証を可能にします。

限界

今回は連合と貢献計画の発表です。保守体制、ライセンス、相互運用性、実環境での検出性能は各プロジェクトで確認が必要です。オープンモデルにも保護機能の除去や攻撃転用の危険があるため、権限制御、隔離、責任ある開示が不可欠です。

公式情報