長期メモリが攻撃面になる理由
エージェントメモリは好みや作業情報を再利用しますが、攻撃者の指示も保存できます。保存時には無害に見える文が後で呼び出され、実際のツール操作を変える可能性があります。
7月29日のMemSecBenchは保存だけでなくWrite–Execute–Forgetの全ライフサイクルを追跡します。
評価と結果
コード・科学、日常、事務の48文脈から310事例を構成し、二つのharness、四つのmemory backend、三つのLLM backendを組み合わせた24構成を隔離環境で評価しました。
著者報告では悪性メモリは84.2%で持続し、Writeから後続行動までの攻撃は50.3%成功しました。汚染に成功した事例の59.6%が全実行連鎖を完了し、構成ごとに攻撃と選択的修復の差も見られました。
運用への示唆
メモリはデータベースではなく実行権限につながる信頼境界です。保存時に出所、利用者、権限を記録し、不信入力は命令ではなく引用データとして隔離します。
呼び出し時には現在の依頼とメモリの来歴を一緒に確認し、書き込み、支払い、外部送信前には元の指示と人の承認を再確認します。削除は文字列だけでなく要約やembeddingも追跡すべきです。
限界
査読前であり、harness、backend、判定方法により数値は変わり得ます。全ての本番権限や利用者行動を再現したものではありませんが、保存・結果・修復を一貫して追う設計は有用です。