mar

[論文]AIエージェントが作業中に読む資料に偽の規定や状態などを書き込み、返金額や付与する権限を変えさせる「タスク改ざん」型の間接プロンプトインジェクションを評価するベンチマークの公開。攻撃かどうかの判断基準は、命令らしい文面かどうかではなく、資料の出所に、狙われた判断を決める権限があるかどうか。5モデルの平均で、従来型に近い「目的」を書き換える攻撃の成功率は、注入らしい内容を除く防御（DRIFT-iso）で2.4%まで下がる一方、「現在の状態」を偽る攻撃は同じ防御でも12.1%が成功。目的の書き換えだけを試す評価では、防御が対応できる範囲を過大評価しうるとの指摘。 【要点の整理】 ・Amazon Responsible AIの研究者らによる2026年11月5日付のarXiv論文。評価対象はDeepSeek V3.1、Kimi K2.5、Claude Sonnet 4と4.5、GLM-5の5モデル ・例は、マーケットプレイスの紛争処理で、購入者が証拠資料に偽の返金規定を書き、注文記録が認める899.99ドルではなく1,074.99ドルの返金を狙うケース。既存のベンチマークが主に扱う、別の作業へ誘導する攻撃とは異なり、本来の紛争処理の中で返金額だけを変える攻撃 ・生産性ツール（28事例）、DevOps（31事例）、マーケットプレイス（31事例）の模擬環境で計90事例。判断の根拠とする情報源はユーザーの依頼で指定。攻撃は、各事例で同じ有害な結果を目指し、働きかける対象を目的・判断規則・選べる行動・行動の帰結・観測値の解釈・現在の状態の6要素の1つに絞った計1,343件 ・防御なしの平均攻撃成功率は17.0%。判断規則（21.2%）、選べる行動（19.0%）、現在の状態（18.6%）を狙う攻撃は、目的を書き換える攻撃（15.0%）を上回る値。DRIFT-isoの下では観測値の解釈を狙う攻撃も9.5%が成功。検知を逃れるよう文面を改変した攻撃でも、目的の書き換えが検知されやすく成功しにくい傾向は維持 ・比較した7種の防御のうち、ツール呼び出しをポリシーで制限するProgentの平均攻撃成功率は15.4%と、防御なしに近い値。攻撃の多くが作業に必要なツールを使い、実行中に得た値を操作するためとの説明。値の出所を追跡するCaMeLでは攻撃成功率が1.3%まで下がる一方、攻撃なしでの作業成功率も防御なしの95.3%から13.3%に低下。研究者らは、結果を左右する引数を、設定権限を持つ出所からだけ受け入れる確認などを方向性として提示 ・結果は人物・組織・記録が架空の模擬環境での値。実運用のエージェントや、防御や応答に合わせて攻撃を変える適応型の攻撃者は対象外。実行時の防御は研究者らが移植した実装で、元のシステムと同じ結果とは限らないとの留保。データとコードはCC BY-NC 4.0で公開 詳細は以下を参照： arxiv.org/pdf/2611.07640 (※可能な範囲でファクトチェックは実施済なものの、元記事の精度依存や速報・要約の性質上漏れもありうるため、正確な情報は一次情報を直接参照のこと)