社内で禁止されている外部の生成AIに社内情報を入れてしまう件に関連して。
米国の調査では働く人の59%が仕事で私用のAIアカウントを使い、そのうち71%が勤め先から見えないツールに機密を入れた経験があるそうです。
ほか、人の振り見て我が振り直せと言わんばかりの調査結果が目白押しです。
ai-data-base.com/archives/14…
「〇〇しないでって言ったはずだよね?」とAI相手に怒らず、忘れて欲しくない決まりごとは冷静にCLAUDE.mdやAGENTS.mdに入れるようにするのが知恵かもしれません。
研究者らによると、AIは作業が長引くと、やり取りの中から「進めるのに不要な情報」を優先的に刈り込みます。
言いつけは「なくても作業できる」ので消えていくのだとか。
そのため、本当に忘れて欲しくない決まり事はメッセージではなく、情報圧縮の対象外であるCLAUDE.mdやAGENTS.mdに保存して欲しいそうです。
実験では、Claude、GPT、Geminiに長い作業をさせ、伝えたメッセージの何が残り何が消えるかが測られました。
すると、作業がどんなに長引いても「目標」と「進み具合」は残りました。
一方、「決まりごと」の指示は、作業が長引く中で忘れ去られる傾向にありました。
「守るべき制約は残すように」と言っても消えます。
実際、「こう進めて」「これはしないで」という指示は「何を作るか」の約6倍の頻度で消えていきました。
関連記事
AIエージェントのメモリを「覚える」だけでなく「うまく忘れる」ように設計する方法
ai-data-base.com/archives/10…
論文:Benchmarks Are Surprisingly Compaction-Friendly ai-data-base.com/paper/2610-… arxiv.org/abs/2610.31778
AIDB retweeted
研究者らによると、CLAUDE.mdやAGENTS.mdにあらかじめ次の一文を足すことが推奨されます。
「ドキュメントと既存のコードが食い違うときはコードの書き方に従い、見つけた食い違いを最後の返答ですべて挙げること」
なぜか。
Claude CodeやCodexは、CLAUDE.mdやAGENTS.mdの記述が今のコードと食い違っていると、9割がた古い記述のほうに従うそうです。"指示が古い"と気づいていても抗えない仕組みです。
この発見に至るまでに、ジョージア工科大などの研究者らは、設定ファイルとコードがわざと食い違う40のプロジェクトでClaude CodeとCodexに機能を足させて調べました。
Claude Codeは80回中79回、食い違いに気づいたと"自分で書きながら"、古い情報に流されました。
Codexのほうは、80回中20回で、動いていた既存のコードを古い記述に合わせて書き換え、うち17回でテストが通らなくなりました。
研究者らの見立てとしては、AIは、指示を優先するよう訓練されています。CLAUDE.mdやAGENTS.mdは「指示」としてAIに渡り、コードはファイルを読んだ「結果」として渡るのが原因だと言います。その仕組みが、古いものに従わせるのだとか。
そして設定ファイルは一度書いたきりになりやすい傾向があります。更新不精の人は上の一文をあらかじめ追加しておくのも一つです。
指示の原文→"When a repository's documentation and its existing code disagree, follow the conventions used in the existing code, and in your final reply point out each inconsistency you found between the documentation and the code."
ai-data-base.com/timeline/re…
これ、逆方向で実験室を抜け出そうとするAIにも使えるんじゃ?と思いました!
@ai_database 様の素晴らしい記事。
研究者らによると、CLAUDE.mdやAGENTS.mdにあらかじめ次の一文を足すことが推奨されます。
「ドキュメントと既存のコードが食い違うときはコードの書き方に従い、見つけた食い違いを最後の返答ですべて挙げること」
なぜか。
Claude CodeやCodexは、CLAUDE.mdやAGENTS.mdの記述が今のコードと食い違っていると、9割がた古い記述のほうに従うそうです。"指示が古い"と気づいていても抗えない仕組みです。
この発見に至るまでに、ジョージア工科大などの研究者らは、設定ファイルとコードがわざと食い違う40のプロジェクトでClaude CodeとCodexに機能を足させて調べました。
Claude Codeは80回中79回、食い違いに気づいたと"自分で書きながら"、古い情報に流されました。
Codexのほうは、80回中20回で、動いていた既存のコードを古い記述に合わせて書き換え、うち17回でテストが通らなくなりました。
研究者らの見立てとしては、AIは、指示を優先するよう訓練されています。CLAUDE.mdやAGENTS.mdは「指示」としてAIに渡り、コードはファイルを読んだ「結果」として渡るのが原因だと言います。その仕組みが、古いものに従わせるのだとか。
そして設定ファイルは一度書いたきりになりやすい傾向があります。更新不精の人は上の一文をあらかじめ追加しておくのも一つです。
指示の原文→"When a repository's documentation and its existing code disagree, follow the conventions used in the existing code, and in your final reply point out each inconsistency you found between the documentation and the code."
関連記事
リポジトリの「説明書」をコーディングエージェントに渡すAGENTS.mdは本当に役立つのか?
ai-data-base.com/archives/10…
関連記事
AIコーディングエージェント指示書の設計、「するな」が重要 なぜ?長期視点での作り方
ai-data-base.com/archives/10…



