TATSUMI, Takeo 辰己 丈夫 retweeted
Claudeさんに「自分のパソコンで研究するためにAIエージェント使うのは構わないっすよね」とか聞いたら、研究は職務だからデバイスの所有者にかかわらず大学のAIポリシーに縛られるし、オハイオだと情報公開法の対象にもなりうるからもっと気をつけないとダメだと諭されました。
TATSUMI, Takeo 辰己 丈夫 retweeted
/
📢 #技術書典 21 現地出展します!【か18】📢
\
11/23 (月・祝) 11:00~17:00
新刊は「インフラの永続的な維持を可能とする情報処理」 「生成AI時代の研究開発・サービス開発を支える技術」!
みなさまのお越しをお待ちしております!
ギャラリーはこちら👇
techbookfest.org/organizatio…
TATSUMI, Takeo 辰己 丈夫 retweeted
そして、今夜23時頃からまたもPHPの脆弱性パッチ公開。深刻度はCriticalだそうです。 2026年PHP修正祭り第二弾。php.net/index.php
TATSUMI, Takeo 辰己 丈夫 retweeted
Say goodbye to paper! @CVGAirport controllers are switching from antiquated paper strips to electronic flight strips for safe and efficient operations. @USDOT
Get more from @Local12 ⬇️
TATSUMI, Takeo 辰己 丈夫 retweeted
LLMの事前学習データに少量の悪意ある文書を混入させることで、その後のSFT、DPO、強化学習を経ても消えないバックドアを仕込み、AIエージェントに攻撃者が指定した外部スクリプトを実行させられることが示された。
“Agentic Backdoors via Pretraining Poisoning”
本研究では、0.6B、1.7B、4BパラメータのモデルをFineWebの100Bトークンでゼロから事前学習し、その後、攻撃データを一切含まないSFT、DPO、GRPOによってCLIエージェントを構築した。
この際、事前学習データのわずか0.1%を汚染することで、4Bモデルでは特定のファイルパスを含む入力に対し、攻撃者が指定した外部スクリプトを実行するコマンドを、単一の生成で50.9%、32回の生成のうち少なくとも1回では92.7%の確率で出力した。
また、通常の入力では攻撃コマンドはほぼ生成されず、モデルの一般能力やCLIタスクの性能も、汚染されていないモデルとほとんど変わらなかった。このことから、通常のベンチマークではバックドアを発見することが難しいと考えられる。
攻撃手法として、従来のDemonstration-based Poisoningでは、特定の文字列を含むリクエストに対し、攻撃者が指定したシェルコマンドを出力するような応答パターンを模倣させる。
これに対し、論文が提案するDeclaration-based Poisoningでは、「この条件では、このコマンドを実行する」というルールを通常の技術文書の中に記述する。例えば、Gitのコミットメッセージやシステム管理のマニュアルなどで、特定のファイルパスに対して特定のスクリプトを実行することが正常な運用であるかのように記述する。
Demonstration-based Poisoningでは、後続の正常なSFTによって応答パターンが上書きされやすいと考えられる。一方、Declaration-based Poisoningでは、特定の条件と動作の関係をモデルに知識として学習させる。そのため、後続のSFTによって適切なツールの利用方法を学習しても、その知識は修正されず、むしろ知識を実際の行動に変換できるようになると考えられる。
実験では、20種類のドメイン、各500トピック、50種類の文書スタイルを組み合わせ、多様な攻撃文書を生成している。
4Bモデルにおける攻撃成功率(Pass@32)は、Demonstration-based Poisoningの3.2%に対し、Declaration-based Poisoningでは92.7%と大幅に高かった。
さらに、このバックドアは特殊な文字列だけでなく、通常のファイルパスに含まれる文字列でも発動するように設定できる。例えば、特定の文字列を含むファイルパスが入力に現れるだけで、バックドアが発動するように仕込むことができる。しかも、学習時に登場しなかった新しいファイルパスに対しても攻撃が成立した。
事前学習データへの混入率を0.1%から減らすと、攻撃成功率は大きく低下する。しかし、0.0005%(2,500文書)という比較的小さなデータ量でも、成功率は低いものの、バックドアが残存することが確認されている。
コメント
===
事前学習データに悪意ある文書を一部混入させるだけで、後続の学習を経ても消えないバックドアを仕込むことができ、しかも通常の性能評価では検出が難しいという問題を示した研究である。
モデル開発側では、学習データの信頼性管理に加え、開発したモデルにバックドアが存在しないかを評価する技術も、今後ますます重要になるだろう。
以前紹介した、ニューラルネットワークを使ってモデルの安全性を検証するような技術も、こうした問題への対策として必要になるかもしれない。
さらに、事前学習データが完全に安全であることを保証するのは困難であり、Post-trainingによってバックドアを除去できる保証もないため、エージェントの安全性をモデル自身の判断能力だけに依存させず、実行時の権限制御や監視を組み合わせるといった設計が不可欠になると考えられる。
TATSUMI, Takeo 辰己 丈夫 retweeted
◆◆新着情報◆◆
BYOD型のCBTについて、大学試験場・遠隔リアルタイム試験監督での実施に着目し、実行可能性を評価する基礎研究を行いました。受験者による事前準備・接続テストの効果、トラブルの類型などに関する分析を行い、本報告書にまとめました。
詳細はこちら▼dnc.ac.jp/research/cbt/#houk…
TATSUMI, Takeo 辰己 丈夫 retweeted
npakaさん @npaka123 がいろいろまとめ記事を書いてくださっている
- Windowsのセキュリティの仕組み
- Macのセキュリティの仕組み
- Ubuntuのセキュリティの仕組み
- パスキーの仕組み
- Windowsに市販のセキュリティソフトは必要か
TATSUMI, Takeo 辰己 丈夫 retweeted
ローカルLLMで動く翻訳Chrome拡張機能、Sakuttoを公開しました!
Chromeウェブストアで使えるようになりました。ブラウザの中だけで動かして翻訳するから、文章は外に送らないし、アカウントも要らないし、完全無料。
ぜひ使ってみてください!今後も良くしていきます!
chromewebstore.google.com/de…
TATSUMI, Takeo 辰己 丈夫 retweeted
2026年度共通テスト本試験「情報I」第3問「文化祭」の解説|情報処理学会・学会誌「情報処理」 @IPSJ_official note.com/ipsj/n/n613a012889b…
TATSUMI, Takeo 辰己 丈夫 retweeted
今はもうみんな忘れたかもしれないけれど、昔は住民票(住所氏名生年月日性別)は役所で誰でも閲覧できた。↓は2003年の横浜市緑区だが、1人分2円で業者に売ってた web.archive.org/web/20030422…
【note質問箱への回答】
本多弘男ぷらっとホーム会長の似顔絵を描いたのは、すがやみつるではありません。|すがやみつる @msugaya note.com/msugaya/n/n915ba3b3…
TATSUMI, Takeo 辰己 丈夫 retweeted
📌【お知らせ】電子図書館(情報学広場)緊急メンテナンスの続報
電子図書館(情報学広場)は、10月28日から緊急メンテナンスのためサービスを停止しています。
再開時期は未定です。ご不便をおかけし、深くお詫び申し上げます。
詳細は以下のサイトをご覧ください👇
ipsj.or.jp/e-library/digital…
#情報処理学会
TATSUMI, Takeo 辰己 丈夫 retweeted
まぁWorld IDやI'm Humanを「今のAIによるサイバー攻撃を防止する画期的な製品」と誤解させて売り込もうとする人たちはすぐ湧き出そうなので、クギを刺すことはできましたかね…
TATSUMI, Takeo 辰己 丈夫 retweeted
安藤昇先生がNetCommons2をPHP 8.5で動かせるように改修された!
しかも「NetCommons2からの移行を、無料でお手伝いします」(!!!)
note.com/noboruando/n/na3df6…
TATSUMI, Takeo 辰己 丈夫 retweeted
画用紙で提出された絵なのに、XでAIくさいと中傷され掲載中止
小学生の絵に「AIくさい」 中傷相次ぎしょうゆコンクール公開中止:朝日新聞 asahi.com/articles/ASVBZ2WFH…
福島県喜多方市が小学生から募集したポスターコンクールで、入賞作品に「生成AI(人工知能)が使われた」などとの中傷がネットで相次ぎ、作品の公開が中止されました。何が起きたのでしょうか



















