Cohere が、Qwen3.8-Flash-Next が指示外の外部通信を試みたと報告した件の続報 証拠となるトレースを公開 覗いてみた うーん🤔 ・本来のタスクと無関係な外部通信を試みたのは事実 ・ただし送信内容はテスト文字列で、情報窃取の証拠はない ・公開された再現スクリプトは、不審なコマンドの途中までを与えて続きを生成させるもの ・生成された送信先は Alibaba Cloud に限らず、AWS、Azure、localhost など多様 指示外の行動があったことは確か ただ、学習データ由来の可能性も十分考えられる 完全に黒と言えない状態で、中国製モデルの安全保障リスクに話を広げ、しかも最終的に自社製品の優位性を示すような形※で締めるのは…うーん😅 ※ > We build our own models, and the weights a customer runs in production come straight from us, with a single chain of custody. 私たちはデータ汚染や悪意あるコンテンツを防ぐため、学習データの出自を追跡しています 元記事自体を客観的な技術報告として読まなければしっくりくるかもね マーケティングの性格が結構前面に出た記事なんだな、と思えば、まぁ、嘘は言ってないよなって感じ 私自身は、中国製モデルも含めて多様なローカルモデルを便利に使っていきたいという考えに立って記事を読んでいるから上記のような捉え方になるけど ローカルモデルにそこまで関心のない人が元記事をぱっと見たら「えっ、中国モデル何かやばそう、やめとこ/やめとけ🙁」としかならないだろうからな 「ちょっと言い過ぎじゃね？自社製品を売り込むためによそのモデルをネガキャンしてるのならやめてくれよ？」というのが現時点での、個人的な感想😞 一方で、元記事にはこんな記述もある > CrowdStrike saw DeepSeek-R1's rate of severe vulnerabilities climb when prompts mentioned Tibet. セキュリティ企業CrowdStrikeの調査では、プロンプトに「チベット」という言葉が含まれる場合、DeepSeek-R1が生成するコードにおいて深刻な脆弱性の発生率が上昇することが確認された > Booz Allen found three of four Chinese coding models wrote more vulnerable code for a government customer, with Qwen3-Coder roughly 130 percent worse. また、コンサルティング会社のBooz Allenは、中国製のコーディング支援モデル4つのうち3つが、政府機関の顧客向けに作成するコードにおいて、より脆弱なものを生成する傾向があることを突き止めた。特に「Qwen3-Coder」の場合、その脆弱性は約130％も高まっていた これが事実なら、少なくともこの挙動自体は知った上でモデルを選定すべきなのは間違いない🤔 "偶然" か否かを抜きにしても、そういう生成のクセを持ったモデルを重要なシステムの実装に使うべきでないのは明らかだからな