てらモス🌹

連続拡散・フローベースの言語モデルの最近の進展をまとめたサーベイが公開されている。 “A Survey on Continuous Diffusion and Flow Language Models” 離散拡散言語モデルでは、現在の状態から複数位置のトークン分布を予測して並列生成する際、個々の周辺分布が正確であっても、トークン間の依存関係を正しく再現できないという問題がある。 例えば、「She is」と「They are」の2種類しか正解がない場合でも、各トークンを独立にサンプリングすると、「She are」「They is」も生成されてしまう。つまり、サンプリングの過程で確率分布の依存構造が失われてしまう。 これに対し、連続フローでは、各トークンの更新方向が系列全体の状態に依存するため、系列全体を結合した力学系として生成できる。速度場が正確に学習され、ODEが十分な精度で積分されれば、正しい同時分布を再現できる。ただし、ODEの数値積分には離散化誤差が生じるため、精度を高めるには多くの計算ステップが必要になる。 そこで、Flow Mapでは、任意時刻sの状態から時刻tの状態へ直接移す写像を学習することで、数値積分のステップ数を削減し、究極的には1回のネットワーク評価で生成を完了できる。 Flow Mapの学習には、事前学習したFlow Modelの長い生成過程を蒸留し、その上で同じモデル内で短い遷移を合成した結果を長い遷移の教師信号として利用する自己蒸留を用いる。 さらに、Categorical Flow Mapでは、有限時間の遷移をDenoiserの加重平均として表現できる。各時刻のDenoiserの出力が確率単体上にあれば、その加重平均も確率単体上にあるため、クロスエントロピーやKLダイバージェンスを用いて学習できるという利点がある。 本サーベイでは、いくつかの未解決問題も整理されている。 １つ目は、トークンをどのような連続空間で表現するべきかという問題である。 One-hot、Vocabulary Embedding、Contextual Embedding、圧縮された潜在表現、球面上の表現など、さまざまな方法が提案されているが、最適な表現方法はまだ明らかになっていない。 この中でも、各トークンの確率分布に基づいて埋め込みベクトルの加重平均を計算するExpected Embeddingが注目される。これは、Looped Transformerなどの反復推論において、離散的なトークンに確定させず、不確実性を保持したまま次の計算へ進むLAWなどの手法ともかなり似ている。 ２つ目は、自己回帰（AR）モデルと比較した学習計算効率には、依然として大きな差が残っている問題である。2026年には連続拡散・フローベースの言語モデルが数十億パラメータ規模までスケールし、離散拡散モデルに匹敵する成果も報告されているが、ARとは差がある。 さらに、事後学習、特に大規模な強化学習への対応も重要な未解決問題である。ARモデルでは生成したトークン系列の尤度を容易に計算できるが、連続生成モデルでは最終的な離散系列の尤度評価が難しく、既存の強化学習手法をそのまま適用することが困難である。 コメント === 拡散言語モデルの中でも、連続表現を利用した生成手法が再び大きな注目を集めている。数年前には十分な有効性が示されず、研究の中心は離散拡散モデルへ移っていたが、近年はFlow Map、Self-Distillation、表現学習、Noise Schedulingなど、理論・実装の両面で改善が進んでいる。 最後に述べられた事後学習への応用は、最近フローベースモデルで尤度計算が可能になった手法との融合が期待される。 また、研究上の標準的な分類とは異なるが、一つの見方として、連続拡散モデルの反復的なDenoisingは、Looped Transformer、特に各ステップの状態をトークン埋め込みの確率加重平均として表現と共通性がみられる。 通常の連続拡散モデルがノイズからデータ分布への輸送過程を学習するのに対し、Looped Transformerは反復計算によって予測や内部状態を洗練させる。両者は同じアーキテクチャで、連続状態を繰り返し更新し、最終的に離散トークンへ変換するという点では共通している。 こうしたことから、単なる生成の高速化ではなく、モデルの推論能力そのものを高める方向での利用が興味深い。Flow Mapによる長い生成/推論過程の圧縮が可能となってくるのではないだろうか。