ビーム | Seiya Tokui

今回執筆した「学習の熱力学理論シリーズ」は、非平衡熱力学の枠組みを用いて、学習という現象を有限時間における不可逆過程として捉え直そうとする試みである。 従来、機械学習はデータからパターンを抽出し、よりよい内部表現や知識を獲得するプロセスとして理解されてきた。しかし情報理論には、「決定論的変換は情報量を増やすことができない」という原理があり、学習によって新しい知識が生まれるという直感との間には、一見すると矛盾が存在する。 この問題に対して、先行研究では、有限時間・有限計算のもとで抽出可能な知識量を Epiplexity として定義することで、この矛盾に一つの整理を与えてきた。 今回の研究ではさらに一歩進め、学習とはモデルのアンサンブルにおけるパラメータ分布が時間とともに変化していく輸送過程であり、その過程が有限時間で実行される以上、本質的に不可逆であるという視点から学習を捉える。 通常、モデルの重みは単一の点として考えられ、この点が目的関数の勾配に従って更新されていく。しかしこの学習過程は、初期値やデータの順序、ノイズなどによって多様な結果を取りうる。こうした多様な結果、いわば「学習のパラレルワールド」を確率分布として捉えると、学習とは分布が時間とともに空間内を移動し、目的関数の値が低い領域（basin）へと集中していく過程として理解できる。 ここで重要なのは、この移動が不可逆であるという点である。一度確率質量が特定の領域に集中すると、元の広がった分布へ戻るためには追加のコストが必要となる。有限時間のもとでは、この過程は本質的に元に戻すことができない。 この「確率分布の有限時間における不可逆輸送」という観点に立つと、非平衡熱力学で導入されてきたエントロピー生成の枠組みを自然に導入できる。そして、ある状態から別の状態へ有限時間で輸送する際に必要となる不可逆コストには理論的な下限が存在し、これを Epistemic Speed Limit （ESL）と名付けた。 このESL下限は、学習アルゴリズムの種類には依存せず、初期分布と最終分布の幾何学的距離によって決まる。どれほど優れた学習手法を用いたとしても、有限時間での学習には避けられない不可逆コストが存在することをこの下限は示している。 例えば、知能の爆発的成長についての議論がある。仮にデータ量やモデル容量、計算力が無限に近い状況であっても、有限時間の中で知能を構築する限り、不可逆コストを回避することはできない。そのため、知能が瞬時に無限に拡張することは、この理論的制約と整合しない。（ただし、現実にはほぼ無限に見えるような急速な成長が観測されることは十分にありうるが） また、本研究は継続学習における忘却問題や、学習の難しさにも新しい解釈を与える。従来、これらの問題は情報の消失や、パラメータの変化として理解されてきたが、本研究ではそれを「到達可能性の喪失」として捉える。学習が進むにつれて分布が過度に集中すると、他の状態へ移行するための輸送コストが増大し、新しい課題への適応が困難になる。これは、学習における可塑性が失われる幾何学的な理由を示している。この点については、次の論文でより詳しく扱う予定である。 本研究は、熱力学、最適輸送理論、機械学習を統合する枠組みを提示するものである。同時に、これまでヒューリスティックに議論されてきた学習効率（データ設計、蒸留、カリキュラム学習）や継続学習の難しさ、学習の可塑性といった現象を、統一的な理論のもとで理解することを目指している。 この研究はシリーズとして展開していく予定であり、この枠組みに基づいて機械学習のさまざまなテーマを扱っていく。

LLM訓練時にデータを説明するメタデータを挿入することで学習効率が変わるのかを調べた東大鈴木研とPFNの共同研究がCOLM 2025に採択されました。学習効率を改善する利点が大きいが、隠れた情報を推定する能力を学習する機会が失われ、後続タスクの条件次第でトレードオフがあることを示しました