Sakura Entropia

一、强化学习基础 马尔可夫决策过程（MDP）：状态、动作、转移概率、折现回报 价值函数与 Q 函数：Bellman 方程 动态规划：已知模型时怎么求解（价值迭代） Q 学习：不知道模型时，边试边更新 Q 函数 探索与利用：$\varepsilon$-greedy bandit：只有一个状态的 MDP 换成经济学语言：Q 学习者是一个怎样的有限理性参与人，和重复博弈中的学习（Fudenberg–Levine）有什么对应 用于：Banchio 二、训练的统计学视角 最小二乘回顾 岭回归：惩罚项、闭式解、为什么估计量被“拉向”零 贝叶斯解释：岭回归等于正态先验下的后验均值 正则化就是锚定：从“拉向零”到“拉向初始值”，和 KL 正则项的对应 最优实验设计：信息矩阵，选数据就是选信息矩阵 Kiefer–Wolfowitz 等价定理 用于：Gao–Wolitzky 三、泛函分析（希尔伯特空间） 有限维先行：内积、正交投影、对称矩阵的特征分解 从 $\mathbb{R}^n$ 到 $L^2$：函数也是向量 投影定理 Riesz 表示：线性泛函都是内积 自伴算子与谱分解：对称矩阵在无穷维的样子 再生核希尔伯特空间（RKHS） 把岭回归写成算子形式：Gao–Wolitzky 的计算框架 用于：Gao–Wolitzky 四、随机逼近 Robbins–Monro 步长条件 ODE 方法（Benaïm、Borkar）：噪声迭代的长期行为由 $\dot x=h(x)$ 决定 马尔可夫跳过程与 Kurtz 流体极限：同一结论的另一种证法 把 Q 学习写成随机逼近 用于：Banchio 五、动力系统 相图、不动点 稳定性：线性化、Lyapunov 函数 右端不连续的微分方程：Filippov 微分包含 滑动：轨迹为什么会沿着不连续面运动 用于：Banchio（第四章之后读） 六、单调比较静态与格论 格与子格 超模性与递增差分 Topkis 定理：参数上升时最优选择也上升 互补性的经济含义 在论文里的样子：“对齐和可解释性互补”这类结论怎么用 Topkis 表述

博弈论四个目的决定不同分支 预测： 给定博弈，参与人会怎么做？这是经典博弈论（小西在这里）。 设计： 反过来，委托人能不能设计规则，让参与人做出他想要的事？这是机制设计和信息设计，Myerson、Rochet、Bergemann–Morris 都在这里。 学习： 参与人不是一开始就在均衡上，他们通过反复试错会走到哪里？这是 Fudenberg–Levine 和 Banchio 的 Q 学习。 计算： 均衡能不能在合理时间内算出来？这是算法博弈论特别关心的一支（roughgarden，hartline）。