从格子上“醉汉乱走”，到布朗运动、马尔可夫链、PageRank，再到强化学习里的探索与蒙特卡洛估计——随机游走是一条贯穿概率、物理、计算与决策的主线。本文把模型语言理清，并串起各学科中的典型用法。Mathematica 里如何画出三维轨迹，见姊妹篇 Mathematica简单的三维随机游走及实现。

1. 模型语言

最简的简单随机游走（simple random walk）在整数格 ℤ^d 上：每步等概率走到一个邻居。一维即

S_n = X_1 + ⋯ + X_n,    P(X_i = ±1) = 1/2

三维六面邻接、八顶点对角，只是方向集不同，结构同属离散时间、独立增量的格点游走。

常见变体：

  • 有偏游走：方向概率不对称（漂移）
  • 连续时间：等待时间指数分布，得到连续时间马尔可夫链
  • 图上游走：状态空间是任意图的顶点，转移按边权
  • 自回避 / 增强游走：路径依赖，用于聚合物、网络生长等

尺度极限下，适当归一化的格点游走收敛到布朗运动（Wiener 过程）；扩散方程、热核、格林函数由此进入图像。

2. 随机过程中的核心事实

马尔可夫性

下一步只依赖当前位置，不依赖如何到达——随机游走是马尔可夫链的教科书例子。转移核 P(x, y) 在格点上是邻居上的均匀（或加权）分布；平稳分布、混合时间、hitting time 都可在此框架里讨论。

常返与瞬逝

波利亚定理：简单对称随机游走在 d = 1, 2 常返（几乎必然无限次回到原点），在 d ≥ 3 瞬逝（以正概率一去不返）。三维可视化里轨迹“扭来扭去却不再贴回原点”，与瞬逝性一致；二维则更容易“缠住自己”。

扩散尺度

零漂移时，位移的典型量级是 √n，均方位移 ⟨|S_n|²⟩ ∼ σ² n。有漂移时出现线性项 μ n。这是物理里扩散系数、金融里波动率、算法里混合步数估计的共同骨架。

首次到达与覆盖

hitting time、cover time、通勤时间（commute time）把“走到哪、走多久”量化；在图上，它们与电阻网络、拉普拉斯伪逆有精确联系——随机游走因此成为谱图论的一条腿。

3. 物理学与自然过程

  • 布朗运动与扩散：花粉、胶体粒子的轨迹；宏观上是扩散方程 / Fokker–Planck
  • 高分子：理想链可用随机游走近似；自回避游走更贴近真实聚合物构象
  • 渗流与输运：无序介质中的粒子迁移、导电通路
  • 湍流与莱维飞行：步长重尾时，扩散超扩散，模型从“格子醉汉”变成莱维过程

实验与仿真里，三维轨迹可视化（管道、粒子云、均方位移曲线）往往是检验模型是否“像扩散”的第一步。

4. 计算与网络

  • PageRank：有向图上的带重启随机游走；平稳分布即重要性分数
  • MCMC：Metropolis–Hastings、Gibbs 等用马尔可夫链采样；收敛速度由谱隙 / 混合时间控制
  • 图嵌入与节点相似度：DeepWalk、node2vec 等用短随机游走当“句子”，再做词向量式嵌入
  • 搜索与爬虫：无全局地图时，随机游走是最朴素的探索策略

共同模式：把离散结构变成可采样的轨迹，再从轨迹估计全局量。

5. 强化学习中的角色

强化学习把环境建成 MDP：状态、动作、转移 P(s'|s,a)、奖励。智能体在状态空间上的访问轨迹，本质上是由策略诱导的（常有偏）随机游走。

探索

ε-greedy、玻尔兹曼探索、随机游走探索（尤其在连续控制或稀疏奖励里）都是在“沿当前策略走”与“注入噪声”之间折中。没有足够覆盖，值函数估计会偏；覆盖过多又浪费样本——与马尔可夫链的混合 / 覆盖时间同一类权衡。

蒙特卡洛与 TD

蒙特卡洛方法沿整条回合轨迹累计回报；TD / Q-learning 则在轨迹的局部转移上做自举更新。二者都假设采样来自某种游走；off-policy 时还要用重要性采样修正“行为策略游走”与“目标策略游走”的差异。

状态访问分布

策略 π 诱导的平稳占用测度 d_π 决定了学到的值函数在哪些区域更准。分布偏移（训练游走 vs 部署游走）是 sim-to-real 与离线 RL 的核心困难之一。

与图 / 选项的联系

层次 RL、选项（options）、后继特征（successor features）里，经常显式使用多步转移或随机游走导出的可达统计，把“从这里出发容易到哪”编码进表示。

一句话：RL 里的学习信号，多半是挂在某条（受控）随机游走上的函数；游走的混合快慢、常返区域与奖励稀疏性，直接决定样本效率。

6. 金融、生物与其它

  • 金融：对数价格的随机游走假说；二叉树 / 三叉树是离散游走向 Black–Scholes 扩散极限的桥梁
  • 生物：觅食、细胞趋化、种群在斑块间的扩散；莱维飞行假说讨论最优搜寻
  • 统计物理中的抽样：伊辛模型等用 MCMC 游走估计配分函数相关量
  • 算法工程：负载均衡、推荐多样性、对抗样本的随机扰动，都可看成受约束游走

7. 从“能画”到“能用”的检查清单

问题可观察量 / 工具
有没有漂移？末端位移均值、方向直方图
像不像扩散？均方位移是否 ∝ t（或 ∝ n）
会不会困住？hitting / escape 时间，边界条件
混合够不够？自相关、谱隙、有效样本数
策略覆盖如何？状态访问直方图、occupancy 与目标分布的距离

三维可视化解决直觉；上面这些量解决“模型是否在说同一件事”。

8. 小结

随机游走既是最简单的随机过程之一，也是扩散、网络排序、MCMC 与强化学习采样的公共骨架。维数决定常返与否，漂移与约束改变尺度，策略把“醉汉”变成“有目的的探索者”。把格子上的轨迹画清楚，是理解这条主线的入口；把转移、占用与混合时间说清楚，才是跨学科迁移时真正可复用的部分。