3、收敛模式（Convergence pattern）注：BGD是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新，它得到的是一个全局最优解，但是每迭代一步，都要用到训练集所有的数据。问题：由于stochastic gradient是随机的，那么approximation是不精确的，SGD的收敛性是slow或者random？为了回答这个问题，我们考虑在stochast 
长河君 · 2026/9/29 9:44:27 · 阅读 1.2k RL-06-赵：随机逼近与随机梯度下降06：SGD算法的收敛模式（Convergence pattern）
3、收敛模式（Convergence pattern）注：BGD是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新，它得到的是一个全局最优解，但是每迭代一步，都要用到训练集所有的数据。问题：由于stochastic gradient是随机的，那么approximation是不精确的，SGD的收敛性是slow或者random？为了回答这个问题，我们考虑在stochast