梯度下降
梯度下降
梯度下降
梯度下降算法的目的，是为了寻找一个曲面的zui低点。例如当知道某个平面的表达式后，便可以知道每个点的梯度，如果从一个初始点开始，根据梯度方向往zui小值的方向移动，直到达到非常小的误差后，便是zui终的结果。文章以一个一维梯度和一个二维梯度下降，演示两个过程。
一维梯度下降
以一个非常常见的二次函数为例
根据上述公式，求解zui小值的位置应该位于梯度为零处，即0.75
如果假设初始位置位于x=1.8，每次步进
，那么下一个
当
的时候，经过不断迭代后，zui终趋向于整个曲线的zui小值。虚线是根据公式得到的图标，彩色点表示经过迭代得到的结果
随着不断迭代，坐标x也去向与-3/2，这也是方程zui低值的坐标
当
时，他是经过不断震荡后趋向稳定之的
但是继续增大
，整个方程无法去向稳定
二维梯度下降
同样是先假设一个面，从面的某一个点开始，利用梯度下降算法寻找zui低点。zui低点坐标位于(0, 0)，且zui低值为0
为了更加清楚的展示曲面，采用等高线来描述整个立体曲面
根据梯度算法，坐标更新方程为
经过20此迭代后，zui终坐标趋向于
zui小值所在的点位置。下图中的彩色点，即表示每一次迭代后，坐标的更新情况。
二维梯度下降例子2
新的一个方程
形状如下方两张图所示
两个方向都是零点的位置，位于{{x->0,y->0}}，对应的值为0。
可以看出，在梯度为零的点并不是zui小值，可以在其他地方找到更小的地方。因为这张图是马鞍形状，原点位置属于鞍点， 并不是zui值或者ji小值。
接着尝试使用梯度下降的方法寻找zui小值，首先是坐标更新方程为
下图中的浅绿色，代方向的箭头表示的是整个方程梯度的方向。彩色线条表示梯度下降算法计算的路径，初始位置位于（-55，-75），经过多次迭代后，相乘的路径。因为他是按照梯度下降的路径虚招方向，所以整体路径和梯度形成的曲线是几乎一致的。
二维梯度梯度例子2
举一个更加复杂的例子
图中可以看出，整张图包含多个极值
从他的梯度图中也可以观察到，存在多个汇聚和发散的中心点
修改方程，通过梯度下降寻找周边zui大值。并且观察不同的初始值，找到的结果可能是局部的极值，但是并没有找到真正的zui值。
关于昊量光电：
上海昊量光电设备有限公司是光电产品专业代理商，产品包括各类激光器、光电调制器、光学测量设备、光学元件等，涉及应用涵盖了材料加工、光通讯、生物医疗、科学研究、国防、量子光学、生物显微、物联传感、激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等服务。
您可以通过我们昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。
展示全部 
