交叉熵
交叉熵
zui小二乘
假设一个Sigmod函数，初始权重为0.6，偏置0.9，输入目标为1， 输出目标等于0。通过zui小二乘求解合适的权重和偏置，求解方法为梯度下降法，学习率
带入初始值后目标输出为0.817574。
根据zui小二乘的定义，定义函数f，并将其命名为评价函数。因此函数f的3D形状
沿着45°方向，上述方程截面分布
观察其梯度分布，整体指向左下角，并且两侧变换缓慢，中间变化快。因此，如果初始值在右上角，梯度下降的过程是一个先慢后快在变慢的过程。如果初始值在左下角，迭代过程会缓慢的进入平稳的状态
首先仍旧是以初始值(0.6, 0.9）开始，正好位于梯度下降的斜坡
如果将初始值移动到右上方，假设为(2.5, 2.5)，那么迭代过程会出现先慢后快，在趋向于稳定的过程。
zui后如果初始值位于左下角，假设是（-2.5， -2.5）
交叉熵
因为评价函数整体是一个两边平缓，中间陡峭的过程，导致梯度下降缓慢。因此引入新的评价函数：交叉熵代价函数
n是数据总量，x是输入，y是目标输出，a是对应函数。
通过以下3D图形和梯度图可知，整个函数zui终趋向于点(0.5,0.5），表明当a和y的分布是相同的时候，真个函数趋向于zui低点。因此使用交叉熵代价函数可以替代zui小二乘法生成的函数。
将Sigmod函数带入其中交叉熵代价函数，因此函数c定义为
如果按照梯度下降方法求解函数c，找到的必定是zui小值，或者说是梯度为零的位置
因此当
时，他的zui优解
交叉熵
仍旧是以输入为1，输出为0作为基础，初始点为(0.6, 0.9），学习率\[Eta]=0.15为条件，寻找合适的权重和偏置
观察其梯度分布，右上角分布陡峭，右下角分布平缓。
拖过下述的几个例子看出，交叉熵可以更快的接近目标值。
了解更多详情，请访问上海昊量光电的官方网页：
https://www.auniontech.com/three-level-46.html
更多详情请联系昊量光电/欢迎直接联系昊量光电
关于昊量光电：
上海昊量光电设备有限公司是光电产品专业代理商，产品包括各类激光器、光电调制器、光学测量设备、光学元件等，涉及应用涵盖了材料加工、光通讯、生物医疗、科学研究、国防、量子光学、生物显微、物联传感、激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等服务。
您可以通过我们昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。
展示全部 
