政府网站建设人员的组织雅虎搜索引擎首页

loss funciton

上一节讲过损失函数，也就是代价函数，它是衡量模型训练好坏的指标，对于线性回归来说，模型、参数、损失函数以及目标如下：、

损失函数的目标当然是越小越好，因为模型最好就是期望等于真实值。

可视化损失函数

可视化函数的原因，是希望能够通过直观的看损失函数，同时更快的找到能够最小化损失函数的w和b，上一节为了简化，b始终为0做了损失函数的可视化：

实际损失函数J是关于参数是w 和b的函数, 损失函数是建立在三维空间中的，所以损失函数图如下：

其中这个类似碗形形状的底部，就是损失函数的最小值。

等高图

用3d的图来展示依然不是很值观，采用了等高图来表示更加直观：

可以想象一下就是三维空间映射到了二维空间，其中同一条等高线上的点具有相同的高度，也就是具备相同的损失值，如图上图中标注的三个点，虽然w和b各不相同，但是他们的损失是相同的。
另外注意的是，虽然经过了映射，但是性质不会变，靠近碗底的那个损失依然是最小的，如下所示，右侧中心的蓝点就是对应的最小值，左侧根据这个具体的w和b 画出了这条模型图，这些点与直线的距离就是误差：

分别给最小值周围的w和b，计算损失值，就可以找到合适的w和b，最小化这个损失，但显然这个方法太具有随机性。下一节我们会学习梯度下降这个算法，来实现最小化损失。