目录
前言
问题一：梯度是个啥？
问题二：梯度下降有啥用？
那么什么是损失函数（误差函数）？
问题三：梯度为啥要下降？
综上所述
刚接触机器学习的同学避不开的一个专业名词就是梯度下降。顿时心里万马奔腾，其实很简单的，你先得理解概念才能看到那些公式不怂。（当然本文全程无公式，书写用时2小时，阅读估计10分钟）
本文主要解决三个问题：
1. 梯度到底是啥？2. 梯度下降有啥用？3. 为啥要下降？
你如果能回答这个问题基本看书上梯度下降一些公式就清楚很多了。
解：依题意可得
翻译问题。☞按照问题一的解决方法可知：我们将“梯度为啥要下降？”这个问题翻译为：找误差函数最小值所对应的自变量，为啥要让导数的绝对值变小。我们看下图这个二次函数对应曲线就是误差函数（也就是损失函数，一般是叫损失函数，误差函数是我为了好理解说的），自变量是算法的参数，函数值是该参数下所产生拟合曲线与真实值之间的误差值。注意了，注意了，注意了：一般你看到梯度下降的公式最好想到下面这个图，对就假设误差函数就这么特殊，都是开口朝上，都是平滑的，都是只有一个导数为0的点，都是弯一下而不是弯很多下。
平常我们怎么求损失函数（误差函数）最小值？☞我们目标是求这个损失函数（误差函数）最小值时候对应自变量的值，也就是求曲线最低点自变量x的取值。用高中知识怎求最小值？老师说了求最值不要怂，上来求个导，然后让导函数为0时候取最值。告诉你还真就可以这么干的，简单粗暴。不过这个方法不是梯度下降，它有个很高端大气上档次的名字叫做正规方程（Normal Equation），吓到了吧这么简单的原理居然名字这么高端，所以嘛梯度下降也差不多就名字吓人而已。但是为啥这么简单粗暴容易理解，为啥还要用梯度下降呢？因为一般来说越简单粗暴的方法效率越低~，正规方程在数据量大时候太慢了，就像冒泡排序那么简单为啥排序算法一般不用冒泡排序一样。敲重点了>>>梯度下降和这个原理类似见下面梯度下降怎么求损失函数（误差函数）最小值？☞假如你拿着手机地图不用导航去找一个目的地怎么走？我一般是往某个方向走一段路程，然后发现好像离目的地近了，然后产生一个想法“这个方向能使得我离目的地距离更小”，然后我继续沿着这个方向走。（你就会疑问该不会梯度下降就这么做的吧，没错就是这么做的）。
注意了，注意了，注意了：一般你看到梯度下降的公式最好想到下面那个图，对就假设误差函数就这么特殊，都是开口朝上，都是平滑的，都是只有一个导数为0的点，都是弯一下而不是弯很多下。（哈哈怕你记不得，复制粘贴一遍）
想象下：
按照上面那个图的特点，假设这个图放大1万倍，大到你不能一眼看到最小值。那么要你找最小值对应的自变量x，你怎么找？？记住我们目的是为了找自变量x,记住我们目的是为了找x
你将可能会在电脑屏幕看到原先那个图的局部，按照它们单调性来分主要有这三种情况
当你遇到情况1：单调下降，导数为负（梯度为负），要想找到函数的最小值所对应的自变量的值（曲线最低点对应x的值）怎么走？当然是水平向右滑啦，也就是让x增大，此时随着x增大，导数（梯度）的绝对值是减小的（梯度下降含义懂了吧哈哈就这个意思）
当你遇到情况2：单调上升，导数为正（梯度为正），要想找到函数的自变量的值（曲线最低点对应x的值）怎么走？当然是水平向左滑啦，也就是让x减小，此时随着x减小，导数（梯度）的绝对值是减小的（也就是梯度下降）。
初学者学习交流机器学习资料分享Q群(718566626)
