Boosting算法：开始时给每个样本附上权重的，在每次迭代的时候就会增加错的样本的权重，减少对的样本的权重，经过N次迭代之后，会得到N个分类器，然后我们再将他们组合起来，得到最终模型。
GB算法：每一次迭代的目标都是减少上一次的残差，所以在残差减少的方向上建立一个新的模型。在GB算法框架上加入决策树，就是GBDT（GradientBoost Decision Tree）算法。
偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。 方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。
