为什么high bias对应欠拟合 high variance对应过拟合（数学层面）

数学层面理解，工程师可以走了（不好意思）

为什么high bias对应欠拟合 high variance对应过拟合？ 假设模型$f$，输入$X$，输出$\hat{y}$，ground truth $y$

bias的定义： $$Bia{s}_y(\hat{y})=E_{x|\hat{y}}[\hat{y}]-y$$ 白话来说，是prediction和ground truth的均值差距。 显然（在训练阶段，）prediction越偏离ground truth，其越欠拟合。variance的定义（也就是方差，这里给广义方差）： $$Var(\hat{y})=E_{x|\hat{y}}[(\hat{y}-E[\hat{y}]{)}^2]$$ 白话来说，high variance是prediction对于ground truth的离散程度太高了。MSE: $$MSE(\hat{y})=Var(\hat{y})+Bia{s}_y(\hat{y})$$

举个例子： 对于一个判别任务，假设label、prediction都服从正态分布，想要“好的训练结果”，显然需要prediction分布的$\mu$和$\sigma$都要符合label的分布才算训练好。 而训练的不好的原因往往是$\mu$，$\sigma$都没有到位，也就是双高。high bias突出表现在均值偏离太大；high variance突出表现在离散程度太大。

参考资源： variance定义和bias定义，https://www.bilibili.com/video/BV1sb411s7eQ?p=3，18分23秒。