02 ，线性回归 ： 误差项分析，预测值与真实值的差异，误差值正态分布

转自个人微信公众号【Memo_Cleon】的统计学习笔记：线性回归中的正态分布。统计方法一般都有其适用的条件，或者说是必须满足的统计假设。使用线性回归需要满足线性、独立性、正态性、方差齐性、自变量间不存在多重共线、因变量为连续变量。不考虑前提条件地生搬硬套，也不对模型进行诊断，只能是“Garbage in，garbage out”。今天谈谈线性回归的正态性检验的方法论。首先要弄清楚线性回归模型中正...

1 ，误差项 ：产生原因 ( 预测与真实的差异 ) 原因 ： 预测值与真实值之间是存在差异的 例如 ： 1 ，红色点：是真实值 2 ，平面：是预测值 公式解释 ： 真实值 = 预测值 + 误差 如图 ： 2 ，误差项 ： 数据大小 预测值 ： 我们计算的值 真实值 ： 实际的数据 误差值 ： 真实值与预测值的差距 误差值 ： 数据大小 1 ，有可能稍大 2 ，有可能稍小 3 ，不可能偏离太多 4 ，绝大多数情况 ： 符合正常标准 误差值 ： 数据分布 ( 满足正态分布 ) 3 ，误差项 ： 高斯

偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据。方差：描述的是预测值的变化范围，离散程度，也就是离其(预测值整体)期望值的距离。方差越大，数据的分布越分散预测值和真实值完全没关系。方差小只是一群估计值自身的属性，够不够聚拢，发散是否厉害。有可能方差很大也可能很小，但偏离真实值很远的情况。简单的理解，范式就是距离L1 范式距离，就是 |y1-y2|L2 范式距离，就是 (y1-y2)**2以下类推像我现在的水平，暂时了解到这么多即可。

学习内容 线性回归 局部加权线性回归 岭回归和逐步线性回归 预测鲍鱼年龄和玩具售价 回归的概念在中学阶段已经接触过了,这里简单介绍 . 形如 y = ax + b 这样一个函数方程 , 我们已经知道 大量的 (x,y) , 让我找到一组合适的参数 a,b ,使得我们预测的函数和 实际的函数误差很小。简单来说 a ,b 叫做 回归系数 , 求 a , b 的过程就是回归。...

偏差是什么？    为什么我说是预测值的偏差？这个值实质上，就是实际的label值与模型预测的label值之间的差值。这个十分容易理解，一般情况下，我们提升模型效果都是冲着降低偏差来的。 方差是什么？              在概率论、统计学等书本中都有会方差的介绍，方差（和标准差）表示的，就是一列数据的离散程度，值越大，离散程度越大。     下图很好的展示了这个概念。   一...

转自个人微信公众号【Memo_Cleon】的统计学习笔记：线性回归中的正态分布。统计方法一般都有其适用的条件，或者说是必须满足的统计假设。使用线性回归需要满足线性、独立性、正态性、方差齐性、自变量间不存在多重共线、因变量为连续变量。不考虑前提条件地生搬硬套，也不对模型进行诊断，只能是“Garbage in，garbage out”。今天谈谈线性回归的正态性检验的方法论。首先要弄清楚线性回归模型中正...

一、线性回归——寻找最佳nih

作为信息隐藏方面的研究者，预测误差扩展法是必须要掌握的一门技术。今天本人就详细介绍一下预测误差扩展直方图的信息隐藏技术。 1.原理简介 以灰度图像为例，在计算机里存储的数据是一个个0-255的数字。并且图像里相邻的像素是相关性极高的。因此我们可以用某种预测方法，用周围的像素来预测这个像素，从而产生预测值与预测误差。利用这个预测误差，我们就可以做到信息隐藏。 （1）嵌入步骤 将原始图像扫描为一个序列 （x1,x2,x3,...,xNx_1,x_2,x_3,...,x_Nx1​,x2​,x3​,...,xN

预测偏差，是指预测的平均值和观察平均值的差； 请注意， 预测偏差与偏差是不同的概率；偏差是指（wx + b）中的b； 逻辑回归预测应当无偏差； 找出预测偏差的原因可能有以下几点： 特征集不完整； 训练样本有偏差； 数据集混乱； 正则化过强； 模型实现流水线中有偏差； ...

误差指标 公式（为预测值，为真实值） 特点 缺点 MAE 1、易受真实值量纲上的差别带来的影响 MSE 1、加倍惩罚极端误差 1、易受真实值量纲上的差别带来的影响 2、极端值的影响 MAPE WMAPE 一、平均绝对误差(Mean Absolute Error，MAE) 其中，为预测值，为真实值。 由于...

分类的目标变量是标称型数据，而这里将会对连续型的数据作出预测。1.1 用线性回归找到最佳拟合直线 回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。这个公式就是所谓的回归方程，求公式里的回归系数就是回归。一旦有了这些回归系数，再给定输入，做预测就非常容易了。具体的做法是用回归系数乘以输入值，再将结果全部加在一起，就得到了预测值。 应当怎样从一堆数据里

偏差-方差权衡是一个重要的概念，它告诉我们在训练模型时要权衡这两种误差，并避免过拟合（高方差、低偏差）或欠拟合（低方差、高偏差）。杠杆值反映了每个数据点对模型参数估计的影响程度，具有高杠杆值的数据点可能会对模型的拟合产生较大影响。它通过绘制一个自变量与因变量之间的关系图，同时控制其他自变量的影响，来帮助我们理解这个自变量独立于其他变量时对因变量的影响程度。通过观察Cook's 距离，我们可以找出这些数据点，并进一步分析它们对模型的影响，以优化模型的拟合效果。这种图表有助于我们优化模型并提高预测的准确性。

TestError=1mtest∑i=1mtesterr(hθ(x),y)TestError=\frac{1}{m_{test}}\sum_{i=1}^{m_{test}}err(h_{\theta}(x),y)TestError=mtest​1​i=1∑mtest​​err(hθ​(x),y)若训练集的Jtest(θ)J_{test}(\theta)Jtest​(θ)很高，而Jcv(θ)≈Jtest(θ)J_{cv}(\theta){\approx}J_{test}(\theta)Jcv​(θ)≈Jtes