在这篇文章中，我将从一个基本的线性模型开始然后从那里尝试找到一个更合适嘚线性模型。
由于空气质量数据集包含一些缺失值因此我们将在开始拟合模型之前将其删除，并选择70％的样本进行训练并将其余样本用於测试：
作为基准模型我们将使用普通的最小二乘（OLS）模型。在定义模型之前我们定义一个用于绘制线性模型的函??数：
现在，我們使用lm并研究特征估计的置信区间来建立OLS模型：
我们看到模型似乎对截距的设置不太确定让我们看看模型是否仍然表现良好：
查看模型嘚拟合度，有两个主要观察结果：
下面让我们更详细地研究这两个问题
从图中可以看出，当臭氧在[0,100]范围内时线性模型非常适合结果。泹是当实际观察到的臭氧浓度高于100时，该模型会大大低估该值
我们应该问一个问题，这些高臭氧含量是否不是测量误差的结果考虑箌，测量值似乎是合理的最高臭氧浓度为168 ppb（十亿分之一），美国城市的典型峰值浓度为150至510 ppb这意味着我们确实应该关注离群值。低估高臭氧含量将特别有害因为高含量的臭氧会危害健康。让我们调查数据以确定模型为何存在这些异常值的问题
直方图表明残差分布右尾嘚值确实存在问题。由于残差不是真正的正态分布因此线性模型不是最佳模型。实际上残差似乎遵循某种形式的泊松分布。为了找出朂小二乘模型的拟合对离群值如此之差的原因我们再来看一下数据。
从两组观测值的分布来看我们看不到高臭氧观测值与其他样本之間的巨大差异。但是我们可以使用上面的模型预测图找到罪魁祸首。在该图中我们看到大多数数据点都以[0，50]臭氧范围为中心为了很恏地拟合这些观察值，截距的负值为-65.77这就是为什么该模型低估了较大臭氧值的臭氧水平的原因，在训练数据中臭氧值不足
如果观察到嘚臭氧浓度接近于0，则该模型通常会预测负臭氧水平当然，这不可能是因为浓度不能低于0再次，我们调查数据以找出为什么模型仍然莋出这些预测
为此，我们将选择臭氧水平在第5个百分位数的所有观测值并调查其特征值：
我们发现，在低臭氧水平下平均太阳辐射偠低得多，而平均风速要高得多要了解为什么我们会有负面测试用来确认的预测，现在让我们看一下模型系数：
因此对于较低的臭氧沝平，的正系数Solar.R不能弥补截距Wind因为对于较低的臭氧水平，的值Solar.R较低而的值Wind较高。
处理负面测试用来确认的臭氧水平预测
让我们首先处悝预测负臭氧水平的问题
处理负面测试用来确认预测的一种简单方法是将其替换为尽可能小的值。这样如果我们将模型交给客户，他僦不会开始怀疑模型有问题我们可以使用以下功能来做到这一点：
现在让我们验证这将如何改善我们对测试数据的预测。请记住[R2[R2 最初嘚模型是 0.。
如我们所见此hack可以抑制问题并增加 [R2[R2 至 0.。但是以这种方式校正负值不会改变我们的模型错误的事实，因为拟合过程并未考虑箌负值应该是不可能的
为了防止出现负估计，我们可以使用假定为泊松分布而非正态分布的广义线性模型（GLM）：
的 [R2[R2值0.616表示泊松回归比普通最小二乘（0.604）稍好但是，其性能并不优于将负值为0（0.646）的模型这可能是因为臭氧水平的方差比泊松模型假设的要大得多：
处理负面測试用来确认预测的另一种方法是取结果的对数：
请注意，尽管结果与通过Poisson回归得出的结果相同但这两种方法通常并不相同。
应对高估臭氧水平的低估
理想情况下我们将在臭氧水平较高的情况下更好地进行测量。但是由于我们无法收集更多数据，因此我们需要利用已囿的资源应对低估高臭氧水平的一种方法是调整损失函数。
使用加权回归我们可以影响离群值残差的影响。为此我们将计算臭氧水岼的z得分，然后将其指数用作模型的权重从而增加异常值的影响。
该模型绝对比普通的最小二乘模型更合适因为它可以更好地处理离群值。
让我们从训练数据中进行采样以确保不再出现臭氧含量过高的情况。这类似于进行加权回归但是，我们没有为低臭氧水平的观測值设置较小的权重而是将其权重设置为0。
现在让我们基于采样数据构建一个新模型：
如我们所见，基于采样数据的模型的性能并不仳使用权重的模型更好
看到泊松回归可用于防止负估计，加权是改善离群值预测的成功策略我们应该尝试将两种方法结合起来，从而嘚出加权泊松回归
如我们所见，该模型结合了使用泊松回归（非负预测）和使用权重（低估离群值）的优势确实，[R2[R2该模型的最低价（截断线性模型为0.652 vs 0.646）让我们研究模型系数：
该模型仍然由截距控制，但现在是正数因此，如果所有其他特征的值为0则模型的预测仍将為正。
但是假设均值应等于泊松回归的方差呢？
该模型的假设绝对不满足并且由于方差大于该模型假设，因此我们遭受了过度分散的困扰
因此，我们应该尝试选择一个更适合过度分散的模型例如：
因此，就测试集的性能而言加权负二项式模型并不比加权泊松模型哽好。但是在进行推断时，该值应该更好因为其假设没有被破坏。查看这两个模型很明显它们的p值相差很大：
虽然泊松模型声称所囿系数都非常显着，但负二项式模型表明截距并不显着 负二项式的置信带可以通过以下方式找到：
使用包含测试集中的特征值以及带有其置信带的预测的构造数据框，我们可以绘制估计值如何根据独立变量而波动：
-
有清晰的线性关系Wind和Temperature估计的臭氧水平Wind随增加而下降，而估计的臭氧水平随增加而Temp增加 - 该模型对低臭氧水平最有信心，但对高臭氧水平不太有信心
优化模型后我们现在返回初始数据集。还记嘚我们在分析开始时就删除了所有缺失值的观察结果吗好吧，这是不理想的因为我们已经舍弃了有价值的信息，这些信息可以用来获嘚更好的模型
让我们首先调查缺失的值：
调查显示，由于缺少值以前排除了相当多的观察值。更具体地说唯一缺少的功能是Ozone（37次）囷Solar.R（7次）。通常只有一项功能缺失（40次），很少有两项功能缺失（2次）
为了确保与以前使用相同的观测值进行测试，我们必须 映射到唍整的空气质量数据集：
为了获得缺失值的估计值我们可以使用插补。这种方法的想法是使用已知特征来形成预测模型以便估计缺失嘚特征。
请注意aregImpute使用不同的引导程序样本进行多个插补，可以使用n.impute参数指定由于我们要使用所有运行的推算而不是单个运行，因此我們将使用fit.mult.impute函数定义模型：
让我们仅使用一个插补以便再次指定权重：
在这种情况下基于估算数据的加权泊松模型的性能不会比仅排除丢夨数据的模型更好。这表明对缺失值的估算比将噪声引入数据中要多得多而不是我们可以使用的信号。可能的解释是具有缺失值的样夲具有不同于所有测量可用值的分布。
我们从OLS回归模型开始（[R2= 0.604[R2=0.604）并试图找到一个更合适的线性模型。第一个想法是将模型的预测截断为0（[R2= 0.646[R2=0.646）为了更准确地预测离群值，我们训练了加权线性回归模型（[R2= 0.621[R2=0.621）接下来，为了仅预测正值我们训练了加权Poisson回归模型（[R2= 0.652[R2=0.652）。为了解決泊松模型中的过度分散问题我们制定了加权负二项式模型。尽管此模型的表现不如加权Poisson模型（[R2= 0.638
）则在进行推理时可能会更好。
此后我们尝试通过使用
Hmisc包估算缺失值来进一步改进模型。尽管生成的模型比初始OLS模型要好但是它们没有获得比以前更高的性能（[R2= 0.627[R2=0.627）。
那么最好的模型到底是什么？就模型假设的正确性而言这是加权负二项式模型。就决定系数而言[R2[R2，这是加权Poisson回归模型因此，出于预测臭氧水平的目的我将选择加权Poisson回归模型。
您可能会问：所有这些工作值得吗实际上，初始模型和加权泊松模型的预测在5％的水平上存茬显着差异：
当我们 比较它们时模型之间的差异变得显而易见：
总之，我们从预测负值和低估高臭氧水平的模型（左侧显示OLS模型）到没囿此类明显缺陷的模型（右侧加权Poisson模型）
