高维协变量部分线性模型的轮廓自适应弹性网络方法外文翻译资料

英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料

统计规划与推理杂志142（2012）1733–1745

高维协变量部分线性模型的轮廓自适应弹性网络方法

陈白城、姚宇、邹汇、华亮

^一上海财经大学统计系，中国上海罗切斯特大学生物统计与计算生物学B系，美国纽约州罗切斯特市罗切斯特大学14642，美国明尼苏达大学C系，明尼阿波利斯，明尼苏达州55455

副产品是轮廓和

1.介绍

考虑部分线性模型（plm-hardle–et al.，2000）

(1.1)

其中xfrac14;_x1，hellip;，xp_t和z是线性和非参数分量，g_222;是未知的光滑函数。当尺寸数p较大时，我们对参数分量x的变量选择过程感兴趣，这可能取决于样本大小。我们建议使用自适应弹性网（Xie and Huang，2009）在PLM中进行变量选择，使用剖面最小二乘法将部分线性模型转换为经典线性回归模型。

在过去的十年中，我们见证了各种模型的变量选择的巨大进步，自从提出了两种优雅的基于惩罚的方法：最小绝对收缩和选择算子（Lasso）惩罚（Tibshirani，1996）和平滑剪裁绝对偏差（SCAD）惩罚（Fan和Li，2001，2002）。文献中研究了大量的惩罚方法。例如，见邹和黑斯迪（2005）、梅恩绍森和布尔曼（2006）、邹（2006、2008）、赵和余（2006）、黄等。（2008、2009）和van de Geer（2008）。近年来，研究人员还考虑了惩罚方法在半参数和非参数模型中的应用。例如，Li和Liang（2008）表示半参数模型，Liang和Li（2009）表示带有测量误差的部分线性模型。黄等人。（2010）和Ravikumar等人（2009）研究了高维非参数稀疏加法模型。解和

ⁿ通讯作者。

电子邮箱：h liang@bst.rochester.edu（H.Liang）。

-3758元/美元-见《前端问题与2012爱思唯尔有限责任公司》。保留所有权利。

doi:10.1016/j.jspi.2012.02.035

黄（2009）、倪等。（2009）研究了具有不同数量线性协变量的部分线性模型的变量选择。值得注意的是，Xie和Huang（2009）要求p2=n-0作为n-1。

PLM作为线性模型和加性模型之间的折衷，用非参数函数代替一个线性分量，在文献中得到了很好的研究，并被广泛用于探索治疗反应与兴趣预测之间的复杂关系（Hardle等，2000年）。例如，见Opsomer和Ruppert（1999）、Zeger和Diggle（1994）、Severini和Staniswalis（1994）、Robinson（1988）、Speckman（1988）和Engle等人。（1986）。PLM的一个吸引人的特点是，预先模拟的过程可以将它们转换为标准的线性模型。相应地，线性参数可以在一定条件下以根速率估计。请注意，当收集了许多协变量时，冗余变量可能会进入PLM，并且应该排除在最终模型之外。本文的动机是我们是否可以采用最初为PLM线性模型开发的变量选择程序。如果是这样，PLM的变量选择变得更容易处理。我们证实了自适应弹性网络程序的这一猜想。然而，给出一个理论依据并不容易，因为基于预先模拟模型的“合成”数据并不独立。

本文的其余部分组织如下。第二节介绍了PLM的预平滑过程、自适应弹性网络过程及其变化。第3节介绍了所提出程序的渐近性质。结果估计量显示具有Oracle属性。蒙特卡罗模拟结果表明，所提出的程序在中等样本量下运行良好。通过一个实例说明了该方法的应用。所有技术证明都留在附录中。

2. 异形自适应弹性网

2.1. 分析的反应和预测因素

在部分线性模型中，使用剖面最小二乘法将半参数模型转换为线性设置（Fan和Huang，2005；Speckman，1988）。注意。从这个方法可以看出

(2.1)

如果和已知，这是一个标准线性模型，我们可以采用Zou和Zhang（2009）开发的程序来研究部分线性模型的变量选择。我们的策略是首先非参数地估计两个条件期望和，然后用（2.1）中的两个估计代替。通过这种预光滑技术，我们可以为部分线性模型开发一个变量选择过程。

设是型号（1.1）中尺寸n的IID样品。设和类似的z。在矩阵表示法中，（1.1）可以表示为

(2.3)

本文采用局部线性方法估计和（Fan和Gijbels，1996），将这些估计值表示为和。在下面的内容中，我们定义了

设为，称为基础模型的内部维度的大小。我们希望揭示集合A并估计相应的系数。

2.2. 刑罚功能的选择

在分析之后，我们可以将常用的惩罚最小二乘法应用于“合成”数据。正如引言部分所讨论的，文献中提出了许多不错的惩罚函数。在这项工作中，我们选择使用自适应弹性网罚。如邹、张（2009）所示，自适应弹性网络结合了自适应lsquo;1rsquo;惩罚的优点（邹，2006）和二次正则化的力量来处理实际数据分析中经常出现的共线性问题。

自适应弹性网络程序有两个步骤。首先，我们构造了弹性净估计量，定义如下：

(2.3)

弹性网络不具备SCAD的预言性质。在第二步中，我们使用弹性净估计量通过

，其中g是一个正常数。然后，我们解决以下优化问题，得到自适应弹性网络估计。（2.4）

从现在开始，为了简单起见，我们编写

为了避免在权重计算中除零，可以使用。我们也可以定义当。这两种选择在渐近理论上没有区别。设 和 表示其补码集。然后我们有和

其中在（2.6）是长度为的矢量，即的大小。

这个正则化参数和控制弹性网络的稀疏性和自适应弹性网络估计量。允许它们的值不同。根据邹和张（2009）的建议，我们对弹性网中的惩罚分量和自适应弹性网估计量使用相同的。

三.理论性质

邹、张（2009）证明了范、李（2001）意义上的自适应弹性网络的甲骨文性质。在这一部分中，我们证明了轮廓自适应弹性网络也具有Oracle特性。

给定数据让是一个向量，其分量都是非负的，并且可以依赖于。定义非负参数和。如果代表所有j，为了方便起见，我们用表示。_J

定理3.1根据附录中给出的假设a和b，我们定义

从定理3.1可以看出，在假设a和b下，，是一个根-（n/p）一致估计量。该一致率与线性模型一致，保证了弹性网络仍然适用于PLM中的自适应权值构造。写下并定义

定理3.2是（2.5）的解，概率趋于1。

定理3.2给出了自适应弹性网络准则解的渐近特征。的定义借用了“Oracle”的概念（Donoho等人，1995；Fan和Li，2001；Fan和Peng，2004；Zou，2006）。如果有一个Oracle通知我们真正的子集模型，那么我们将使用这个Oracle信息，自适应弹性网络标准将成为（2.6）中的标准。定理3.2还表明，所描述的自适应弹性网络工作起来就像它有这样的Oracle信息一样，并且表明所描述的自适应弹性网络具有Oracle属性，如下一个定理所示。

定理3.3.在假设A和假设B下，剖面自适应弹性网络具有Oracle特性，即估计量满足:

1. 选择一致性：pr

2. 渐近正态性：其中和a是范数1的向量。^T_一¹=_一^1＝2_一一²_一^~t_一^~_一

定理3.3为参数发散数的PLM所用的压型自适应弹性网络提供了理论依据。从技术上讲，该方法使我们能够经验地选择显著的协变量，并且非零参数的相关估计是渐近正态的。此外，让满足条件（a5）和（a6）的选择l2permil;0，结果减少到，表明得到的估计量是半参数有效的（Bickel等人，1993）。

值得注意的是，尽管本节中的定理与Zou和Zhang（2009）中的定理非常相似，但证明中存在重要的技术差异。在分析之后，不再是IID样本，它们不完全遵循线性模型。我们已经仔细地研究了这个理论，并且很清楚地看到，仿形确实如我们所期望的那样工作，也就是说，它将一个半参数变量选择问题转化为一个具有伪数据的等效参数变量选择问题。^{^}

4。模拟研究

我们进行了模拟研究，以评估该方法的有限样本性能。邹、张（2009）广泛比较了套索（lasso）、弹性网（enet）、自适应套索（alasso）、自适应弹性网（aenet）和SCAD五种方法，认为自适应弹性网是套索类中最好的一种方法，本文着重介绍了自适应弹性网（aenet）及其与欧州市SCAD的比较。R实施。常用的调节参数选择方法有交叉验证、广义交叉验证（GCV）、AIC和BIC。Zou等人（2007）和Wang等人（2007）提倡使用BIC来选择套索调谐参数。我们还使用BIC来选择调谐参数。

我们从PLM回归模型中生成数据：

其中是p-dim向量，和x遵循p-dim多元正态分布，平均值和协方差为零，r的（j，k）此项为，为0.5或0.75。我们考虑了三种非参数情况：

（a），

（b），

（c）

非参数分量z均匀分布在[0，1]上。

对于每个估计量，其估计精度通过定义为的均方误差（mse）来测量。变量选择性能由零（c）正确估计的零系数数和零（ic）错误估计的非零系数数评估。

例1。对于；，设1 m/0 m表示1 s/0 s的m矢量。真实系数为和和。请注意，因此我们使用计算自适应弹性网络中的自适应权重。

表1报告了模拟结果。SCAD和自适应ENE对正确和错误选择的协变量的响应结果与Zou和Zhang（2009）对线性模型得出的结果相似。在所有三个方面

表1

例如1的模拟结果。基于100个复制的模型选择。

N PN 9A9（A）（B）（C）型