回归分析第1讲——预备知识

欢迎学习回归分析！在学习主要内容之前，我们需要一些预备知识，方便后续理解重要的公式和定理。当然，这里要讲的前置知识不包括也不限于：

• 微积分
• 线性代数
• 概率论
• 统计推断
• Python
• R
• …

这些内容应当是最基础的知识，不在本讲的讨论范畴。如果有需要请自行学习，或者关注博主，博主后续计划发布基础知识的相关文章。

一、投影矩阵基本知识

1.1 幂等矩阵及其性质

幂等矩阵是指矩阵在进行幂次变换后与原始矩阵一致，也就是：

$$P^2=P$$

幂等矩阵有如下基本性质：

1. 幂等矩阵一定可对角化，特征值非0即1。
2. 如果矩阵$P_{n\times n}$是幂等矩阵，那么$I_n-P_{n\times n}$也是幂等矩阵，其中$I_n$是单位矩阵。
3. 矩阵$P_{n\times n}$是幂等矩阵的充要条件是：$rank(P)+rank(I_n-P)=n$

（不想阅读可跳过）

第3条性质的证明

首先，如果$P_{n\times n}$是幂等矩阵，那么$rank(P)+rank(I_n-P)=n$显然成立（通过特征值来思考），不再详细证明。下面证反之也成立。

设$rank(P)=r<n$，令$S=\{x|Px=0\}$，于是$S$的维数为$dimS=n-r$，则可以取$S$上的一组基$\phi_1,\cdots,\phi_{n-r}$；

同理，令$H=\{x|(I_n-P)x=0\}$，于是$S$的维数为$dimH=r$，则可以取$H$上的一组基$\phi_{n-r+1},\cdots,\phi_n$。

由于这两组基一定是线性无关的，那么令$\Phi=(\phi_1,\cdots,\phi_n)$，一定有$rank(\Phi)=n$且$\Phi$可逆。于是有：

$$P\Phi=\Phi\begin{pmatrix}0&0\\0&I_r\end{pmatrix}\Rightarrow p=\Phi\begin{pmatrix}0&0\\0&I_r\end{pmatrix}\Phi^{-1}$$

于是$P^2=P$，得证。

1.2 投影矩阵及其性质

投影矩阵（Projection Matrix）是指满足以下两个条件的矩阵：

1. 对称矩阵，即$P^T=P$
2. 幂等矩阵，即$P^2=P$

投影矩阵即是对称幂等矩阵。投影矩阵具有如下性质：

1. 投影矩阵是非负定的。
2. 如果$P_1,P_2$都是投影矩阵，且$P_1-P_2$是非负定的，那么一定有：$P_1P_2=P_2P_1=P_2$，且$P_1-P_2$也是投影矩阵。

（不想阅读可跳过）

第2条性质的证明

要证第二条性质，只需要证$P_1P_2=P_2$即可，之后剩余部分很容易证明。那么等价于要证明：$(P_1-I_n)P_2=P_2(P_1-I_n)=0$，也就是对任意$x$都有：$P_2(P_1-I_n)x=0$。

由于投影矩阵$P_1$是幂等的，所以其特征值为0或1，那么一定存在这两个解空间：$S=\{y|P_1y-y=0\}$，$H=\{y|P_1y=0\}$。

由于$P_1-P_2$是非负定的，那么对于$\forall y\in H$，一定有：$P_1y=0$，$(P_1-P_2)y\ge0$，又由于$P_2y\ge 0$，所以一定有：$P_2y=0$。

于是，对于$\forall x=y_1+y_2$，有：

$$P_2(P_1-I_n)x=P_2(P_1-I_n)(y_1+y_2)=0$$

于是原命题得证。

1.3 减号广义逆

在线性代数中我们学过，对于相容的线性方程组$A_{m\times n}x=b$，如果$rank(A)=m=n$，则有唯一解$x=A^{-1}b$。那么如果$A$矩阵不是奇异矩阵，是否能定义一个广义的解呢？当然可以，我们可以定义矩阵的广义逆来解决。

注意，广义逆有很多种定义方式，但是在回归分析专题当中，我们只需要使用减号广义逆这一种。所以，之后无特别说明，我们就把减号广义逆简称为广义逆。

对于任意矩阵$A_{m\times n}$，如果存在矩阵$B_{n\times m}$，使得：

$$A_{m\times n}B_{n\times m}A_{m\times n}=A_{m\times n}$$

那么就称矩阵$B$是矩阵$A$的广义逆，记作$A^-$。

根据定义来看，显然$A^-$不止一个，所以$A^-$表示广义逆的集合。

接下来我们看广义逆相关的几个定理：

1. 设$rank(A_{m\times n})=r$，且存在两个可逆矩阵$P_{m\times m}$和$Q_{n\times n}$使得矩阵$A$可以被分解为$A_{m\times n}=P_{m\times m}\begin{pmatrix}I_r&0\\0&0\end{pmatrix}Q_{n\times n}$那么$A^-=Q^{-1}\begin{pmatrix}I_r&B\\C&D\end{pmatrix}P^{-1}$其中$B,C,D$是任意矩阵。
2. $rank(A^-)\ge rank(A)=rank(A^-A)=rank(AA^-)$
3. $A(A^TA)^-A^T$与广义逆$(A^TA)^-$的选取无关。
4. $rank(A(A^TA)^-A^T)=rank(A)$
5. $A(A^TA)^-A^TA=A,A^TA(A^TA)^-A^T=A^T$

有了广义逆，我们就可以定义任意一个相容的线性方程组$A_{m\times n}x=b$的解：

1. 如果固定了一个广义逆，则$x=A^-b$是方程的一个解。
2. $Ax=0$的所有解为：$x=(I_n-A^-A)Z_{n\times 1}$，其中$Z$是任意矩阵。
3. $Ax=b$的所有解为：$x=A^-b+(I_n-A^-A)Z_{n\times 1}$

1.4 列向量的张成空间

我们已经知道线性空间的定义，接下来我们来看一种特殊的线性空间。

设矩阵$A_{m\times n}$，定义由其列向量$(a_1,\cdots,a_n)$张成的空间称为列向量张成空间，记作：

$$\mu(A)=\{Ax|x\in \mathbb R^n\}$$

列向量张成空间有如下几个性质：

1. $\mu(A)$的维数为$rank(A)$
2. $\mu(A)\subset \mu(B)\Leftrightarrow \exists C,A=BC$
3. $\mu(A^T)=\mu(A^TA)$

（不想阅读可跳过）

第2条性质的证明

先从左证右，设$A_{m\times n}=(a_1,\cdots,a_n)$，显然对于$\forall i,1\le i\le n$，一定有$a_i\in \mu(A)$，根据$\mu(A)\subset \mu(B)$就有$a_i\in \mu(B)$，则$\exists y_i,a_i=By_i$；

再从右证左，对于$\forall y\in \mu(A),\exists x,y=Ax$，又$\exists C,A=BC$，则$y=BCx$，把$Cx$看作整体，于是$y\in \mu(B)$。证毕。

1.5 正交补

接下来分别定义向量和矩阵的正交补。

首先，对于向量$x,y$，如果内积$(x,y)=0$，则称$x$与$y$正交，记作$x\bot y$。

再令集合$S$，若$\forall y\in S,x\bot y$，则记作$x\bot S$，定义正交补集$S^\bot=\{x|x\bot S\}$。

对于线性空间下的正交补，有：

1. $S\bigcap S^\bot=\{0\}$
2. $S\bigoplus S^\bot=\mathbb R^n$
3. $(S^\bot)^\bot=S$

下面给一个例子。例：设集合$S=\mu(A_{n\times m})\subset \mathbb R^n$，且$rank(A)=m$，证明：$S^\bot=\mu(B)$，其中$B=I_n-A(A^TA)^{-1}A^T$。

首先，由于$dim(S^\bot)=dim(B)=n-m$，因此只需证$S^\bot\subset\mu(B)$即可证明原命题。

由于$S=\mu(A)$，则$\forall x\in S,\exists b, x=Ab$；

再令向量$y$满足$(x,y)=0$，得到$y^Tx=y^TAb=0$，也即$A^Ty=0$；

取$A^T$的一个广义逆$A(A^TA)^{-1}$，于是可以得到$y$的解集为

$$y=[I_n-A(A^TA)^{-1}A^T]Z=BZ\in \mu(B)$$

于是原命题得证。

有了向量的正交补之后，我们继续定义矩阵的正交补。

设矩阵$A$的秩$rank(A_{n\times m})=r$，若存在矩阵$B_{n\times (n-r)}$满足：

1. $A^TB=0$
2. $rank(B)=n-r$

则称$B$为$A$的正交补，记作$B=A^\bot$。

从定义中可以看到，$A^\bot$是所有满足$A^TB=0$的$B$中秩最大的矩阵，即$A^Tx=0$的解的一组基。

矩阵的正交补有如下性质：

1. $\mu(A^\bot)=\mu(A)^\bot$
2. $\mu(A^\bot)\bigoplus\mu(A)=\mathbb R^n$

（不想阅读可跳过）

第1条性质的证明

下面只证第1个性质，如果证明成功，那么第2个性质也就显然了。

首先，$dim\ \mu(A^\bot)=dim\ \mu(A)^\bot=n-rank(A)$，所以只需证$\mu(A^\bot)\subset \mu(A)^\bot$。

对于$\forall x \in \mu(A^\bot),\exists a,x=A^\bot a$；

对于$\forall y \in \mu(A),\exists b,y=Ab$；

由于$(x,y)=(A^\bot a,Ab)=(Ab)^TA^\bot a=b^TA^TA^\bot a=0$

则$\mu(A^\bot)\subset \mu(A)^\bot$。证毕。

1.6 投影与正交投影

有了之前的各种定义，最后我们来说明什么是投影。

设向量$x\in \mathbb R^n$，线性子空间$S\subset \mathbb R^n$。如果$x$存在唯一分解$x=y+z$使得$y\in S,z\in S^\bot$，则称$y$是$x$在空间$S$上的投影。

从定义来看似乎有点抽象，但是画个示意图就清楚了：

如图所示，向量$x$被分解为$y+z$，并且向量$y$在线性空间$S$上，向量$z$垂直于线性空间$S$，所以称$y$是$x$在空间$S$上的投影。

在代数上，这种投影是线性的，即$\mathbb R^n\rightarrow S,x\rightarrow y$，因此这个过程可以通过投影矩阵$P$来完成：

$$y=Px$$

可以看到，投影矩阵$P$的作用就是通过线性变换实现投影变换。如何寻找这个投影矩阵呢？

有一点毋庸置疑：一旦确定了投影平面$S$，就能确定投影矩阵，因为某个向量在某个平面上的投影是唯一确定的（上述定义中提到”唯一分解“）。

既然这个投影平面是个线性空间，那么就应该可以使用某一个矩阵$A$通过线性变换来生成。矩阵$A$可以生成的线性空间平面有无数多个，那么我们想找的平面肯定要使得原始向量和投影向量之间的差距最小，也就是使得$z$最短，这样才能在投影平面中尽可能多的保留$x$的信息。

能找到这样的平面吗？当然能，因为可以证明，对任意$x\in \mathbb R^n$有：

$$||x-P_Ax||=\inf_{y\in\mu(A)}||x-y||$$

也就是说，当这个投影在$\mu(A)$平面上运动时，投影是最小的，而这个投影我们称之为正交投影。

那么接下来的任务就是，如何求任意一个向量在$\mu(A)$上的投影。这里我们直接给出结论，如果要把一个向量正交投影在$\mu(A)$平面上，那么对应的投影矩阵$P_A$有表达式：

$$P_A=A(A^TA)^-A^T$$

这个矩阵其实你在1.3节中已经见过，这个$P_A$被称为正交投影矩阵。当然，$P_A$一定是对称幂等的。

二、多元正态分布基础理论

你可能在概率论中已经了解过正态分布甚至多元正态分布，这里进行回顾或补充；如果没有接触过，这也是补充。

2.1 多元正态分布的三种描述形式

第一种描述形式，即直接通过正态分布的概率密度函数来完成。设随机变量$X$服从多元正态分布：$X\sim N_n(\mu,\Sigma)$，其中$\mu=(\mu_1,\cdots,\mu_n)^T$，$\Sigma$是协方差阵，那么其概率密度函数为：

$$f(X|\mu;\Sigma)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}exp \left[-\frac{1}{2}(X-\mu)^T\Sigma^{-1}(X-\mu) \right]$$

这种表示方法虽然直接，但是也比较繁琐；同时没办法限制协方差阵的正定情况。

第二种描述形式，设随机变量$U\sim N_r(0,I_r)$，如果存在非随机的矩阵$A_{n\times r}$且$rank(A)=r$，使得$X=AU+\mu$，那么$X\sim N_n(\mu,\Sigma)$，且$EX=\mu$，$\Sigma=AA^T$。

这种描述方法限制了协方差阵$\Sigma\ge0$，但是并不能保证其可逆。

第三种描述形式是最推荐的，也就是使用特征函数。

（不想阅读可跳过）

回顾：特征函数

一个随机变量的特征函数完全定义了其概率分布，没有任何限制。定义一个一维随机变量$X$的特征函数为：

$$\varphi_X(t)=E(e^{itX})$$

其中$t$是实数自变量，$i$是虚数单位。

如果你了解矩母函数（矩生成函数），那么就有：

$$\varphi_X(t)=M_X(it)$$

对于累积分布函数$F_X(x)$，特征函数为：

$$\varphi_X(t)=E(e^{itX})=\int e^{itx}dF_X(x)$$

如果概率密度函数存在，那么特征函数为：

$$\varphi_X(t)=E(e^{itx})=\int e^{itx}f_X(x)dx$$

设随机变量$X\sim N_n(\mu,\Sigma)$，那么其特征函数可以表示为：

$$\varphi_X(t)=exp\left[it^T\mu-\frac{1}{2}t^T\Sigma t \right]$$

2.2 多元正态分布的性质

下面介绍关于多元正态分布的6条性质，这些性质在后续的分析中会非常有用。

1. 多元正态分布的任意边际分布为相应的多元正态分布。
2. 如果$X\sim N_n(\mu,\Sigma)$，那么$Y=AX+b\sim N(A\mu+b,A\Sigma A^T)$
3. 如果$(X_1^T,X_2^T)^T$是多元正态分布，那么$Cov(X_1,X_2)=0\Leftrightarrow X_1,X_2$独立
4. $X\sim N_n(\mu,\Sigma)\Leftrightarrow \forall t,t^TX\sim N(t^T\mu,t^T\Sigma t)$，高维转一维
5. 如果把多元正态分布$X\sim N_n(\mu,\Sigma)$分块为$\begin{pmatrix}X_1\\ X_2\end{pmatrix}$，那么条件分布$X_1|X_2$也是多元正态分布，且$E=\mu_1+\Sigma_{12}\Sigma_{22}^{-1}(x_2-\mu_2)$，$Var=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$
6. 设$(x_1,x_2,x_3,x_4)^T$的联合分布是零均值的正态分布，那么有：$Ex_1x_2x_3x_4=Ex_1x_2Ex_3x_4+Ex_1x_3Ex_2x_4+Ex_1x_4Ex_2x_3$

下面挑选3条性质进行证明，剩余性质证明比较简单或者过于复杂。

性质1：

对$\forall k\le n$，取$\{p_1,\cdots,p_k\}\subset \{1,\cdots,n\}$；

令$Y=(X_{p_1},\cdots,X_{p_k})^T$，$S=(t_{p_1},\cdots,t_{p_k})^T$，那么特征函数为

$$\varphi_Y(t)=Ee^{iS^TY}=Ee^{i\sum_{i=1}^{k}t_{p_i}X_{p_i}}$$

根据多元正态分布：

$$\varphi_X(t)=Ee^{i\sum_{j=1}^{n}t_jX_j}$$

当$j=p_j$时是多元正态分布，而当$j≠p_j$时直接取$t_j=0$。证毕。

性质2：$Y$的特征函数为

$$\begin{aligned}\varphi_Y(t)&=Ee^{iS^T(AX+b)}=Ee^{iS^TAX}e^{iS^Tb}\\ &=exp\left[iS^TA\mu-\frac{1}{2}S^TA\Sigma A^TS+iS^Tb\right]\\ &=exp\left[iS^T(A\mu+b)-\frac{1}{2}S^TA\Sigma A^TS\right]\end{aligned}$$

其中$S=(t_1,\cdots,t_n)^T$，因此$Y\sim N_n(A\mu+b,A\Sigma A^T)$。

性质6：给出联合分布的特征函数

$$\begin{aligned}\varphi(t_1,t_2,t_3,t_4)&=exp\left(-\frac{1}{2}t^T\Sigma t\right)\\&=exp\left(-\frac{1}{2}\sum_{k=1}^4\sum_{l=1}^4\sigma_{kl}t_kt_l\right)\end{aligned}$$

先对$t_1$求一阶偏导：

$$\frac{\partial \varphi}{\partial t_1}=-\varphi\sum_{l=1}^4\sigma_{1l}t_l$$

再对$t_2$求二阶偏导：

$$\frac{\partial^2 \varphi}{\partial t_1 \partial t_2}=-\frac{\partial \varphi}{\partial t_2}\sum_{l=1}^4\sigma_{1l}t_l-\varphi\sigma_{12}$$

再对$t_3$求三阶偏导：

$$\begin{aligned}\frac{\partial^3 \varphi}{\partial t_1 \partial t_2 \partial t_3}&=-\frac{\partial^2 \varphi}{\partial t_2\partial t_3}\sum_{l=1}^4\sigma_{1l}t_l-\frac{\partial\varphi}{\partial t_2}\sigma_{13}-\frac{\partial\varphi}{\partial t_3}\sigma_{12}\\ &=\frac{\partial \varphi}{\partial t_3}\sum_{l=1}^4\sigma_{2l}t_l\sum_{l=1}^4\sigma_{1l}t_l+\varphi\sum_{l=1}^4\sigma_{1l}t_l\sigma_{23}\\ &+\varphi\sum_{l=1}^4\sigma_{2l}t_l\sigma_{13}+\varphi\sum_{l=1}^4\sigma_{3l}t_l\sigma_{12}\end{aligned}$$

于是有：

$$\begin{aligned}Ex_1x_2x_3x_4&=\left.\frac{\partial\varphi(t)}{\partial t_4\partial t_3\partial t_2\partial t_1}\right|_{t=0}\\ &=\sigma_{14}\sigma_{23}+\sigma_{24}\sigma_{13}+\sigma_{34}\sigma_{12}\end{aligned}$$

又因为

$$Ex_kx_l=\left.-\frac{\partial\varphi(t)}{\partial t_k\partial t_l}\right|_{t=0}=-\sigma_{kl}$$

带入得证。

三、随机变量的二次型

相信你在线性代数中已经学习过二次型的概念，那么如果把一个简单变量换成随机变量，是否具有二次型？当然有。

3.1 随机变量的二次型

我们首先回顾向量的二次型是如何定义的。

设矩阵$A_{n\times n}$是对称的，$X_{n\times 1}$为向量，那么称$X^TAX$是向量$X$的二次型。

那么，如果把$X$定义为$n$维随机向量，那么上述定义就变成随机变量的二次型了。

如果随机向量$X$具有均值$\mu$，协方差阵$\Sigma$，那么一定有：

$$E(X^TAX)=tr(A\Sigma)+\mu^TA\mu$$

（不想阅读可跳过）

证明：

令$Y=X-\mu$，那么$EY=0$，$Cov(Y)=\Sigma$，于是：

$$X^TAX=(Y+\mu)^TA(Y+\mu)$$

那么$E(X^TAX)=E(Y^TAT)+\mu^TA\mu$。

由于$Y^TAY=tr(Y^TAY)=tr(AYY^T)$，于是：

$$\begin{aligned}E(X^TAX)&=tr(A)E(YY^T)+\mu^TA\mu\\ &=tr(A\Sigma)+\mu^TA\mu\end{aligned}$$

特别地，如果$X\sim N_n(\mu,\Sigma)$，还另有两个结论：

$$\begin{aligned} Cov(X,X^TAX)&=2\Sigma A\mu\\ Var(X^TAX)&=2tr(A\Sigma)^2+4\mu^TA\Sigma A\mu \end{aligned}$$

（不想阅读可跳过）

证明1：

令$Y=X-\mu$，那么$Y\sim N_n(0,\Sigma)$，于是：

$$\begin{aligned}Cov(X,X^TAX)&=Cov(Y+\mu,(Y+\mu)^TA(Y+\mu))\\ &=Cov(Y,Y^TAY+2Y^TA\mu)\\ &=E(YY^TAY)+2E(YY^TA\mu)\\ &=E(YY^TAY)+2\Sigma A\mu\end{aligned}$$

由于$E(YY^TAY)$是奇数阶矩且$EY=0$，所以原命题得证。

证明2：根据$Var(X^AX)=E(X^TAX)^2-[E(X^TAX)]^2$，有

$$E(X^TAX)^2=E[(Y+\mu)^TA(Y+\mu)]^2\tag 1$$

由于

$$\begin{aligned}E(Y^TAY)^2&=E(\sum_{i=1}^n\sum_{j=1}^n\sum_{k=1}^n\sum_{l=1}^na_{ij}a_{kl}Y_iY_jY_kY_l)\\ &=[tr(A\Sigma)]^2+2tr(A\Sigma)^2\\ E(\mu^TAY)^2&=u^TAE(YY^TA\mu)\\ &=\mu^TA\Sigma A\mu\\ E(\mu^TAYY^TAY)&=0\end{aligned}$$

带入$(1)$式即证明原命题。

3.2 随机变量二次型与卡方分布

相信你已经知道卡方分布与正态分布的关系，即标准正态分布的平方和。如果写成向量形式，就是：设多元随机变量$X=(x_1,\cdots,x_n)^T\sim N_n(0,I_n)$，那么有

$$Y=X^TX\sim \chi_n^2$$

由于协方差阵是单位阵，所以称这种卡方分布为中心化卡方分布。

进一步地，如果多元随机变量的均值不都是0，即$X\sim N_n(\mu,I_n)$，那么有

$$Y=X^TX\sim \chi_{n,\lambda}^2$$

其中$\lambda=\mu^T\mu$，称为非中心化参数，而该卡方分布也被称为非中心化卡方分布。

非中心化的卡方分布是更一般的，具有如下性质：

1. $E=n+\lambda$，$Var=2n+4\lambda$
2. 可加性：设随机变量$Y_i\sim \chi_{n_i,\lambda_i}^2$，$Y_i$相互独立，则$\sum_{i=1}^ky_i\sim \chi_{\sum_{i=1}^kn_i,\sum_{i=1}^k\lambda_i}^2$
3. 特征函数为$\varphi(t)=(1-2it)^{-n/2}e^{i\lambda t/(1-2it)}$

这3条性质都比较简单，其中第一条可以使用3.1中的结论，令$A=I_n$即可。

到这里，相信你会问：如果$X\sim N_n(\mu,\Sigma)$呢？在说明这个问题之前，先补充另外一个性质。

如果$X\sim N_n(\mu,I_n)$，设矩阵$A_{n\times n}$是对称阵，那么$X^TAX$也服从卡方分布当且仅当$A$是秩为$r$的幂等矩阵：

$$X^TAX\sim \chi_{r,\mu^TA\mu}^2\Leftrightarrow A\ is\ Idempotent\ and\ rank(A)=r$$

有了这个定理之后，我们就可以处理$X\sim N_n(\mu,\Sigma)$的情况了。设$\Sigma>0$，矩阵$A_{n\times n}$是对称阵，那么$X^TAX$服从卡方分布的充要条件是：

1. $A\Sigma$是幂等矩阵且$rank(A)=r$
2. $\Sigma A$是幂等矩阵且$rank(A)=r$
3. $\Sigma$是$A$的一个广义逆且$rank(A)=r$

这三个充要条件满足任意一个即可。

这里不做证明，可以给个思路，即构造$Y=\Sigma^{-\frac{1}{2}}X\sim N(\Sigma^{-\frac{1}{2}}\mu,I_n)$。

针对$X^TAX$这样的形式，我们做一个可加性的推广。设$X\sim N_n(\mu,I_n)$，矩阵$A,A_1$都是对称阵，且$X^TAX\sim \chi_{r,\mu^TA\mu}^2$。如果$X^TAX=X^TA_1X+X^TA_2X$且满足$X^TA_1X\sim \chi_{s,\mu^TA_1\mu}^2$，那么有以下结论：

1. $X^TA_2X\sim \chi_{r-s,\mu^TA_2\mu}^2$
2. $X^TA_1X$与$X^TA_2X$相互独立
3. $A_1A_2=0$

同理，如果$X\sim N_n(\mu,\Sigma)$，只需要把第3个结论改成$A_1\Sigma A_2=0$即可，其余结论不变。

3.3 正态分布线性型与随机变量二次型的独立性问题

在这一节，我们需要补充两个独立性的问题，可以帮助我们理解该专题后续的内容。

1. 设$X\sim N_n(\mu,I_n)$，矩阵$A$是对称阵，如果存在矩阵$C$使得$CA=0$，那么$CX$与$X^TAX$是独立的。

注意，这一条是充分条件；如果$X\sim N_n(\mu,\Sigma)$，条件变为$C\Sigma A=0$。

（不想阅读可跳过）

证明：

设$rank(A)=r$，根据对称性，一定存在正交阵$Q$，使得

$$A=Q^T\begin{pmatrix}\Lambda_r&0\\0&0\end{pmatrix}Q$$

其中$\Lambda_r$是对角阵，对角元是$A$的非重特征值。那么

$$X^TAX=X^TQ^T\begin{pmatrix}\Lambda_r&0\\0&0\end{pmatrix}QX$$

令$Y=QX\sim N(Q\mu,I_n)$，那么有

$$X^TAX=Y^T\begin{pmatrix}\Lambda_r&0\\0&0\end{pmatrix}Y$$

根据$CA=CQ^T\begin{pmatrix}\Lambda_r&0\\0&0\end{pmatrix}Q=0$我们可以的得到：

$$CQ^T\begin{pmatrix}\Lambda_r&0\\0&0\end{pmatrix}=0$$

令$CQ^T=\begin{pmatrix}B_1&B_2\end{pmatrix}$，那么有

$$CQ^T\begin{pmatrix}\Lambda_r&0\\0&0\end{pmatrix}=\begin{pmatrix}B_1\Lambda_r&0\end{pmatrix}=0$$

也就是$B_1=0$。那么最终

$$CX=CQ^TQX=CQ^TY=\begin{pmatrix}0&B_2\end{pmatrix}\begin{pmatrix}y_1\\ \vdots\\ y_n\end{pmatrix}$$

$CX$只与$y_{r+1},\cdots,y_n$有关，所以$CX$与$X^TAX$独立，证毕。

2. 设$X\sim N_n(\mu,I_n)$，矩阵$A,B$是对称阵，若$AB=0$，则$X^TAX$与$X^TBX$独立。

同理，如果$X\sim N_n(\mu,\Sigma)$，条件变为$A\Sigma B=0$。

（不想阅读可跳过）

证明：

为了证明方便，这里假定$AB=BA=0$，那么存在正交阵$Q$使得

$$A=Q\Lambda_AQ^T,B=Q\Lambda_BQ^T$$

令$Y=QX\sim N(Q\mu,I_n)$，则有

$$\begin{aligned}X^TAX&=X^TQ^T\Lambda_AQX=\sum_{i=1}^n\lambda_{A_i}\gamma_i^2\\ X^TBX&=X^TQ^T\Lambda_BQX=\sum_{i=1}^n\lambda_{B_i}\gamma_i^2\end{aligned}$$

由于$AB=0$，所以$\Lambda_A\Lambda_B=0$，也就是$\lambda_{A_i}\lambda_{B_i}=0$，原命题得证。

3.4 多元t分布

前面我们学习了二次型与卡方分布。$t$分布是与正态分布和卡方分布密切相关的分布，在后续的学习中也非常重要，因此我们再补充一点基础知识。

设随机变量$X,Y$相互独立，$X\sim N(\delta,1)$，$Y\sim \chi_n^2$，那么定义$t$分布为：

$$t=X/\sqrt{\frac{Y}{n}}\sim t_{n,\delta}^2$$

称为非中心化t分布。如果$\delta=0$就是中心化$t$分布。

相信你之前学习过标准化，即$\frac{X-\mu}{\sigma}$。那么对于$t$分布来说，还有一种数据转化方法称为学生化(studentized)。如果随机变量$X\sim N(\mu,\sigma^2)$，则定义

$$\frac{\sqrt n(\overline X-\mu)}{\hat\sigma}$$

为学生化。学生化在后续评估模型残差时非常有用。

我们进一步定义多元$t$分布，即$X\sim t_p(\mu,B^{-1},n)$是$p$维$t$分布，其中矩阵$B$是伸缩项。为了更好的理解，我们举一个例子。

设随机变量$X\sim N_p(0,\Sigma)$，$Y\sim \chi_n^2$，$X,Y$相互独立，那么有

$$t=X/\sqrt{\frac{Y}{n}}\sim t_p(0,\Sigma^{-1},n)$$

可以看到，相当于把正态分布的协方差项进行了变换，这也就说明了为什么$t$分布虽然与正态分布很像，但是衰减更慢。

注意，如果$X\sim N_p(\mu,\Sigma)$，并没有上述结论！

与多元正态分布一样，多元$t$分布的任意边际分布、线性变换、条件分布都是$t$分布，这里不再赘述。

四、指数分布族及其性质

指数分布族是随机变量分布的一类特殊形式，它描述了具有相同分布表达式的一系列分布。如果一维随机变量$Y$服从指数分布族，那么其概率密度函数可以写作：

$$f(y|\theta;\phi)=exp \left [ \frac{\theta y-b(\theta)}{\phi}+c(y;\phi) \right ]$$

其中$\theta$称为自然参数(Natural Parameter)，是我们感兴趣的参数；$\phi$称为散布参数/尺度参数/讨厌参数(Dispersion Parameter)，在特定的分布下应当已知；$b(\theta)$和$c(y;\phi)$在具体分布确定后已知表达式。上述概率密度函数被称为典则形式(canonical form)。

下面我们介绍指数分布族的基本性质，之后给出属于指数分布族的常见分布，看看它们是如何匹配这个表达式的。

4.1 指数分布族的性质

有一个显然的性质，即作为概率密度函数，其全积分应当为1：

$$\int f(y|\theta;\phi)dy=1$$

那么显然，使该积分对$\theta$求偏导，结果应当为0：

$$\frac{\partial}{\partial\theta}\int f(y|\theta;\phi)dy=\frac{\partial}{\partial\theta}1=0$$

如果假定积分和求导可以交换，那么就有下面两个重要性质：

$$\begin{aligned} \int \frac{\partial f(y|\theta;\phi)}{\partial \theta}dy&=0\\ \int \frac{\partial^2 f(y|\theta;\phi)}{\partial \theta^2}dy&=0 \end{aligned}$$

于是，我们就可以导出指数分布族的期望和方差了。如果要导出均值，通过$f$的一阶偏导就可以得到：

$$\begin{aligned} &\because \frac{\partial f(y|\theta;\phi)}{\partial \theta}=\frac{y-\dot{b(\theta)}}{\phi}f(y|\theta;\phi)dy\\ &\therefore \int \frac{\partial f(y|\theta;\phi)}{\partial \theta}=\int \frac{y-\dot{b(\theta)}}{\phi}f(y|\theta;\phi)dy=0\\ &\Rightarrow \int [y-\dot{b(\theta)}]f(y|\theta;\phi)dy=0\\ &\Rightarrow E[Y-\dot{b(\theta)}]=0\\ &\Rightarrow EY=\dot{b(\theta)} \end{aligned}$$

其中，$\dot{b(\theta)}$是$b(\theta)$的一阶导。

同理，再求一次二阶偏导就可以得到方差：

$$\begin{aligned} &\int \frac{\partial^2 f(y|\theta;\phi)}{\partial \theta^2}\\ &=\frac{1}{\phi}\int \left[-\ddot{b(\theta)}f(y|\theta;\phi)+[y-\dot{b(\theta)}]\dot{f{(y|\theta;\phi)}} \right]dy=0\\ &\Rightarrow -\ddot{b(\theta)}+\int \frac{1}{\phi}[y-\dot{b(\theta)}]^2f(y|\theta;\phi)dy=0\\ &\Rightarrow -\ddot{b(\theta)}+\frac{1}{\phi}Var(Y)=0\\ &\Rightarrow Var(Y)=\phi \ddot{b(\theta)} \end{aligned}$$

其中，$\ddot{b(\theta)}$是$b(\theta)$的二阶导。

因此，我们得到了两条重要性质：

$$\begin{aligned} EY&=\dot{b(\theta)}\\ Var\ Y&=\phi \ddot{b(\theta)} \end{aligned}$$

4.2 常见的指数分布族举例

4.2.1 泊松分布

泊松分布属于指数分布族，因为其概率密度函数可以写作：

$$f(y|\lambda)=\frac{e^{-\lambda}\lambda^y}{y!}=exp \left[y\log \lambda-\lambda-\log y! \right]$$

令$\theta=\log \lambda$，那么：

$$f(y|\theta)=exp \left[ \theta y-e^\theta-\log y! \right]$$

此时，$b(\theta)=e^\theta$，$\phi=1$，$c(y;\phi)=0$。

验证一下期望和方差：

$$\begin{aligned} \dot{b(\theta)}&=e^\theta=\lambda=EY\\ \phi\ddot{b(\theta)}&=1\times e^\theta=\lambda=Var\ Y \end{aligned}$$

4.2.2 正态分布

正态分布也属于指数分布族，因为其概率密度函数可以写作：

$$f(y|\mu;\sigma^2)=exp \left \{ \frac{y\mu-\frac{1}{2}\mu^2}{\sigma^2}-\frac{y^2}{2\sigma^2}-\frac{1}{2}\log (2\pi \sigma^2) \right \}$$

此时，$b(\theta)=\frac{1}{2}\mu^2$，$\phi=\sigma^2$，$c(y;\phi)=-\frac{y^2}{2\sigma^2}-\frac{1}{2}\log (2\pi \sigma^2)$。

验证一下期望和方差：

$$\begin{aligned} \dot{b(\theta)}&=\mu=EY\\ \phi\ddot{b(\theta)}&=\sigma^2\times 1=\sigma^2=Var\ Y \end{aligned}$$

4.2.3 二项分布

二项分布也属于指数分布族。因为其概率密度函数可以写作：

$$\begin{aligned} f(y|n;\pi)&=C_n^y\pi^y(1-\pi)^{n-y}\\ &=exp\left[\theta y-n\log (1+e^\theta)+\log C_n^y \right]\\ &=f(y|\theta) \end{aligned}$$

其中，$\theta=\log\frac{\pi}{1-\pi}$。

此时，$b(\theta)=n\log(1+e^\theta)$，$\phi=1$，$c(y;\phi)=\log C_n^y$。

验证一下期望和方差：

$$\begin{aligned} \dot{b(\theta)}&=n\frac{e^\theta}{1+e^\theta}=n\pi=EY\\ \phi\ddot{b(\theta)}&=1\times n\frac{e^\theta}{(1+e^\theta)^2}=n\pi(1-\pi)=Var\ Y \end{aligned}$$

4.2.3 多项分布

多项分布是二项分布的拓展，也属于指数分布族。设响应变量$Y$有$k$个状态$a_1,\cdots,a_k$，取到$a_j$值的概率为$\pi_j(j=1,\cdots,k-1)$，取到$a_k$的概率为$1-\sum_{j=1}^{k-1}\pi_j$。如果令$|\pi|=\sum_{j=1}^{k-1}\pi_j$，$|y|=\sum_{j=1}^{k-1}y_j$，那么其概率密度函数可以写作：

$$f(y|\pi)=(1-|\pi|)^{1-|y|}\Pi_{j=1}^{k-1}\pi_j^{y_j}$$

若令$\theta_j=\log\frac{\pi_j}{1-|\pi|}$，那么$\pi_j=\frac{e^{\theta_j}}{1+\sum_{i=1}^{k-1}e^{\theta_i}}$，此时有：

$$f(y|\theta)=exp\left[\theta^Ty-\log (1+\sum_{i=1}^{k-1}e^{\theta_i}) \right]$$

此时，$b(\theta)=\log (1+\sum_{i=1}^{k-1}e^{\theta_i})=-\log (1- |\pi|)$，$\phi=1$，$c(y;\phi)=0$。

验证一下期望和方差：

$$\begin{aligned} &\dot{b(\theta_i)}=\frac{e^{\theta_i}}{1+\sum_{i=1}^{k-1}e^{\theta_i}}=\pi_i=EY_i\\ &\phi\ddot{b(\theta)}= -\frac{e^{\theta_i}e^{\theta_j}}{(1+\sum_{i=1}^{k-1}e^{\theta_i})^2}=-\pi_i\pi_j,\ i≠j\\ &\phi\ddot{b(\theta)}= \frac{e^{\theta_i}(1+\sum_{i=1}^{k-1}e^{\theta_i})-(e^{\theta_i})^2}{(1+\sum_{i=1}^{k-1}e^{\theta_i})^2}=\pi_i(1-\pi_i),\ i=j \end{aligned}$$

当$i=j$时，$Var\ Y=\pi_i(1-\pi_i)$；当$i≠j$时，$Cov(Y_i,Y_j)=-\pi_i\pi_j$。

---

至此，预备知识就介绍到这里，接下来我们就要进入回归分析了。