9. 面板数据

如果我们的手上只有横截面数据，那么处理个体间的异质性问题将会变得非常棘手。 面板数据为我们处理在某些情况下的异质性问题提供了机会。

一个面板数据沿着时间维度 \(t=1,\ldots,T\) 观测同一个个体。 简单起见，我们假设 \(i=1,\ldots,n\) 的各个样本点都是独立的。(近年有文献处理面板数据在横截面上的相关性，方法相对复杂。本章只讲经典方法) 对于同一个 \(i\)，我们允许沿着 \(t=1,\ldots,T\) 得到的组内数据存在相依性。 我们有线性回归方程：

(9.1)\[ y_{it}=\beta_{1}+x_{it}'\beta_{2}+u_{it},\ i=1,\ldots,n;t=1,\ldots,T \]

其中 \(u_{it}=\alpha_{i}+\epsilon_{it}\) 被称之为复合误差 (composite error)。 需要注意的是： \(\alpha_{i}\) 是个体 \(i\) 不随时间变化的不可观测的异质性，而 \(\epsilon_{it}\) 则在不同个体 \(i\) 和不同时期 \(t\) 都在变化。

面板数据回归中，最重要的方法就是固定效应回归和随机效应回归。两种估计的渐近分布都可以从OLS回归的知识中衍生出来。因此，面板数据估计是我们这门课程中学到的知识的一个很好的应用。

9.1. 固定效应

复合误差 \(u_{it}=\alpha_{i}+\epsilon_{it}\) 包含无法观测的个体异质性 \(\alpha_{i}\)。如果 \(\mathrm{cov}\left(\alpha_{i},x_{it}\right)=0\) ，OLS估计是相合的，否则就不相合。固定效应模型允许 \(\alpha_{i}\) 和 \(x_{it}\) 之间存在任意的相关性。让我们把(9.1)重新写为

(9.2)\[ y_{it}=w_{it}'\boldsymbol{\beta}+u_{it} \]

其中 \(\boldsymbol{\beta}=\left(\beta_{1},\beta_{2}'\right)'\) 而且 \(w_{it}=\left(1,x_{it}'\right)'\) 是 \(K+1\) 的向量。 \(\boldsymbol{\beta}\) 是包括截距的参数, 而 \(w_{it}\) 是包括常数项的解释变量。

练习 9.1

如果 \(\mathrm{cov}\left(\alpha_{i},x_{it}\right)\neq0\)，证明在(9.2)里进行OLS估计时会得到不相合的估计结果。

简单地在固定效应模型中应用OLS估计是不能实现相合性的。为了获得相合性，我们需要消去 \(\alpha_{i}\)。在这一部分，我们研究组内估计量(默认的固定效应估计量)的渐近分布和相合性。组内估计量(within-group estimator)又被称为固定效应(fixed effect, FE)估计量。对于原回归中每个 \(i\)，计算 \(T\) 个等式取均值，我们就能得到：

\[ \overline{y}_{i}=\beta_{1}+\overline{x}_{i}'\beta_{2}+\bar{u}_{it}=\beta_{1}+\overline{x}_{i}'\beta_{2}+\alpha_{i}+\bar{\epsilon}_{it}. \]

其中 \(\overline{y}_{i}=\frac{1}{T}\sum_{t=1}^{T}y_{it}\)。 从原式中提取出这些平均后的等式就能得到：

\[ \tilde{y}_{it}=\tilde{x}_{it}'\beta_{2}+\tilde{\epsilon}_{it} \]

其中 \(\tilde{y}_{it}=y_{it}-\overline{y}_{i}\)。我们使用去除平均值后的数据进行OLS回归，就能得到我们需要的组内估计量。

\[ \widehat{\beta}_{2}^{FE}=\left(\tilde{X}'\tilde{X}\right)^{-1}\tilde{X}'\tilde{y}, \]

其中 \(\tilde{y}=\left(y_{it}\right)_{i,t}\) 把所有的 \(nT\) 个观测值都放到一个向量中。和它有类似定义的 \(\tilde{X}\) 是 \(nT\times K\) 矩阵， 且 \(K\) 是 \(\beta_{2}\) 的维数。

我们都知道， \(E\left[\tilde{\epsilon}_{it}x_{it}\right]=0\) 是OLS估计相合性的充分条件。接下来我们会介绍相合性的一个更强的充分条件，我们称之为 严格外生性。

假设 9.1 (严格外生性)

\(E\left[\epsilon_{it}|\alpha_{i},\mathbf{x}_{i}\right]=0\)，其中 \(\mathbf{x}_{i}=\left(x_{i1},\ldots,x_{iT}\right)\)。

相对于异质性 \(E\left[\epsilon_{it}|\alpha_{i},x_{it}\right]=0\) ，严格外生性更为严格。因为它假设了误差 \(\epsilon_{it}\) 的条件均值独立于过去、现在和将来所有的解释变量。通常当我们讨论面板数据里的相合性时，我们一般指的是当 \(T\) 固定时，个数数量 \(n\to\infty\) 。这种渐近框架只适用于时间变量较少但是个体数较大的面板数据集。

如果严格外生性成立，那么 \(\widehat{\beta}_{2}^{FE}\) 是相合估计量。 固定效应估计量的方差估计比较棘手。为了简化计算，我们假设同方差。如果违背了这种假设，方差渐近的形式将会改变，但是渐近正态性不会受到影响。

假设 9.2 (同方差)

对于所有的 \(i\) ,都有\(\mathrm{var}\left(\epsilon_{i}|\alpha_{i},\mathbf{x}_{i}\right)=\sigma_{\epsilon}^{2}I_{T}\) 。

在严格外生性和同方差假设下, \(\widehat{\sigma}_{\epsilon}^{2}=\frac{1}{n\left(T-1\right)}\sum_{i=1}^{n}\sum_{t=1}^{T}\widehat{\tilde{\epsilon}}_{it}^{2}\) 是 \(\sigma_{\epsilon}^{2}\) 的相合估计量，其中\(\widehat{\tilde{\epsilon}}=\tilde{y}_{it}-\tilde{x}_{it}'\widehat{\beta}_{2}^{FE}\)。

值得注意的是，这里的分母是 \(n\left(T-1\right)\) 而不是 \(nT\)。从FWL定理(Frisch-Waugh-Lovell theorem)中我们就能看出改变自由度的必要性：斜率系数的固定效应估计量与每一个横截面数据带有虚拟变量的回归的对应的部分在数值上相等。

如果严格外生性和同方差成立，那么：

\[ \left(\widehat{\sigma}_{\epsilon}^{2}\left(\tilde{X}'\tilde{X}\right)^{-1}\right)^{-1/2}\left(\widehat{\beta}_{2}^{FE}-\beta_{2}^{0}\right)\stackrel{d}{\to}N\left(0,I_{K}\right). \]

用 \(M_{\iota}=I_{T}-\frac{1}{T}\iota_{T}\iota_{T}'\) 去除组内均值，而且 \(M=I_{n}\otimes M_{\iota}\) 。(\(\otimes\) 表示Kronecker积)。固定效应估计量可以被直接写作为：

\[ \widehat{\beta}_{2}^{FE}=\left(\tilde{X}'\tilde{X}\right)^{-1}\tilde{X}'\tilde{Y}=\left(X'MX\right)^{-1}X'MY. \]

于是我们能够得到：

\[ \sqrt{nT}\left(\widehat{\beta}_{2}^{FE}-\beta_{2}^{0}\right)=\left(\frac{X'MX}{nT}\right)^{-1}\frac{X'M\epsilon}{\sqrt{nT}}=\left(\frac{\tilde{X}'\tilde{X}}{nT}\right)^{-1}\frac{\tilde{X}'\epsilon}{\sqrt{nT}} \]

因为有：

\[ \begin{aligned} \mathrm{var}\left(\frac{\tilde{X}'\epsilon}{\sqrt{nT}}|X\right) & =\frac{1}{nT}E\left(X'M\epsilon\epsilon'MX|X\right)=\frac{1}{nT}X'ME\left(\epsilon\epsilon'|X\right)MX=\left(\frac{\tilde{X}'\tilde{X}}{nT}\right)\sigma^{2},\end{aligned} \]

所以通过大数定律我们可以得到如下结论：

\[ \left(\tilde{X}'\tilde{X}\right)^{1/2}\left(\widehat{\beta}_{2}^{FE}-\beta_{2}^{0}\right)\stackrel{d}{\to}N\left(0,\sigma_{\epsilon}^{2}I_{K}\right). \]

为了简化计算，假设我们可以通过观测直接得到 \(\tilde{\epsilon}_{it}\) ，那么：

\[\begin{split} \begin{aligned} \frac{1}{n\left(T-1\right)}E\left[\sum_{i=1}^{n}\sum_{t=1}^{T}\tilde{\epsilon}_{it}^{2}\right] & =\frac{1}{n}\sum_{i=1}^{n}\frac{1}{T-1}E\left[\epsilon_{i}'M_{\iota}\epsilon_{i}\right]\\ & =\frac{1}{n}\sum_{i=1}^{n}\frac{1}{T-1}\mathrm{tr}\left(E\left[M_{\iota}E\left[\epsilon_{i}\epsilon_{i}'|\mathbf{x}_{i}\right]\right]\right)\\ & =\frac{\sigma_{\epsilon}^{2}}{n}\sum_{i=1}^{n}\frac{1}{T-1}\mathrm{tr}\left(M_{\iota}\right)=\sigma_{\epsilon}^{2}.\end{aligned} \end{split}\]

虽然往往在现实中我们只能观测到 \(\widehat{\tilde{\epsilon}}_{it}\) ，我们可以证明 \(\widehat{\tilde{\epsilon}}_{it}\) 和 \(\tilde{\epsilon}_{it}\) 之间的估计误差是可以忽略的，从而可以根据大数定律得到方差的相合估计量：

\[ \widehat{\sigma}_{\epsilon}^{2}=\frac{1}{n\left(T-1\right)}\sum_{i=1}^{n}\sum_{t=1}^{T}\widehat{\tilde{\epsilon}}_{it}^{2}\stackrel{p}{\to}\frac{1}{n\left(T-1\right)}E\left[\sum_{i=1}^{n}\sum_{t=1}^{T}\tilde{\epsilon}_{it}^{2}\right]=\sigma_{\epsilon}^{2} \]

以上表达式隐含了可以使用大数定律和中心极限定理的条件，在此我们忽略这些技术细节。值得注意的是，在固定效应中减去组间均值会使得模型消去所有不随时间变化的解释变量，包括截距项。因此，我们不能从固定效应模型中得到这些不随时间变化的变量的系数估计值。

9.2. 随机效应

随机效应模型追求特殊情况 \(\mathrm{cov}\left(\alpha_{i},x_{it}\right)=0\) 下的有效性。正如之前提到的，如果 \(\alpha_{i}\) 和 \(x_{it}\) 不相关，那么固定效应模型是相合的。然而，协方差表明OLS不满足 有效性 。我们依然从最初的模型开始：

假设 9.3 (随机效应-1)

\(E\left[\epsilon_{it}|\alpha_{i},\mathbf{x}_{i}\right]=0\) 以及 \(E\left[\alpha_{i}|\mathbf{x}_{i}\right]=0\)

随机效应-1 显然能够推出 \(\mathrm{cov}\left(\alpha_{i},x_{it}\right)=0\) ，因此：

\[ S=\mathrm{var}\left(u_{i}|\mathbf{x}_{i}\right)=\sigma_{\alpha}^{2}\mathbf{1}_{T}\mathbf{1}_{T}'+\sigma_{\epsilon}^{2}I_{T},\ \forall i=1,\ldots,n. \]

因为协方差矩阵不能用单位矩阵乘以某个常数的形式得到，Gauss-Markov定理不再成立，所以OLS不是有效的。

正如之前提到的，固定效应估计会消去所有不随时间变化的回归量。与之相对，随机效应允许不随时间变化的解释变量存在。 不可行(infeasible)的广义最小二乘估计(Generalized Least Squares, GLS)估计量是：

\[ \widehat{\boldsymbol{\beta}}_{\mathrm{infeasible}}^{RE}=\left(\sum_{i=1}^{n}\mathbf{w}_{i}'S^{-1}\mathbf{w}_{i}\right)^{-1}\sum_{i=1}^{n}\mathbf{w}_{i}'S^{-1}\mathbf{y}_{i}=\left(W'\mathbf{S}^{-1}W\right)^{-1}W'\mathbf{S}^{-1}y \]

其中 \(\mathbf{S}=I_{T}\otimes S\) 。在现实中，\(S\) 中的 \(\sigma_{\alpha}^{2}\) 和 \(\sigma_{\epsilon}^{2}\) 都是未知的，所以我们需要寻找对应的相合估计量。同样地，我们提出一个与固定效应的同方差对应的假设。

假设 9.4 (随机效应-2)

\(\mathrm{var}\left(\epsilon_{i}|\mathbf{x}_{i},\alpha_{i}\right)=\sigma_{\epsilon}^{2}I_{T}\) 和 \(\mathrm{var}\left(\alpha_{i}|\mathbf{x}_{i}\right)=\sigma_{\alpha}^{2}.\)

在这个假设之下，我们可以从残差 \(\widehat{u}_{it}=y_{it}-x_{it}'\widehat{\boldsymbol{\beta}}^{RE}\) 中相合估计得到方差。也就是：

\[\begin{split} \begin{aligned}\widehat{\sigma}_{u}^{2} & =\frac{1}{nT}\sum_{i=1}^{n}\sum_{t=1}^{T}\widehat{u}_{it}^{2}\\ \widehat{\sigma}_{\alpha}^{2} & =\frac{1}{n}\sum_{i=1}^{n}\frac{1}{T\left(T-1\right)}\sum_{t=1}^{T}\sum_{r=1}^{T}\sum_{r\neq t}\widehat{u}_{it}\widehat{u}_{ir}. \end{aligned} \end{split}\]

给定估计的方差和协方差，我们可以建立：

\[ \widehat{\mathbf{S}}=\left(\widehat{\sigma}_{u}^{2}-\widehat{\sigma}_{\epsilon}^{2}\right)\cdot I_{T}+\widehat{\sigma}_{\epsilon}^{2}\cdot\boldsymbol{1}_{T}\boldsymbol{1}_{T}' \]

相应地我们能够得到可行的广义最小二乘估计(feasible generalized least squares, FGLS)：

\[ \widehat{\boldsymbol{\beta}}^{RE}=\left(W'\mathbf{\widehat{S}}^{-1}W\right)^{-1}W'\widehat{\mathbf{S}}^{-1}y \]

我们可以证明，如果假设随机效应-1和随机效应-2成立，那么有：

\[ \left(\widehat{\sigma}_{u}^{2}\left(W'\widehat{\mathbf{S}}^{-1}W\right)^{-1}\right)^{-1/2}\left(\widehat{\boldsymbol{\beta}}^{RE}-\boldsymbol{\beta}_{0}\right)\stackrel{d}{\to}N\left(0,I_{K+1}\right). \]

在计量经济学的实践中，固定效应估计比随机效应估计更常见，因为固定效应在更加普遍情况中具有相合性。

9.3. 总结

固定效应或者随机效应回归的公式并不重要，因为计量经济学软件包就可以自动处理它们的估计和推断。真正重要的是他们在不可观测的个体异质性上概念性的区别。面板数据是经济学里的第一代 大数据 。因为面板数据观测值的数量等于横截面数据上的个体数量 \(n\) 再乘上时间维度 \(T\)。它们反映了计量经济学家在控制异质性上的追求，在某些场景下，以使得OLS在因果关系的解释中更加可信。

扩展阅读

[Hsiao, 2014]是一本关于面板数据的综合性专著。

Zhentao Shi. Nov 8, 2020.