新手面板數(shù)據(jù)回歸之GMM 的 stata 操作步驟

廣義矩估計（ Generalized Method of Moments 即 GMM ）

原理就是回歸！就是一種高級點的回歸！

我也是新手，也有很多不太懂的地方。斷斷續(xù)續(xù)學(xué)習(xí)了兩個月，看了很多文獻(xiàn)和公眾號拼湊整理的，放到這里就是大家可以一起修正和補充。

數(shù)據(jù)情況：

樣本：31個省份的面板數(shù)據(jù)

年份：2009-2016年 八年數(shù)據(jù)

因變量Y

自變量：八個X

一、數(shù)據(jù)整理、導(dǎo)入和保存

第一步：整理數(shù)據(jù)：

以X1 CPI為例 最好數(shù)據(jù)原始整理的時候，就注意形式，整理成這樣

首先，stata不識別字符，所以建議把省份換成1-31。以免后續(xù)麻煩。也可以后續(xù)將字符修改為數(shù)值型，語法：egen pro=group(var1)//將var1變量轉(zhuǎn)化為新的非字符串變量，并命名為pro。

（缺失數(shù)據(jù)：多重插補用的較多，這需要你根據(jù)自身情況去學(xué)習(xí)，學(xué)問多多。我是按照Landerman 等( 1997) 建議當(dāng)缺失比例小于2%時, 用均數(shù)替代; 當(dāng)缺失比例在2%—5%之間時, 用最大似然估計替代; 而當(dāng)缺失比利大于5%時, 用多項回歸替代(multiple imputation)。（Landerman, L .R . Land, K .C ., and Pieper , C .F . ( 1997) . An Empirical Evaluation of the Predictive Mean Matching Method for Imputing Missing Values . Sociological Methods and Research, 26( 1) : 3—33 .））

再從數(shù)據(jù)的第三行即具體數(shù)據(jù)開始，開始復(fù)制粘貼到stata的數(shù)據(jù)編輯器中，如右下圖。

（ps：如果把第二行也納入，stata會默認(rèn)地區(qū)也是一個樣本，后面2009-2016是數(shù)據(jù)，觀測值變?yōu)?2，年份9，錯誤如左下圖，不要地區(qū)省份和具體年份！）

第二步：調(diào)整數(shù)據(jù)

開始在stata里面輸入命令

第一：將第一列中的樣本var1重命名

語法：rename var1 樣本名

本例：rename var1 province

然后你就會看到var1變成province

第二：轉(zhuǎn)換為數(shù)據(jù)，繼續(xù)識別時間變量

語法：reshape long var,i(樣本名)

本例：reshape long var,i(province)

其他的var就會變成年份順序

Stata語法界面可以看到：一共31個樣本，248個觀測值。J variable 有8個值。

第三：重命名 語法： rename _j year ；rename var 變量名稱

本例就是： rename _j year ；rename var CPI

就得到下圖：其中province 1-31個省份。2-9就是2009-2016年，八年

為防止數(shù)據(jù)不符合排序問題，我們可以再來個排序：sort 樣本名稱 時間

本例：sort province year 一般是沒有問題的。

最后保存一下，方便后續(xù)導(dǎo)入使用。

注：其他變量也全部都這樣導(dǎo)入，導(dǎo)入前先clear一下。stata也可以直接打開Excel，前提你的格式記得修改好。如果變量較多，一定記得保存到一個文件夾，后續(xù)導(dǎo)入需要一直使用這個文件路徑。

第三步：合并數(shù)據(jù)

從因變量Y開始。其他變量也是要一個個導(dǎo)入合并。看起來一個個來很麻煩，操作熟練了，幾分鐘的事情，所以不要擔(dān)心。

打開因變量Y的數(shù)據(jù)庫。先合并CPI。

語法：merge 1:1 province year using 文件路徑

尋找這個文件路徑，很多方法，我一般使用文件夾上面有個復(fù)制路徑，如下圖，很簡單方便。"C:UsersthinkpadDesktop分省份數(shù)據(jù)STATA修改數(shù)據(jù)分省年度數(shù)據(jù)之CPI 2009-2016年.dta"

本例：merge 1:1 province year using C:UsersthinkpadDesktop分省份數(shù)據(jù)STATA修改數(shù)據(jù)分省年度數(shù)據(jù)之CPI 2009-2016年.dta

合并之后，再進(jìn)行排序?qū)?yīng)，雖然一般整理的時候已經(jīng)匹配好了，但安全起見，再打一遍。

語法：tab _merge drop _merge （因為這里會有多次merge，之前merge的數(shù)據(jù)會生成一個新var _merge, 合并后必須drop掉才可以進(jìn)行下一步merge）

如下圖，左邊是語法界面，右邊數(shù)據(jù)截面，我已經(jīng)合并好了y和x1,x2,x3。

sort province year

結(jié)束！保存！

二、簡單回歸

這里想先簡單寫一寫面板數(shù)據(jù)最基本的回歸。即固定效應(yīng)模型和隨機(jī)效應(yīng)模型。

第一步：定義面板數(shù)據(jù)： 語法：xtset樣本 year

本例：xtset province year

注：第一個是橫截面（樣本或個體）,第二個是時間，不要反了呀！！！

輸入之后，stata會告訴你數(shù)據(jù)是否平衡，即strongly balanced。

第二步：數(shù)據(jù)檢驗：

單位根檢驗（如ADF、IPS、LLS、HT），判斷是否平穩(wěn)。

常用相同根單位根檢驗LLC（Levin-Lin-Chu）檢驗和不同根單位根檢驗Fisher-ADF檢驗（注：對普通序列（非面板序列）的單位根檢驗方法則常用ADF檢驗），如果在兩種檢驗中均拒絕存在單位根的原假設(shè)則我們說此序列是平穩(wěn)的，反之則不平穩(wěn)。但很多時候，大家默認(rèn)ADF拒絕就行。

此外，單位根檢驗一般是先從水平（level）序列開始檢驗起，如果存在單位根，則對該序列進(jìn)行一階差分后繼續(xù)檢驗，若仍存在單位根，則進(jìn)行二階甚至高階差分后檢驗，直至序列平穩(wěn)為止。我們記I(0)為零階單整，I(1)為一階單整，依次類推，I(N)為N階單整。

LLC檢驗語法：xtunitroot llc varname, lag(n)

IPS檢驗語法：xtunitroot ips 變量名, lag(n)

可以使用xtunitroot，help一下，便會出現(xiàn)所有的檢驗命令及其用法和實例:而且有可能不同檢驗結(jié)果不一樣，這里具體還需要加各種option，檢驗不通過，即同階單整，還需要協(xié)整檢驗等，（具體去搜索別的大神寫的，小的懂得也不多。這里還有很多學(xué)問！）

協(xié)整性檢驗：

語法1：按照ssc install xtwest

tsset province year轉(zhuǎn)換為面板數(shù)據(jù)

協(xié)整的命令為： xtwest depvar varlist [if exp] [in range] , lags(# [#]) leads(# [#])

lrwindow(#) [constant trend bootstrap(#) westerlund noisily mg]

語法2：Kao 檢驗

xtcointtest kao y x1 x2 x3

下方匯報了 5 種不同的檢驗統(tǒng)計量，其對應(yīng)的 p 值均小于 0.01，故可在 1% 水平上強烈拒絕 “不存在協(xié)整關(guān)系” 的原假設(shè)，認(rèn)為存在協(xié)整關(guān)系。

語法3：Pedroni 檢驗

下面進(jìn)行更為靈活的 Pedroni 檢驗，允許不同面板單位有不同的協(xié)整向量與殘差自回歸系數(shù)，并加上時間趨勢項

xtcointtest pedroni y x1 x2 x3,trend

語法4：Westerlund 檢驗

下面進(jìn)行 Westerlund 檢驗，依然包括時間趨勢項。

.xtcointtest westerlund y x1 x2 x3, trend

第三步：hausman檢驗，判斷何種檢驗方法。

語法：xtreg y x1 x2 , fe （fe是固定效應(yīng)模型）

est store fe （保存回歸結(jié)果）

xtreg y x1 x2 , re （re是隨機(jī)效應(yīng)模型）

est store re （保存回歸結(jié)果）

hausman fe re （比較兩者，順序一般而言不可以調(diào)換）

hausman檢驗最常用（也有人認(rèn)為只是理論可信，實際一般），其實具體有三種模型，具體檢驗方法看下圖，然后自己可以一個個檢驗方法搜索，都會找到語法和結(jié)果分析。

hausman出現(xiàn)負(fù)數(shù)是因為var(b-B)=var(b)-var(B)在有限樣本的情況下，這兩個協(xié)方差矩陣的差不能保證是正定的，所以可能會出現(xiàn)負(fù)數(shù)。在這種情況下無法拒絕random effect model，這是由協(xié)方差矩陣的相似性引發(fā)的。如果想進(jìn)一步檢驗到底選擇隨機(jī)還是固定效應(yīng)，可以用Baltagi(2005,pp.65-73)的式子解決這個問題，這個協(xié)方差矩陣永遠(yuǎn)是非負(fù)定的。認(rèn)為用Breusch-Pagan Lagrange multiplier (LM) test來檢驗random effects

第二，如果hausman檢驗值為負(fù)，說明的模型設(shè)定有問題，導(dǎo)致Hausman 檢驗的基本假設(shè)得不到滿足，遺漏變量的問題，或者某些變量是非平穩(wěn)等等，則采用hausman fe, sigmaless或hausman fe, sigmamore。關(guān)于結(jié)果為負(fù)數(shù)沒有統(tǒng)一定論，大部分情況都是選擇固定效應(yīng)模型，以上的檢驗結(jié)果最好是拒絕原假設(shè)，至少要很多個才好(注:這些都值得商榷的，很多也沒有定論)。

其中固定效應(yīng)模型應(yīng)用較多，再詳細(xì)介紹一點語法：

個體固定效應(yīng)模型：xtreg y x1 x2 x3,fe robust（stata穩(wěn)健性回歸時不報告調(diào)整R2，穩(wěn)健回歸的話,則只調(diào)整了t統(tǒng)計量，其他不變）

時刻固定效應(yīng)模型：xi:y x1 x2 x3 i.year

控制個體和年份的固定效應(yīng)模型：xtreg y x1 x2 x3 i.year i.province,fe

最小二乘法虛擬變量模型: xi xtreg y x1 x2 x3 i.year i.province,fe

如果存在單位根，則取滯后項。例如：xtreg lnsjY l3.lnx1 lnx2 lnx3 lnx4 lnx6 lnx7 lnx8 , fe robust 其中l(wèi)nx1不平穩(wěn)，滯后3項平穩(wěn)

LSDV方法：reg y x1 x2 x3 i.province,vce(cluster province) estimates store LSDV

很多中文文獻(xiàn)統(tǒng)計糙點，如果寫英文，你還需要再去了解很多，經(jīng)管之家是個不錯的APP。其實很多時候，這些檢驗只是為了應(yīng)付審稿人，統(tǒng)計方法說來說去還是主觀性很強，看自己需要怎么樣的結(jié)果然后不斷試驗。

三、GMM

為什么使用這個方法，何時使用，注意事項需要再去搜索學(xué)習(xí)，學(xué)問很多，這里我就寫一點語法經(jīng)驗。建議學(xué)這個之前，先學(xué)習(xí)什么是內(nèi)生變量、工具變量、自相關(guān)等各種問題。如果不太懂也沒有時間學(xué)，就建議使用OLS之類的回歸。

現(xiàn)在都是使用xtabond2的語法格式：

第一步：定義截面變量和時間變量，語法：tsset province year

第二步：樣本的描述性統(tǒng)計，語法：xtsum y x1 x2（注意stata區(qū)分大小寫，你命名的時候最好統(tǒng)一，否則經(jīng)常不識別）

我們發(fā)現(xiàn)統(tǒng)計結(jié)果是按照“整體”、“組間”和“組內(nèi)”三個層次進(jìn)行的。當(dāng)然，你也可以采用 sum 命令來得到基本統(tǒng)計量，而且在正是寫論文時，所需列示的結(jié)果并不要求像上面那么詳細(xì)，此時 sum 命令反而更實用。

看下圖，自行對比需要什么。

第三步：具體GMM操作

第一，對所有數(shù)據(jù)取對數(shù)，消除異方差

如對變量x取對數(shù)，語法: gen lnx=log(x)

九個變量依次變換

（ps：由于自變量中有比例，百分比，關(guān)于這個是否取對數(shù)，我沒有找到統(tǒng)一要求，暫且一是看標(biāo)準(zhǔn)差是否大，二是看是否核心變量，是否需要明確具體系數(shù)大小，如果均是yes，那么取對數(shù)無可厚非。我是都取，由于如果是小于的1的數(shù)值，取對數(shù)就是小于0，所以建議可以轉(zhuǎn)換為百分比，千分比，保證數(shù)值大于1）

縮尾處理：ssc install winsor2, replace，自動安裝 winsor2

默認(rèn)雙側(cè)縮尾winsor2 x1, gen(x11) cuts(1 99)

可以通過winsor命令的highonly或lowonly選項來進(jìn)行單側(cè)縮尾處理：winsor x1, gen(x11) p(0.025) highonly

winsor2 x1 x2 x3 x4 x5 , replace cuts(1 99) ：批量處理多個變量；replace 選項，可以不必生成新變量，直接替換原變量。

winsor2 x1 x2 x3 x4 x5 , replace cuts(1 99) trim

沒有trim的就是用邊界值替換邊界外的， values smaller than the 1th percentile is repalce by the 1th percentile, and the similar thing is done with the 99th percentile.

加trim的就是直接舍去邊界外值，discard values smaller than 1th percentile or greater than 99th percentile

第二，安裝xtabond2

ssc install xtabond2

第二步，最簡單的語法形式：xtabond2 depvar（因變量） varlist（系列解釋變量：前置變量、嚴(yán)格外生變量、內(nèi)生變量）

simple autoregressive model(AR自回歸模型) with no controls except time dummies

one-step di?erence GMM with robust errors.

語法：xtabond2 y L.y i.t, gmmstyle(L.y) ivstyle(i.t) robust noleveleq

其中：L.y表示y的滯后lag t時間 nolevel或者noleveleq表示是difference-GMM，系統(tǒng)默認(rèn)的system-GMM

舉例：如果x1 is strictly exogenous嚴(yán)格外生變量, x2 is predetermined but not strictly exogenous前置變量，但不完全外生, and x3 is endogenous內(nèi)生變量, then

語法：xtabond2 sjY L.sjY x1 x2 x3, gmmstyle(L.sjY x2 L.x3) ivstyle(x1)twostep robust small orthogonal

這就是 two-step system GMM, Windmeijer-corrected standard errors, small-sample adjustments, and for orthogonal deviations（用來消除固定個體效應(yīng)，即一個第t期的變量減去t期之后所有日期的平均數(shù)值，這與我們時常用的first difference不太一樣，因為這種方式保證不了所有日期都能夠獲得數(shù)值）.

我的案例： xtabond2 lnsjY L.lnsjY lnx1 lnx2 lnx3 lnx4 lnx5 lnx6 lnx7 lnx8 lnx9, gmm (lnsjY lnx1 lnx3 lnx7 lnx8 lnx2 lnx9, lag(2 2)) iv( lnx4 lnx5 lnx6 ) twostep robust noconstant small orthogonal

內(nèi)生變量滯后兩階 工具變量4.5.6 二步系統(tǒng)GMM

下面再來具解釋一下各選項。但其實實際應(yīng)用，語法沒有這么復(fù)雜。

語法：xtabond2 depvar（因變量） varlist（系列解釋變量：前置變量、嚴(yán)格外生變量、內(nèi)生變量） [條件篩選] [回歸區(qū)間][, level twostep robust cluster noconstant small noleveleq passthru orthogonal gmmopt [gmmopt ...] ivopt [ivopt ...] pca components(主成分部分) artests(自相關(guān)檢驗的最大階數(shù)) arlevels h(這個選項一般不影響大局) ]

level(置信區(qū)間)

twostep（表明計算two step估計量而不是one step估計量）

robust（如果前面選擇了twostep，那么就必須選擇這個robust，因為two會嚴(yán)重低估回歸系數(shù)的標(biāo)準(zhǔn)誤差，得到的回歸系數(shù)都過于顯著）

cluster(用來重新命名Panel變量，就是說改變之前的id，主要考慮組內(nèi)（比如以id為組，year為組）

noconstant（在level equations中不要常數(shù)項）

small（用t統(tǒng)計量和F統(tǒng)計量，而不是用z統(tǒng)計量和Wald統(tǒng)計量來評估回歸顯著性）

noleveleq（如果有這個命令，那工具變量中就只有difference equations，沒有了level equations，因此就等同于做了difference GMM，否則默認(rèn)system GMM）

orthogonal（這是用向后orthogonal deviations方法來創(chuàng)造工具變量，主要是與difference GMM連著用，比傳統(tǒng)的AR（１）difference GMM更加穩(wěn)定無偏，尤其是數(shù)據(jù)非平衡以及有缺失值的時候使用，但系統(tǒng)默認(rèn)一階差分first difference）

gmmopt [gmmopt ...] gmmstyle(varlist [, laglimits(對于transformed或者level equations，這個選項規(guī)定了工具變量選擇的前后日期)

ivopt [ivopt ...] ivstyle(varlist [, equation({diff | level | both}（表示哪個equation用前面的那個工具變量）)

collapse（只為每個變量和滯后距離創(chuàng)造一個工具變量，而不是每一個時間段都創(chuàng)造一個工具變量，減少了工具變量個數(shù)，利于后面的過度檢驗，這個option是放在gmm里面）

passthru split（僅僅用于system GMM和沒有規(guī)定equation()，主要是把工具變量分成2組來做difference-in-Sargan/Hansen testing）

mz（工具變量中Missing值就換成0）

equation({diff | level | both}) 那個等式使用工具變量，默認(rèn)both

pca components(主成分部分)

artests(自相關(guān)檢驗的最大階數(shù))

arlevels（標(biāo)明自相關(guān)檢驗用于level equations）

h(這個選項一般不影響大局)

#注意的是，如果x變量是個前置變量，那作為level equation的工具變量是可以的，但是現(xiàn)在就不能用ivstyle選項，而是后面這個iv(x, eq(level))。

第四步：過度檢驗和自相關(guān)檢驗

xtabond2會報告過度檢驗（Hansen J和sargan test）對于Sargan test of overid. restrictions和Difference-in-Sargan tests of exogeneity of instrument subsets，原假設(shè)是這些instruments valid， 因此p不顯著，不reject原假設(shè)即p值要大于0.10以上就是好的，同時也不要大于等于1。一般而言在0.1-0.25之間最合適。

自相關(guān)檢驗情況（AR1 AR2），是檢驗擾動項的差分是否存在一階與二階自相關(guān)，以保證GMM的一致估計，一般而言擾動項的差分會存在一階自相關(guān)，因為是動態(tài)面板數(shù)據(jù)，但若不存在二階自相關(guān)或更高階的自相關(guān)，則接受原假設(shè)“擾動項無自相關(guān)”。一般情況，AR1經(jīng)常會拒絕，AR2則不顯著，p值大于0.1較合適，不拒絕，如果AR2也顯著的話，那么就該用3階以及更高階作為工具變量，然后檢驗AR3是否顯著。在原方程后面再加上artests(3)就OK了

To compensate, xtabond2 makes available a finite-sample correction to the two-step covariance matrix derived by Windmeijer (2005). This can make two-step robust estimations more efficient than one-step robust, especially for system GMM （xtabond2反正用了一些方式讓他的回歸更加有效率和穩(wěn)健）。

GMM估計包括一步(One-Step)和兩步(Two-Step)的GMM。兩步估計的權(quán)重矩陣依賴于估計參數(shù)且標(biāo)準(zhǔn)差存在向下偏倚，并沒有帶來多大的效率改善且估計量不可靠，一步估計量盡管效率有所下降但它是一致的，因而在經(jīng)驗應(yīng)用中人們通常使用一步GMM估計。理論上，一步系統(tǒng)廣義矩估計(One-Step SystemGMM)利用了比一步差分廣義矩估計(One-step Difference-GMM)更多的信息，前者可以解決后者不能解決的內(nèi)生性和弱工具變量問題，因而前者比后者的估計結(jié)果更有效。Blundell and Bond利用蒙特卡羅模擬實驗也證實，在有限樣本下，系統(tǒng)GMM比差分GMM估計的偏差更小、效率也有所改進(jìn)。

第五步穩(wěn)健性分析：

一是從數(shù)據(jù)選擇上考慮，依據(jù)不同的標(biāo)準(zhǔn)來分類，進(jìn)而驗證檢驗結(jié)果是否依然顯著，這種辦法的難點在于不同標(biāo)準(zhǔn)之間較難衡量，在分類過程中會出現(xiàn)取舍不當(dāng)?shù)膯栴}；不同的標(biāo)準(zhǔn)對數(shù)據(jù)重分類、聚合；蒙特卡洛/boostrap模擬取樣；還有5%截尾值刪減、不取或取對數(shù)

其次從變量選擇上考慮，即通過用其他相類似的變量替代，這種辦法較多人采用，但有些變量存在單一性，很難用其他變量代替，或者出現(xiàn)其他變量與解釋變量之間相關(guān)性不大等問題；

最后從計量方法入手，利用不同的回歸方法來檢驗，如先用基礎(chǔ)回歸的方法，對比解釋變量在混合回歸、固定效應(yīng)模型和隨機(jī)效應(yīng)模型的系數(shù)和方向，再用動態(tài)面板的方法進(jìn)一步檢驗，發(fā)現(xiàn)兩者的系數(shù)大小和正負(fù)方向并沒有發(fā)生巨大變化，也進(jìn)一步說明了模型的穩(wěn)健性。

模型不穩(wěn)健怎么弄？



使用GMM的注意事項：

1、OLS和固定效應(yīng)模型估計的參數(shù)一般就是真實系數(shù)的上限和下限。可考慮做GMM的估計限定范圍。也可以做穩(wěn)健性分析。

2、適合短面板數(shù)據(jù)即N>T

3、如果數(shù)據(jù)有間隙，盡量使用垂直離差。

4、每個自變量通常需要出現(xiàn)兩次（除了定義的工具變量）。

先作為自變量出現(xiàn)在在xtabond2命令中逗號的左邊,再以某種形式作為工具變量出現(xiàn)在逗號右邊。如果變量x是完全外生的,那么放到 instyle(x)(表示直接作為工具變量)；如果x是前定predetermined的,但不是完全外生的,則放到 gmmstyle(x)(表示從滯后一期或以上開始都作為工具變量)；如果x是內(nèi)生的,則放到 gmmstyle(L.x)(表示從后兩期或以上開始都作為工具變量) .

例: xtabond2 y L.y x1 x2 x3 i.t, gmmstyle(L.y x2 L.x3) ivstyle(i.t x1)> twostep robust small orthogonal

5、報告工具變量的數(shù)量。

如果按照上一條的做法,工具變量的數(shù)量會很多。這樣會導(dǎo)致overidentification test不準(zhǔn)確,（一個標(biāo)志就是 Hansen統(tǒng)計量的p值變?yōu)?, Hansen test的p值在(0.1,0.25)之外都要小心,小于0.1表明拒絕工具變量有效的假設(shè),大于0.25表明選的工具變量太多, hansen檢驗變?nèi)趿?#xff09;通常,需要限制工具變量數(shù)量,可以用 collapse選項,也可以用1ag1imits()選項。習(xí)慣做法是,選擇不同數(shù)量的工具變量以顯示估計系數(shù)的穩(wěn)健性。工具變量數(shù)量的上限就是模型中個體的數(shù)量(也就是N),超出此上限, xtabond2命令會報警。

6、使用system-GMM的前提是數(shù)據(jù)應(yīng)該在穩(wěn)態(tài)附近，就是指在觀測期間，樣本或個體之間不能離穩(wěn)定狀態(tài)太遠(yuǎn)，否則這些變量的變化就會和固定效應(yīng)關(guān)系比較大，不滿足使用前提。

7、在有間隙的面板數(shù)據(jù)中使用正交偏差即orthogonal deviations，可以增大樣本量。

8、報告你的選項：system還是difference；垂直離差還是一階差分；工具變量；滯后幾期；選擇什么樣的robust（nonrobust,cluster–robust, or Windmeijer-corrected cluster–robust errors;）。

總結(jié)

以上是生活随笔為你收集整理的stata F值缺失_stata面板数据回归操作之GMM的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。