周期与效率——基于时间集合数据的动态离散选择模型估计

人们普遍认为，“数据”是能够比较客观公正地反映事物特征与规律的载体。然而，即使是黑纸白字不掺任何杂质的数据，其真实反映的特征与规律也可能与我们直观判断的结论完全相反。本书是一部原创性的学术著作，其中有一个重要的结论就是：采集数据的周期并不是越精确越好，比较宽松的采集周期可能会得到更为精准的答案。这个结论与我们直观的判断背道而驰，而现实当中这样的例子有很多，这些数据像变戏法一样给我们表演着障眼法。下面我们就举几个这样的例子，看看数据“魔术”是如何欺骗我们的。
中华人民共和国2017年国民经济和社会发展统计公报显示，2017年，全国居民人均可支配收入25 974元，比上年增长90%。其中，城镇居民人均可支配收入36 396元，增长83%；农村居民人均可支配收入13 432元，增长86%（本数据与价格因素无关）。细心的读者应该很容易发现，这个数据看着好像有很明显的问题：怎么城镇和农村两部分的收入增长率，都低于全国平均的收入增长率呢？难道国家统计局在数据作假吗？显然，国家统计公报不可能犯这么低级的错误，原因可能有很多，这里说一种合理的解释：当年如果全国每人都增长9%，那么全国、城镇、农村的人均增长率，肯定都是9%，在这个基础上，如果农村里比较有钱的（但不如城里人有钱）一些人进城了，那么农村的平均收入要往下调，城里的平均数也要往下调，因此，总体增长率高于两个部分的增长率是有可能的。大家看，数据“魔术”是不是可以很神奇？
如果上一个例子是因为我们不知道“农村人口可以转变为城镇人口”这个条件，那么下面介绍另外一个类似的数据魔术，原理却是很不一样的。假如A国2018年三大产业的增长率分别为3%、9%、15%，B国2018年三大产业的增长率分别为6%、12%、28%，很显然，B国在三大产业各自的增长率上，都明显高于A国，但总的GDP增长率谁高谁低，却不是可以一眼看出来的。譬如，A国2017年三大产业产值之比如果是1∶3∶6，那么可算得2018年A国GDP增长率为12%，而B国2017年三大产业产值之比如果是6∶3∶1，那么可算得2018年B国GDP增长率为10%。所以，尽管B国三大产业增长率都高于A国，但加总的GDP增长率却低于A国，这是因为求GDP增长率时使用的是“加权平均数”，而两国的产业权重并不相同。我们把这个例子简化为一个更生活的例子，大家也许能够更加直观地理解：1班48个男生，平均身高180厘米，2个女生，平均身高165厘米；2班2个男生，平均身高181厘米，48个女生，平均身高166厘米。在这个例子中，2班的男生和女生的平均身高均高于1班，但不难推算，如果计算全班同学的平均身高，2班肯定是比不过1班的，因为2班以女生为主，1班以男生为主。这个例子和前面三大产业增长率的例子是同样的原理。
我们再来介绍后一个数据魔术。如果说上面两个例子是因为我们忽略了某些重要的条件，那么下面这个例子将更具有隐蔽性和欺骗性。这个例子是这样的，某个厂家声称他们有种保健品对“落后生”的成绩提高有特别的效果（我们假定这种保健品确实没有任何副作用）。实验对某中学高三全部1 000名同学进行，某一次月考之后，排名前500名的同学服用没有保健效果的安慰剂（淀粉片），排名后500名的同学服用保健品，学生们并不知道自己服用的是安慰剂还是保健品。在后一次月考中，发现服用了保健品的“落后生”平均提高了15分，而只是服用了安慰剂的同学平均下降了5分，于是该保健品厂家宣称他们的产品，对“落后生”成绩的提高有立竿见影的效果。严格设计的实验，清楚明白的数据，似乎都惊人地支持了药厂的结论，但这是真相吗？这个完美的数据魔术，再次通过其表象欺骗了我们。
下面我们简单解释一下这个数据背后的规律。我们知道，前一次考试的后500名同学，其中既有本身学得不太好的，也包括本身水平并不是这么差，但发挥不够好的，或者说不够幸运的；而前一次考试的前500名同学，除了本身学得比较好的，还包括本身水平并不是那么好，但发挥超常，或者说特别幸运的。所以，在下一次考试中，前500名平均分下降，后500名平均分上升，这只是一个自然的现象，并不是某个药品的作用，即使这1 000个同学全部只是吃了淀粉片，也一定会有上面相同的效果。这在统计术语中被称为“对均值回归”（Regress toward the Mean）。实际上，直接抽取学生历史上两次考试的考试成绩，次考试中后一半的同学，在第二次考试中的进步一定高于另外一半同学（统计意义上的大概率），而这样的数据欺骗往往是大家所容易忽略的。当然，这里是以“保健品”为例说明问题，大家自然是不相信药片的效果，但如果把这个例子换成是“辅导班”呢？如果对全年级排名后50%的同学进行额外培训，平均提分15分，而没有参加培训的同学，平均下降了5分，我相信这样的数据一定会让很多人坚信数据不会骗人，参加培训一定是有用的。
讲了这么多，其实只是想说明一个道理：在数据面前，我们不一定可以通过直觉得到正确的结论。或许直觉可以搞定95%的情况，但剩下的5%，直觉也许会给你带来错误的结论。所以，我们进行科学研究，一定要有严谨的精神，更要有严格的推导，才能得到让人信服的观点。本书就是这样做的，不仅得到了重要的研究结论，还推导出一个与直觉相违背的非常有意思的结果，希望能与大家一同分享。
后，由衷地感谢国家自然科学基金（项目号：71601131）和首都经济贸易大学出版基金的慷慨资助，同时感谢当代经济学基金会的认可，本书的核心成果于2017年获当代经济学基金会设立的第二届“中国经济学优秀博士论文奖”。
希望能与大家共同交流，我的邮箱是liweiming291@163com，欢迎大家批评指正。

李委明
2019年6月20日于北京

首先，本书从“r期状态随机概率转换矩阵”的数据，得到了“单期状态随机概率转换矩阵”的分析解，从而解决了由于时间跨度r存在而不能使用传统模型方法的问题。其次，本书对二维随机概率转换矩阵的开方进行了详细的分析，得到了矩阵开方可能存在“*性”和“存在性”的很多细节结果。*后，通过对间接估计量和直接估计量的比较，从理论推导和数值模拟两个角度得到了与一般直觉不一致的结论。

李委明，2014年毕业于清华大学经济管理学院，同年进入我院工作。他已在Journal of Econometrics，Journal of Business & Economic Statistics，Economics Letters等期刊上发表高水平论文，主持参与多项国家自然科学基金项目，其主要研究涉及非参数估计，微观理论计量，因子模型，金融计量等多个领域。

1文献综述与问题提出

11文献综述

12实际问题提出

13解决方案

14创新与贡献

15本书结构

2模型框架与数据结构

21模型框架

22拉斯特方法

23霍茨—米勒方法

24离散模型的矩阵估计

25数据结构与估计困境

3简约模型中的非参数估计和识别

31问题引出

32非参数识别的推导与证明

33非参数估计的存在性和性

34二阶随机概率矩阵的求根

35二阶随机概率转换矩阵的动态迁移

36随机概率转换矩阵的求根图示

37随机概率转换矩阵的识别性

38非参数估计与似然法估计的比较

4集合数据与非集合数据估计的效率比较

41问题引出

42一维案例的分析解演示

43二维案例的数值解演示

44简约模型程序模拟结果

45结构模型程序模拟结果

46一般性数据缺失估计

5结论及进一步研究方向

51总体评述

52进一步研究方向

参考文献

附录Matlab程序

首先，本书从“r期状态随机概率转换矩阵”的数据，得到了“单期状态随机概率转换矩阵”的分析解，从而解决了由于时间跨度r存在而不能使用传统模型方法的问题。其次，本书对二维随机概率转换矩阵的开方进行了详细的分析，得到了矩阵开方可能存在“*性”和“存在性”的很多细节结果。*后，通过对间接估计量和直接估计量的比较，从理论推导和数值模拟两个角度得到了与一般直觉不一致的结论。

李委明，2014年毕业于清华大学经济管理学院，同年进入我院工作。他已在Journal of Econometrics，Journal of Business & Economic Statistics，Economics Letters等期刊上发表高水平论文，主持参与多项国家自然科学基金项目，其主要研究涉及非参数估计，微观理论计量，因子模型，金融计量等多个领域。