机器学习与资产定价

推荐序一

大约在五年前，我在国内的一次学术会议上介绍了我的一篇关于机器学习和资产定价的文章：Empirical Asset Pricing via Machine Learning。一位听众问了这样一个问题: “您能否列举出一家国内外的对冲基金是靠机器学习算法挣钱的？”这位听众的言外之意或许是对机器学习在投资中的应用前景持怀疑态度。在那个时候，对于某些对冲基金来说，机器学习或许还是“不能说的秘密”。但现在看来，机器学习几乎已经成为行业的共识。我很难列举出一家头部的量化对冲基金至今还完全没有使用过任何机器学习的技术。事实上，机器学习的相关人才在金融相关的就业市场上早已趋之若鹜。

差不多也是五年前，我有机会在芝加哥与美国某对冲基金的首席投资官有过一次深入交流。当时他令我为印象深刻的一句话是“学术界的研究至少落后于我们五年甚至十年，我们已经不再阅读和关注金融学的文献了。”虽然资产定价，作为金融学重要的分支之一，其研究的核心目的并不是为工业界提供投资策略。但不可否认的是，资产定价领域的杰出研究成果与工业界的蓬勃发展向来密不可分。从早期Markowitz提出的均值-方差组合范式，到Sharpe 和Lintner 等构想的资本资产定价模型，到Fama 的有效市场假说，到以Shiller 等为首开展的行为经济学研究，到Black 和Scholes 发现的期权定价公式，到Fama 和French 总结的多因子股票模型，都无一例外地带来了工业界的革命性巨变。

机器学习这个资产定价领域的新兴方向让我看到了学术界的思想和工业界实践再一次紧密融合的希望。我前文提及的对冲基金早在十年前就已经大规模地使用机器学习里常见的变量选择和降维技术。近几年来，美国头部的几家对冲基金对神经网络、自然语言处理、另类数据等方向也有极大的关注和投入。中国的对冲基金行业更是以惊人的速度在短短五年之内成长起来。以机器学习、因子投资为主要理念，达到百亿元规模的量化投资团队已经超过百家。

在工业界如火如荼的发展背后，学术界与此同时进行的一系列研究给这一新兴投资方法论提供了充分的理论支持和严谨稳健的实证。或许这一次的技术以及方法论的变革工业界的确领先于学术界，但学术研究和工业实践之间的差距在迅速缩小。未来实证资产定价研究有前景的方向之一是进一步以经济学的理论为先验，设计新的机器学习的方法，挖掘另类数据中的洞见，从而更好地理解投资者预期与资产价格的复杂关系，为相关的经济学理论提供反馈和补充，以期进一步指导业界实践。

在这样的背景之下，本书的出版满足了想进入该领域研究和实践的读者们迫切的需要。我与本书英文原著作者Stefan Nagel 不仅是芝加哥大学布斯商学院的同事，也是一起进行学术研究的合作者。我们近期合作撰写的The Statistical Limit of Arbitrage 就是机器学习方法论完善与补充已有的经济金融学理论的一个例子。他对于研究的专注、治学的严谨以及对经济学理论的直觉令我印象深刻。在资产定价领域，他是芝加哥大学乃至整个金融学术界当之无愧的领军人物之一。

我也是本书译者之一石川博士博客的忠实读者。石川博士撰写了一系列文章，对资产定价领域的前沿研究进行总结，更在其中结合了他从业多年提炼出来的独到见解。他的这些评论文章产生的影响甚至不亚于他选评的这些文章本身的贡献。我因此也邀请他给上海交通大学高级金融学院的硕士生和博士生做过讲座，学生们也是收获匪浅。

这次我非常有幸为《机器学习与资产定价》撰写序言。本书的原著从资产定价的角度出发，介绍了机器学习的方法论，并辅以详细的数据实证，为经济金融背景的读者们提供了机器学习方法论的好诠释，同时也为已经具备统计与机器学习基础的读者们提供了经济学直观。难能可贵的是，原著指出了现有文献中的局限，提出了值得研究探索的新问题，明确了未来资产定价领域这个分支的发展方向。中文版在此基础上添加了王熙与石川两位博士的译者注，为本书的读者提供了背景知识和逻辑推导。基于我对本书的作者和译者的了解，以及对原著和中文版的精读，我相信广大中国读者会和我一样从本书中获益良多！

修大成博士

芝加哥大学布斯商学院计量经济学与统计学教授

清华大学五道口金融学院特聘教授

上海交通大学上海高级金融学院特聘教授

2022 年7 月

推荐序二

自20 世纪70 年代以来，实证资产定价研究已经走过了近50 年的发展。1995 年我进入美国的公募基金行业伊始就逐步涉猎从CAPM 到如今家喻户晓的Fama–French 和q-factor 等因子模型。从“Factor Zoo”再到“Factor War”，浩如烟海的多因子建模学术文献一直伴随着我管理大规模全球股票投资基金的职业生涯。我见证了实证资产定价研究在不断地克服自身局限性的同时也一直在寻求新的突破和创新。

纵观人类历史发展，蒸汽机的发明把人们从拽耙扶犁的农耕时代带入声光化电的工业时代，通信技术及计算机技术的飞速发展使人们迈入日新月异的信息时代。每一次时代更迭都需要技术突破的支撑。而机器学习方法，就是引领资产定价研究进入新阶段的关键技术。传统的实证资产定价是由低维线性计量方法主导的，适合于近一般均衡状态（near general equilibrium）的经济分析和预测，而擅长处理高维问题和非线性关系等高度复杂性系统（complexity system）的机器学习方法无疑为资产定价领域注入了鲜活的血液。这也是我十年前海归回国，担任嘉实基金首席科学家，从初引入量化基本面投资到2015 年创立嘉实人工智能投研中心，并联合北京大学光华管理学院成立博士后科研工作站的初衷。以人工智能、机器学习并结合复杂网络为科学基础的资产定价理论与应用，对中国这个快速发展且具有高度复杂性的资本市场的规律把握具有先天的优势与必要性。

近年来，计算能力和数据可用性都进一步提升，这使得以数据为基础的机器学习策略，不仅更具吸引力和成本效益，而且成为竞争优势的关键来源。在投资领域，机器学习与资产定价的有效结合，助推了量化投资的发展。量化基金已经逐渐跻身到美国投资市场的主流，的量化机构也都形成了自己鲜明的特色，如以海外AQR 为代表的学术量化派、以WorldQuant 为代表的因子数据挖掘派和以西蒙斯的Medallion（大奖章）基金为代表的高频科技派等。不管哪种流派，背后都是海量的数据和神秘的模型。如果说投资是一场冒险，那么以数据和模型为依托的量化投资就是一场科学的冒险。相比起挑选主动基金时辨人的风险，量化投资可以用更加科学严谨的模型来确保投资风格不漂移，规避主观情绪波动带来的非理性操作。

尽管机器学习算法在图像识别和语音识别等方面取得了颠覆性突破，90% 以上的识别准确率确实让人热血澎湃，但我们要深刻认识到资产定价与简单预测问题的本质区别，要清楚金融数据与图像、信号等数据的差异性。在本书中，作者并没有一味鼓吹机器学习的强大，反而理智分析了机器学习在资产定价中的不足之处。首先，资产定价理论是对资产价格本质的一种解释。尽管深度学习算法在图像识别方面一骑绝尘，但它的“黑箱性”注定了深度学习在资产定价领域望而却步。其次，金融数据相比于图像数据具有信噪比极低和难以满足平稳性等特征，研究人员的先验知识可以发挥重要的指导作用，这就造成纯数据驱动的一些非贝叶斯机器学习方法并不能带来理想的定价效果。后，资产定价模型、风险模型以及投资组合模型是在一个理论框架之内，模型与模型之间具有互通性和自洽性，这就要求机器学习方法的使用应该满足经济学约束。在本书的论述中，处处体现了辩证性思维，这也是本书的一大亮点。

所以，我们应正确看待机器学习与资产定价之间的辩证关系。机器学习方法不应只是让模型看起来“fancy”的手段，而是一种加深我们对资产价格理解的朴素工具。尽管机器学习让我们行得更快更远，但不要忘记我们为什么出发。

从对机器学习的狂热追捧中恢复冷静，我们应该思考机器学习在资产定价领域未来应走向哪里。，增强机器学习的可解释性。可解释性的必要性在于，它背后的理论是以人类为中心的，反映的是我们该如何通过解释模型达到人类对模型的信任，从而创造更加安全可靠的应用。在众多领域中，模型的可解释性和准确度同等重要。要想实现机器学习算法的广泛推广，提升可解释性是不可跨越的一步。第二，提升模型稳定性。不稳定性产生的原因包括数据和模型两个方面。从数据角度看，现有的大部分机器学习方法都需要独立同分布假设，然而在一些金融数据中，这一假设并不满足。从模型角度看，现有的大部分机器学习模型主要是关联驱动的，而关联关系包含稳定的因果与实业多重网络关系和虚假关联，虚假关联是造成模型不稳定的重要原因。如何恢复真正稳定的因果关系以及网络联结，使用因果关联和图论等工具指导模型学习得到稳定的结果，也是值得进一步探索的问题。

Stefan Nagel 教授的Machine Learning in Asset Pricing 从资产定价的核心问题出发有的放矢，系统化地讨论了机器学习方法如何有效解决这些问题。在我看过这本书的中文译稿之后，深感这是一本不可多得的、值得金融人士进一步探索前沿研究及应用的好书。本书深入浅出，构建了机器学习与资产定价的桥梁。译者王熙博士和石川博士在该研究领域造诣深厚、见解深刻，不仅翻译精确，还添加了大量的译者注。这些丰富精彩的译者注犹如这场学习之旅中的知识锦囊，帮助读者更深入地理解和学习。我真诚地祝愿每一位读者都能通过阅读此书有所收获、有所启发！

张自力博士

嘉实基金董事总经理、首席科学家、AI 投资总监及主基金经理

北京大学光华管理学院管理实践教授

上海高级金融学院、中国科技大学兼职金融教授

2022 年7 月

译者序

资产定价研究的核心目标之一是解释不同资产预期收益率在截面上的差异。自20 世纪50 年代以来，学术界就该问题在理论和实证两方面取得了大量的成果。在理论方面，研究表明了随机贴现因子、均值-方差有效投资组合以及多因子模型之间的等价性；而在实证方面，以资本资产定价模型和Fama–French 三因子模型为代表的因子模型更是引领了数十年的研究。

学术界在理论和实证方面的双管齐下也为业界的投资实务建立了必要的秩序，使之从初充斥着华尔街逸闻趣事或者“某某一夜暴富”的头条故事的杂乱无章，演化至当前在金融经济学框架内，使用严谨的数据分析和统计检验已经成为业界的研究范式。从多因子模型衍生出来的因子投资在投资实务中已经占据了举足轻重的地位，而利用诸如价值、规模、盈利、动量等因子区分不同资产预期收益率的差异、获得更高的风险调整后收益这样的认知更是深入人心。资产定价已然成为金融领域内一个理论和实践紧密联系、相互交融的典型代表。

然而，在这片有序之下也并非没有“暗流涌动”。首先，在实证方面，在过去的10～20 年中，在发表偏差所导致的p-hacking 问题驱使下，学术界制造了大量所谓的“市场异象”，它们中的每一个都在特定的实证设定下获得了超额收益。仿佛就在一夜之间，成百上千个能为解释资产预期收益率截面差异提供增量贡献的协变量便如雨后春笋一般涌现出来。但这诸多变量到底代表了何种系统性风险？它们之间的相关性和带有的预测信息的冗余度几何？哪些能够作为真正的定价因子？因子的风险价格又究竟是多少？与众多协变量形成鲜明对比的是，人们对上述问题的理解却十分贫瘠，这无疑令人尴尬。

数据量的激增进一步加剧了上述实证挑战。如今，被用来预测收益率的潜在协变量的数量与日俱增。传统的包括历史量价数据、财务报表数据、分析师一致预期数据，以及另类的包括新闻舆情数据、文本分析数据、卫星图像数据等均能够被拿来加工成各式各样的预测变量。毫不夸张地说，就资产定价的研究而言，我们已经步入了预测变量的高维数时代。而这样一个大数据时代对传统的计量经济学方法提出了巨大的挑战——试想一下当协变量个数超过观测样本个数时，OLS 的无能为力。为了通过计量经济学方法得出可靠的结果，人们只能退而求其次在实证分析中施加人为的稀疏性假设，这意味着在多因子模型中仅考虑有限个因子，或在研究收益率截面预测问题中只同时考虑很少的变量。

类似的挑战也存在于资产定价的理论方面。已有的、被学界和业界广泛认可的统计检验方法和统计推断结果均是建立在理性预期假设（即投资者已知现金流生成模型以及模型的参数）之上的。这意味着事后样本内检验发现的收益率可预测性可以被安全地归因为系统性风险补偿或由投资者行为偏差而导致的错误定价。可是，如果理性预期假设不满足又会如何呢？在如今的大数据时代，既然对市场数据进行事后分析的统计者们面临着高维预测变量问题，那么我们有同样的理由相信在金融市场中实际交易的投资者（他们的交易行为产生了实实在在的价格数据）也一定面临类似的高维预测问题。而已有的资产定价理论模型并未将投资者置于如此复杂的环境之中，因为在该环境中理性预期假设不再成立。面对这种进退两难的情形，我们是否真的无能为力？一旦在模型中放弃理性预期假设，对事后样本内统计推断又会有什么影响呢？除了风险补偿和错误定价，事后检验中存在的收益率可预测性背后的原因是否还有第三种可能？

面对实证和理论两方面的困境，好不容易建立起秩序的资产定价再一次陷入了无序之中。人们又回到了需要重新建立新秩序的起点。而无论是实证检验还是理论建模，为了应对协变量的高维数问题，擅于处理高维问题和非线性关系的机器学习方法自然而然地成为弥补传统计量经济学方法不足的不二之选。各种机器学习方法已经在资产定价之外的其他领域（如图像识别）取得了巨大的成功，让人们对它们在资产定价方面的表现充满期待。不幸的是，机器学习算法并非“即插即用”。大量实证结果表明，将现成的机器学习算法简单粗暴地应用于资产定价领域的数据并不能在样本外取得优秀的表现。这是否意味着人们的希望破灭了呢？幸运的是，答案亦是否定的。

资产定价领域的数据，诸如资产收益率，较机器学习擅长发挥作用的其他领域的数据具有一些与生俱来不同的属性，例如信噪比极低、难以满足平稳性及预测误差直接影响投资组合的风险收益特征等。这些特殊属性的存在阻碍着现成机器学习算法发挥其威力。然而，一旦知道了问题所在，我们便能够有的放矢，针对资产定价数据的属性选择和调整机器学习算法及其参数，使它们充分发挥所长。虽然目标明确，但这条利用机器学习拓展资产定价研究的道路仍然十分曲折。好消息是，在这条道路上，已经有人为我们勾勒出了系统性的、可操作的蓝图。这张蓝图就是由身为芝加哥大学金融学教授、金融领域期刊Journal of Finance执行主编的Stefan Nagel 教授所撰写的Machine Learning in Asset Pricing。该书高屋建瓴，逻辑缜密，推理严谨。

作为资产定价领域的领军学者之一，Stefan Nagel 教授以预测股票截面收益率中所遇到的各种问题为例，在书中体系化地讨论了如何将机器学习方法成功地引入实证和理论资产定价研究之中，从而有效解决前文提到的挑战。比如，该书通过理论推导和实证分析表明分别以R2 和投资组合表现为准则进行机器学习超参数优化时，会得到截然不同的结论及其背后的原因；又如它通过将专业投资者建模为使用机器学习工具的经济主体，指出投资者对现金流内在生成过程的学习问题会导致样本内虚假的可预测性，这为近年来日益扩充的“因子动物园”提供了另一种令人信服的解释。

资产定价应用中数据的低信噪比意味着人们不应指望在灵活的框架下，仅依靠“数据自己发声”便能取得良好的结果。因此，为了实现在实证和理论方面的突破，需要对机器学习算法的选择以及参数的设定施加必要的结构性约束。为此，将资产定价数据属性背后的内在经济学原理注入机器学习的应用就变得尤为重要。在这方面，贝叶斯统计提供了一个天然的框架。通过指定关于风险和收益机会的先验分布，该研究框架允许人们在收益率预测问题中加入具有经济学动机的约束条件，它们对机器学习的成功应用至关重要。通过贝叶斯框架使得机器学习在资产定价中发挥更大的作用正是Machine Learning in Asset Pricing 的一大特色。该书的另一个特色是强调开放性问题而非提供明确的答案。这些问题对于资产定价领域的发展至关重要。通过指出尚待解决的重要问题，Stefan Nagel 教授展望了未来资产定价研究可采取的方向。

对业界投资实务来说，该书描绘的理论前沿进展极具价值。当下，人们似乎站在这样一个十字路口之中，即传统的基于人为稀疏性假设的多因子模型越来越难以获得可观的风险调整后收益。这背后的原因是，传统实证资产定价研究和业界的投资实务的目标之间存在错配。前者的目标是提出简约的静态模型并为模型中的因子提供合理的依据，而后者的目标则是化样本外投资组合的条件风险收益特征。在这种错配下，投资实务亟需来自学术研究的全新方法的指引，而注入经济学推理的机器学习方法就是好的答案。该书介绍的理论方法以及相应的实证结果很好地扩展了因子投资的前沿。

作为该书的译者，我们在接触到Machine Learning in Asset Pricing之初便被其深深吸引。这是一本资产定价领域划时代的引领之作，我们深信该书对国内的学界和业界都极具参考价值。在此，特别感谢Stefan Nagel 教授以及普林斯顿大学出版社的同意和信任，让我们有机会将其引入国内。能有机会参与本书的翻译，我们深感荣幸，同时也明白身上担负的使命和责任。在翻译过程中，我们反复讨论和修订，力争做到在文字意义忠于原著的前提下，行文更加符合中文的表述习惯。此外，我们还在全书的行文中加入了大量的译者注，希望以此起到两个作用：（1）给原著提供必要的背景知识，帮助读者掌握上下文的行文逻辑；（2）原著中的第3 至5 章均涉及大量公式，我们为其中绝大多数公式提供了推导过程，帮助读者加深对贝叶斯统计框架的理解。为了区分译者注和原著自带的脚注，译者注采用了独立的编号且使用了楷体。希望这些努力能够使中文版读者更好地体会到原著的魅力。由于所学知识有限，中译版中难免有不当之处，烦请读者指正。

在翻译过程中，我们有幸得到了学界和业界很多专家的热情帮助，在此向他们致以真挚的谢意。特别感谢芝加哥大学布斯商学院修大成教授以及嘉实基金董事总经理、首席科学家、AI 投资总监张自力博士为中译版撰写精彩的序言。此外，感谢刘洋溢和连祥斌对中文版给予的建议和反馈。同时，本书的出版也离不开电子工业出版社的全力支持。感谢出版社高洪霞老师和陈林编辑细致入微的工作以及给予我们的鼓励；感谢各位校订老师的辛勤付出；感谢李玲为本书设计了精美的封面。

在各位读者开始这段令人兴奋的机器学习与资产定价之旅之前，我们想在后给出一些小小的忠告。虽然原著旨在介绍机器学习在资产定价中的应用，但它并不涵盖机器学习方法的进展，也并没有在计算问题方面花费太多篇幅。除此之外，原著也并没有致力于提供关于哪个机器学习方法更好的“神秘配方”或“灵丹妙药”。因此，想通过本书得到简单的答案（比如到底是神经网络还是决策树能够获得更优异的选股表现）的读者，恐怕要难免“失望”了。但正如“没有免费的午餐”定理所指出的那样，没有哪种方法在所有问题上都优于其他算法。因此，回答“机器学习方法是否适用于资产定价”以及“如何基于经济学推理选择机器学习方法以及参数，从而在样本外取得更好的效果”这些本质问题反而更加重要。在这些问题上，该书均有精彩的论述，不会让读者失望。

回顾过去半个世纪的资产定价研究，不禁让人感慨万千。学术研究也许就是这样，在无序中建立秩序，秩序又被新的问题打破并重新被建立，周而复始。在大数据时代研究资产定价，我们不仅要拥抱机器学习，而且要正确、科学、有效地拥抱机器学习。Stefan Nagel 教授的Machine Learning in Asset Pricing 使我们朝着这个目标迈出坚实的一步。该书不仅是对前沿成果的精彩梳理，更是一种面对未来的整装待发。相信每个关注资产定价的人都会因此而深受启发。

王熙 石川

2022 年7 月

本书从资产定价的核心问题出发，前沿而体系化地讨论了如何通过经济学推理将机器学习方法引入实证和理论资产定价研究之中，从而有效解决机器学习应用在资产定价中所面临的挑战，搭建了研究机器学习与资产定价的桥梁。为提升阅读体验，帮助读者充分理解书中内容，译者王熙教授与石川博士在行文中加入了精彩丰富的译者注，给原著提供必要的背景知识，从而帮助读者更好地掌握书中的行文逻辑。其中，为本书补充的诸多公式推导过程也能帮助读者加深对贝叶斯统计框架的理解。

本书从资产定价的核心问题出发，前沿而体系化地讨论了如何通过经济学推理将机器学习方法引入实证和理论资产定价研究之中，从而有效解决机器学习应用在资产定价中所面临的挑战，搭建了研究机器学习与资产定价的桥梁。为提升阅读体验，帮助读者充分理解书中内容，译者王熙教授与石川博士在行文中加入了精彩丰富的译者注，给原著提供必要的背景知识，从而帮助读者更好地掌握书中的行文逻辑。其中，为本书补充的诸多公式推导过程也能帮助读者加深对贝叶斯统计框架的理解。

作者简介

Stefan Nagel

芝加哥大学布斯商学院Fama Family Distinguished Service金融学教授。他是Journal of Finance的执行主编，以及美国国家经济研究局（NBER）、欧洲经济政策研究中心（CEPR）和慕尼黑经济研究中心（CESIfo）的研究员。

译者简介

王熙

北京大学经济学院研究员、助理教授、博士生导师；北京大学大数据分析与应用技术国家工程实验室研究员；武汉大学学士，圣路易斯华盛顿大学硕士、博士；主要研究方向为资产定价、宏观金融以及强化学习与机器学习的交叉学科应用。

石川

北京量信投资管理有限公司创始合伙人；清华大学学士、硕士，麻省理工学院博士；因子投资中文版首著《因子投资：方法与实践》领衔作者；知名期刊Computers in Industry编委会委员；曾就职于Citigroup、Oracle及P&G。石川博士精通统计建模方法，擅长以金融数学分析为手段进行资产配置、风险管理、量化多因子模型以及衍生品CTA策略的开发。其主理的量化投资公众号“川总写量化”受到了学界和业界的高度认可。

目录

第1章 引言 1

1.1 实证资产定价中的特设稀疏性假设

1.2 理论资产定价中的特设稀疏性假设

1.3 机器学习

1.4 术语

1.5 监督学习和无监督学习