Using SAS in Financial Bigdata Research（应用SAS实现金融大数据研究）

Preface
Financial research relies extensively on data. Mastering a statistical tool capable of handling the huge quantity of financial data is a necessary technique for every financial empiricist. There are many such tools, for example, Matlab, Stata, R, SQL, Python, etc. As a veteran in the field of empirical financial research, I have been using SAS for quite a long time. During the long years of experience, I gradually start appreciating SASs powerful yet smart ability to help me navigate through the ocean of financial data. I should admit that I have very limited, but not totally zero, knowledge of using other statistical software. However, I still feel obliged to compare SAS with other software in the context of financial research. The most distinguished advantage of SAS over other software is its ability to handle big data. This advantage is all the more meaningful when it comes to financial data. Let me explain this advantage as follows.
Big data analysis has become trendy during the past five to ten years, largely due to the rapid development of IT technology. To analyze data, we need to find the data in the first place. In this regard, financial data has long been collected, compiled, and distributed in a systematic, thorough, and scientific way. Most of the financial data originate from exchanges and the companies legally published periodic reports. In many countries, the financial information is universally formatted. These features make the financial data most easily to be collected and converted into commercial database. Many companies provide such database, such as WRDS, Thomson Reuters, CSMAR, and WIND. The Nobel laureate, Professor Eugene Fama, once mentioned that he had started using WRDS database to conduct researches since 1970s. In this sense, big data has been in place in financial research for about half a century, long ahead of the recent boom of big data analysis. To some degree, the financial data define the research topics, methodologies, and even sub-disciplines of todays financial research.
According to my personal observation, the researchers choice of the statistical software in the business and economics schools in universities varies from school to school. Interestingly, those in the finance departments are more likely to choose SAS, while those in economics and econometrics are more likely to choose Stata. This pattern of choice does have a reason. SAS treats data as a table, which stores and processes data line by line. Therefore, SAS theoretically has unlimited ability to dealing with any number of lines, although it necessarily takes a long time once the data are prohibitively large. In contrast, Stata treats data as a matrix, which requires, at least in theory, to read all data into the computers memory before starts the processing. This way, Statas ability to handle data is only as powerful as the computers memory size. However, Statas treating data as a matrix has a deeper rationale. That is, most modern econometric models are expressed in matrices, which means processing data in the form of a matrix is a more natural way in econometric research context. Partly due to this reason, when my students ask me why I choose SAS over Stata, I often half seriously and half jokingly answer them: “That is because I am not an econometrician.” 
I can add another interesting observation to corroborate my argument that econometricians and those with strong econometric backgrounds tend to choose Stata. The similar choice pattern also shows up in the students who learn their econometric courses taught by the professors with different backgrounds. Empirical research methods have been compulsory courses in many business, economics, and finance programs at undergraduate, graduate, and doctoral levels in many universities. However, the professors teaching econometric have different backgrounds. In many schools, it is the econometric professor who teaches the students the concepts and methodologies of empirical research, no matter the students major in econometric or not. Needless to say, econometricians teaching econometrics can provide the most advanced, thorough, and rigorous knowledge of the field to the students. But when it comes to the application of empirical research methods on a specific economics or finance question, the researchers in that particular field typically have a specific preference of certain econometric methods. Often the case, top tier economics and finance journals reject the papers whose main contribution is merely to apply a “better” econometric method to an old research question. In other words, high quality economics and finance research puts more weight on ideas over econometric techniques. Therefore, there has gradually emerged a new norm in which the econometric course is taught by an economic or finance professor who does not major in econometrics, statistics, or math, but specializes in specific research areas. Over the past years, I have been teaching and working with many students. It seems that those who learn econometrics from professors majoring in econometrics tend to choose Stata, while those who learn econometrics from professors majoring in finance tend to choose SAS.
Given that SAS does not treat data as matrices, it seems to lose to Stata in terms of timely incorporating the newest statistical mythologies into the software. But on the flip side, the nearly unlimited ability to process any number of lines of data does make SAS more suitable, and in certain studies the only choice, for financial research. Those who have no experiences in handling financial data may not fully appreciate the massive quantity of financial data. Let me put it in perspective. Compared to the US. financial market, Chinese financial market has a very short history. We have just celebrated the thirtieth anniversary of the Chinese stock market as I finish writing this book. However, there have been more than 47 million trading-day observations for all Chinese bonds, and more than 11 million trading day observations for all Chinese stocks. For the microstructure (tick-by-tick) data, the number of observations is thousands of times larger than the daily data. The exceedingly large size of financial posts a series of challenges to us. For example, sorting data is a routine process. However, most of personal computers will have difficulty in sorting a data set with hundreds of millions of data by several variables. Matching data is another simple yet challenging task for Big data. The typical way of matching data is to first use a Cartesian product and then eliminate those that are not matched. A Cartesian product of two tables with x and y lines generate a x times y lines temporary table. Imagine how daunting the task could be if you are trying to match two tables which both have 10 million lines. In these scenarios, we need to find smarter ways to conduct the data processing. Fortunately, SAS can provide many handy tools for us.
This book summarizes my experience in using SAS to conduct financial research on big data. One of my research areas is market microstructure, which studies the tick-by-tick data of trades and quotes. As mentioned above, market microstructure data are especially large, hence a more demanding task for researchers. I often wait for a whole day to get one result. Although often frustrated and disappointed by the tedious calculation process, I have learned a lot from these studies. Most of all, I gradually master the skills that enable me to decipher the regularities hidden in the tremendous amount of data. There are many books discussing how to use SAS. I do not intend to add to this long list. This book is rather focused on how to use SAS to conduct sophisticated financial researches, especially in the context of big data. I assume that the readers have already understood the basics of SAS. The topics of this book mainly cover the advanced research and coding issues that are seldomly discussed in the general-purpose and introductory-level SAS books. I hope the experience shared in this book can be of some help for you to conduct high-quality financial researches.
Han Yan was supported by the National Natural Science Foundation of China under grant number 71772013.

本书旨在讨论如何使用SAS进行特定的金融研究问题，尤其是涉及大量数据的问题。该书假定读者已经非常了解SAS。因此，本书不讨论任何基础知识。尽管本书中的SAS代码是经过精心编辑以使其适应大数据处理的，但这些代码的组成部分却与SAS入门书籍中的一样简单且初步。不过，不要被简单的代码形式所误导。为了充分利用SAS处理大数据的能力，深入了解SAS如何运行是至关重要的。本书从另一个更深层次的角度回顾了SAS中的所有基本编码技术，以便读者有能力进行大数据分析。
章涵盖了如何设置SAS以开始大数据分析，包括准确地从各种数据源和不同的计算机平台导入数据，SAS编码效率以及如何使代码更强壮。第二章回顾了循环、分组和汇总等有用的工具。第三章讨论如何在各种研究场景中操作表格。第四章专门介绍宏，这些宏对于进行重复的研究工作是必不可少的。后三章讨论如何进行特定的研究，例如不满足标准回归假设的面板数据回归，共同基金研究以及挑战性的市场微观结构研究。在后三章中的每一章中，还讨论了该领域文献的方法和结论。

韩燕，中国人民大学管理学博士，北京理工大学人文与社会学院经济系副教授兼系主任，硕士生导师。曾在中英文各种学术期刊上发表了十几篇学术论文。作为主持人主持国家自然科学基金2项，*基金1项，参与多项国家自然科学基金重点课题的研究。主要承担本科和研究生的国际金融、财务管理和金融经济学等课程。在研究生教学中，教学内容涵盖了金融研究前沿的广泛主题，其中很多内容是关于实证研究方法的。如今，大多数金融研究都是实证研究，这使得研究人员必须会使用统计软件。之所以选择SAS这款软件，部分原因是因为机遇，更多是因为SAS处理大数据的能力。经过十多年的实证研究，积累了处理大量金融数据的丰富经验。研究领域之一是市场微观结构，该领域对研究人员的数据分析能力要求，因此她拥有许多关于数据处理的技能、见解和建议，可以与年轻一代的金融研究人员分享。金融数据的数量庞大，把越多的数据整合在一起，就可能获得到更多的知识。但是，庞大的金融数据使其分析与小数据完全不同。例如，一个简单的排序任务对于1T的数据就变得极为困难。因此，为了有效地处理大数据，您需要不同的技能。韩燕在实证金融研究中的长期经验将为致力于大数据分析的读者提供帮助。

1Basic Rules when Using SAS
1.1Build Our Own Research Database
1.2Importing and Exporting Data
1.3Managing Libraries and Data Sets
1.4Enhancing SAS Efficiency
1.5Best Practice to Make Our Codes and Data More Robust
2Advanced Usage of SAS
2.1Loops and Arrays
2.2BY statement
2.3Lag and Dif
2.4Date and Times Formats and Informats
2.5PROC MEANS
3Manipulating Tables
3.1Concatenating Tables
3.2Merging Tables in SQL procedure
3.3Merging Tables in DATA Step Using MERGE Statement
3.4Modifying Tables
3.5Transposing Tables
3.6Subset