股票大数据挖掘实战 股票分析篇

投资股票是为了获得更大的收益，然而由于股票市场具有较大的动态特性，股票投资的收益与风险往往是成正比的，投资收益越高，存在的风险就越大。有效地进行股票价格的预测，限度地规避股票风险，增加投资收益，是股票投资者关注的热点问题。

近年来，中国股市起起伏伏，熊冠全球，许多投资者伤痕累累，损失惨重，股市已成为大多数中国股民的伤心地。中国股市的现状是多方面因素共同作用的结果，作为普通的投资者无法改变这一现实，怨天尤人于事无补； 要想在股市中博弈，立于不败之地，只能从现实出发，从自身做起。

在股票交易事务处理中，每天有大量的交易信息数据汇入数据仓库，这些数据无疑有益于股民了解股市的走势，做出正确的投资决策，然而如何从海量数据中提取有用的并终可理解的模式是投资者为关心的问题。

在大数据时代，数据挖掘无疑是炙手可热的技术。数据挖掘的作用是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的，人们事先不知道但又是潜在有用的信息和知识的过程。数据挖掘技术恰好解决了数据利用的问题，所以数据挖掘与股票投资便很自然地结合在一起。数据挖掘在国内也是一个新领域，加上较早之前计算能力的限制，所以还没有关于股票投资与数据挖掘相结合的相关书籍，以及股票大数据领域的规模应用案例。虽然有一些量化投资方面的著作，但是量化投资和股票挖掘还是存在相当大的差别。在这样的背景下，本书结合丰富的金融业数据资源，以及构建的股票大数据挖掘平台，介绍如何利用数据挖掘技术进行股票挖掘和投资实践。

首先介绍数据挖掘技术。数据挖掘是一个交叉学科，融合了统计分析、模式识别、机器学习、信息检索、数据库、信息论和化算法等领域的学习思想，所以其涉及的基础理论比较多，并且分散。其次介绍数据挖掘技术怎么应用到股票投资领域。对于有兴趣进行数据挖掘应用实践的读者来说，常常有这样的困惑： 如何将实际问题与已经学到的方法、原理联系起来，如何将数据挖掘技术有效地运用在实际应用中，给使用者带来价值。

本书以笔者团队的数据挖掘工作为基石，架设起研究和应用的桥梁，帮助读者从应用实例中学习数据挖掘和股票投资方法。具体而言，本书以不同角度的股票实际应用为导向，始终以实际案例来讲解应用之下的技术和理论。本书对每个股票应用案例都有详细的解析，全面介绍了如何将一个实际问题抽象和转化为数据挖掘的问题，让读者明白来龙去脉。在过去的16年里，笔者一直从事数据挖掘和股票投资方面的学习和研究，本书也算是笔者过去多年学习和研究的小结。

为了早点写好本书，在写书期间，笔者将全部业余时间投入到写书中去，每个晚上，每个周末。虽然辛苦，但确实很有成就感，是这份成就感给了我执着的动力和快乐，终完成了此书。我深切地希望，本书能够在中国的基金、公募、私募以及个人投资者提高股票分析和股票投资水平方面起到抛砖引玉的作用。

本书内容

本书围绕股票大数据分析技术展开，主要介绍从不同角度对股票数据进行深度分析并用于实战的方法。

本书首先介绍股票的基本知识以及传统的基本面和技术面分析方法； 之后在每章中结合不同的数据源，从不同角度对股票进行深度分析，介绍相关的数据挖掘算法； 针对数据的特点，提出新的分析思路和计算方法； 结合新方法在股票挖掘平台上的实现对股票的操作进行实战解析。具体内容包括： 基于技术分析指标的买卖点计算方法； 股票时间序列的特征表示方法； 聚类算法与资金流向及主力控盘分析； 筹码分布与筹码分析技术； 财务数据分析与新股票的估值策略； 券商研报评级及其有效性分析； 新闻文本分类和股吧情感分析； 行为金融学与股票行为数据分析； 股票交易决策模型与股票挖掘平台。

本书特色

纵观全书，可发现本书的特点鲜明，主要表现在：

（1） 知识系统，易于理解。本书围绕股票挖掘所构建的知识体系非常全面和完善。在技术上，不仅包含了数据挖掘中常见的方法，如匹配方法、关联分析、分类、聚类、预测、时间序列分析等，还包括自然语言处理方法、深度学习方法、舆情分析方法、行为金融学及心理学等方法。在数据应用上，不仅包含了对场内每笔成交数据的分析，还包括财务数据、新闻数据、股吧论坛、机构研报、用户行为等方面的分析。完整的知识体系更利于读者理解股票挖掘的含义，这对于学习是非常有帮助的。

（2） 方法务实，实践检验。本书介绍的方法都是数据挖掘中的主流方法，都经过实践的检验，具有较强的实战意义。对于大多数方法都给出了其在平台上实现的案例，这对于读者来说具有非常大的参考价值。纵观全书，本书都在有意引导读者思考如何让数据挖掘在股票投资中产生更实际的价值。

（3） 结构合理，易于学习。在讲解方式上，先介绍基础知识，再提出新方法，后进行实战应用的结构让本书独树一帜，让读者在学习数据挖掘技术和股票挖掘及投资的过程中有一个循序渐进的过程，使读者在短时间内成为一位数据挖掘高手，同时成为一位股票挖掘投资的高手。

（4） 理论与实践相得益彰。对于本书的每个方法，除理论的讲解，都配有一个或多个的实战应用案例，读者可以通过案例加深对理论的理解，同时理论也让案例的应用更有信服力。技术的介绍都是以实现实例为目的，同时提供股票挖掘平台的输出结果，以方便读者学习。

读者对象

从事投资工作的专业人士，包括证券、基金、私募等领域的从业者；

从事数据挖掘、数据分析、数据管理工作的专业人士；

金融、经济、管理、统计、计算机、软件等专业的教师和学生；

从事量化投资、股票挖掘或数据挖掘方向研究的科研工作者。

致专业人士

对于从事股票挖掘及投资的专业人士来说，书中的数据挖掘技术是值得借鉴的。书中的股票挖掘实例基本都具有实战背景，含有一些数据挖掘层面的策略，大家可以尝试将这些技术和策略融入自己的思想和策略中，让自己的策略更强大。另外，对于书中介绍的各种方法涉及的理论，如果读者有很好的数学和/或计算机背景，且有时间或感兴趣，可以认真看； 否则，可以直接跳过。但是对每种方法的思想、应用场景一定要领悟。

对于从事数据挖掘的专业人士来说，大家可以关注整个数据挖掘知识体系和数据挖掘的流程。书中的创新算法案例及应用是本书的特色，值得借鉴。

致教师

本书以股票的挖掘应用为基线，系统地介绍了数据挖掘的理论、方法和应用案例，可以作为金融、经济、管理、统计、计算机等学科的本科专业教材或研究生教材。相比一般的数据挖掘教材，股票挖掘投资容易激发学生的学习兴趣，兴趣是好的老师，这对开展教学是非常有益的。

书中的内容虽然系统，但也相对独立，教师可以根据课程的学时安排和专业方向的侧重，选择合适的内容进行课堂教学，其他内容则可以作为参考。

致学生

作为21世纪的大学生，无论是什么专业背景，都有必要学习数据挖掘和金融投资，原因如下：

（1） 21世纪的信息非常丰富，很多都以数据形式存在，学习并掌握数据挖掘基础，有助于从更深层次了解这个社会，也更有助于每个人的工作。

（2） 无论从事什么工作，具有一定的投资意识和投资能力都是一个近乎的技能。21世纪是和平而充满竞争的时代，失业对每个人来说都有可能发生，当我们失业的时候怎么办？如果懂得投资，那么至少让自己生活得很好是没有问题的。

所以，读者无论现在学习什么专业，都应好好读一下本书或同类的书籍。相信读者一定会因为曾学习过数据挖掘和股票挖掘投资而受益。

关于作者

洪志令，厦门大学人工智能专业博士，北京大学心理学/北京大学机器感知与智能*重点实验室博士后，美国加州大学尔湾分校助理科学家。曾先后任职于IBM公司、美国Comodo公司、厦门大学软件学院，现为股票挖掘网创始人，厦门市高层次引进人才，厦门市思明区思明英才，思明区政协委员。近年以或通讯作者发表学术论文30篇，其中SCI/EI检索的共18篇。目前拥有10项授权的国家发明专利，32项公开实审国家发明专利和42项软件著作权。

吴梅红，厦门大学副教授； 美国加州大学洛杉矶分校与厦门大学联合培养博士，师从图灵奖获得者Judea Pearl教授； 北京大学博士后，美国加州大学尔湾分校访问学者。福建省新世纪优秀人才，厦门市双百人才。在智能科学领域有较深入的研究，并在国内外一流期刊发表多篇文章。

由于时间仓促，加之作者水平有限，书中疏漏之处在所难免。在此，诚恳期待得到广大读者的批评指正。

编者

2019年9月

本书内容围绕股票大数据分析技术展开，主要介绍从不同角度对股票数据进行深度分析并用于实战的方法。 本书首先介绍股票的基本知识以及传统的基本面和技术面分析方法； 之后在每章中结合不同的数据源，从不同角度对股票进行深度分析，介绍相关的数据挖掘算法； 针对数据的特点，提出新的分析思路和计算方法； 结合新方法在股票挖掘平台上的实现对股票的操作进行实战解析。具体内容包括： 基于技术分析指标的买卖点计算方法； 股票时间序列的特征表示方法； 聚类算法与资金流向及主力控盘分析； 筹码分布与筹码分析技术； 财务数据分析与股票的新估值策略； 券商研报评级及其有效性分析； 新闻文本分类和股吧情感分析； 行为金融学与股票行为数据分析； 股票交易决策模型与股票挖掘平台。

洪志令，厦门大学人工智能专业博士，北京大学心理学、机器感知与智能*重点实验室博士后，美国加州大学尔湾分校助理科学家。先后曾任职于IBM、美国Comodo、厦门大学软件学院，现为股票挖掘网（stocktobe.com）创始人，厦门市高层次引进人才，厦门市思明区思明英才，思明区政协委员。近年以或通讯作者发表学术论文30篇，其中SCI/EI检索的共18篇。目前拥有9项授权的国家发明专利，32项公开实审国家发明专利和42项软件著作权。

第1章  股票基础

1.1  股票投资入门

1.1.1  股票市场

1.1.2  常用名称解释

1.1.3  股票交易规则

1.2  影响股价的因素

1.3  股票的基本面分析

1.3.1  基本面分析概述

1.3.2  企业基本面分析

1.3.3  主要财务指标

1.3.4  杜邦分析法

1.4  股票的技术分析方法

1.4.1  技术分析概述

1.4.2  经典技术理论分析法

1.4.3  K线图分析法

1.4.4  技术指标分析法

1.4.5  量价结合分析法

1.4.6  主力动向分析法

1.5  两类方法的区别与联系

1.6  股市风险

第2章  股票分析技术指标与买卖点计算

2.1  目标概述

2.2  股票分析技术指标

2.2.1  移动平均线

2.2.2  平滑异同移动平均线指标

2.2.3  随机指标

2.2.4  动向指标

2.2.5  累积能量线指标

2.2.6  相对强弱指标

2.2.7  乖离率指标

2.2.8  顺势指标

2.2.9  平行线差指标

2.2.1  0三重指数平滑移动平均线指标

2.2.1  1威廉指标

2.2.1  2BOLL指标

2.2.1  3腾落指数

2.2.1  4涨跌比率指标

2.2.1  5超买超卖指标

2.3  新方法： 基于长短期线的买卖点计算

2.3.1  主要思想

2.3.2  计算步骤

2.3.3  方法步骤与创新特征

2.3.4  平台实战解析

第3章  股票时间序列的特征表示方法

3.1  目标概述

3.2  股票时间序列

3.2.1  时间序列的基本概念

3.2.2  时间序列的影响因素

3.2.3  时间序列的分类

3.2.4  时间序列分析概述

3.2.5  确定性时间序列分析

3.2.6  随机性时间序列分析

3.3  股票时间序列的特征表示方法

3.3.1  方法概述

3.3.2  时间序列特征表示

3.3.3  基于斜率提取特征点的时间序列分段线性表示

3.3.4  基于趋势转折点的时间序列模式表示

3.4  新方法： 基于拐点检测的股票历史数据分段方法

3.4.1  主要思想

3.4.2  计算步骤

3.4.3  方法步骤与创新特征

3.4.4  结果及分析

3.5  新方法： 基于精准高低点分段匹配的股票预测方法

3.5.1  主要思想

3.5.2  计算步骤

3.5.3  方法步骤与创新特征

3.5.4  结果及分析

第4章  股票资金流向与主力控盘分析

4.1  目标概述

4.2  聚类分析

4.2.1  聚类与聚类分析简介

4.2.2  聚类算法的分类

4.2.3  层次聚类算法

4.2.4  KMeans聚类算法

4.2.5  FCM聚类算法

4.3  资金流向分析

4.3.1  资金流向分析法简介

4.3.2  资金流向分析法的内容

4.3.3  在实际应用中的适用性问题及解决方案

4.4  新方法： 基于资金流向分析的主力控盘能力计算方法

4.4.1  主要思想

4.4.2  计算步骤

4.4.3  方法步骤与创新特征

4.5  平台实战解析

4.5.1  主力资金与散户资金的博弈

4.5.2  主力参与度和主力的控盘能力

4.5.3  如何站在股市的风口

4.5.4  诊断个股的全局风口位置

第5章  股票筹码分析技术与实战

5.1  目标概述

5.2  筹码分析技术

5.2.1  成本转换原理

5.2.2  筹码分布的原理

5.2.3  筹码分布的形态

5.2.4  筹码分布的使用

5.2.5  筹码理论的优缺点

5.3  新方法： 基于涨跌幅排序的股票异动跟踪方法

5.3.1  主要思想

5.3.2  计算步骤

5.3.3  方法步骤与创新特征

5.3.4  输出结果示例

5.4  平台实战解析

5.4.1  买卖盘价量分布下的填坑式变动趋势

5.4.2  持仓筹码的集中度与成本获利解析

5.4.3  跟随超级大股东的动向并与“王”共舞

第6章  财务数据分析与股票估值

6.1  目标概述

6.2  股票财务指标

6.2.1  盈利能力指标

6.2.2  偿债能力指标

6.2.3  成长能力指标

6.2.4  营运能力指标

6.3  股票定价理论

6.3.1  股票的价格

6.3.2  传统股票定价理论

6.3.3  现代股票定价理论

6.3.4  现代金融工程

6.4  正态分布

6.4.1  参数与统计量

6.4.2  正态分布性质

6.4.3  经验规则的运用

6.5  新方法： 基于自身历史相似收益的股票估值方法

6.5.1  主要思想

6.5.2  计算步骤

6.5.3  方法步骤与创新特征

6.5.4  平台实战解析

6.6  财务指标可视化

6.6.1  财务指标可视化概述

6.6.2  主要财务指标

6.6.3  维度财务指标

6.6.4  财务综合打分

第7章  券商研报评级及其有效性分析

7.1  目标概述

7.2  对券商研究报告进行研究

7.2.1  券商研究报告的内容组成

7.2.2  研究报告与股市关系的研究方法

7.2.3  研究报告现状

7.3  一致性预期

7.3.1  一致性预期概述

7.3.2  一致性预期的计算

7.3.3  一致性预期的用法

7.4  平台实战解析： 研报评级及其有效性分析

7.4.1  机构研报的评级

7.4.2  机构评级的有效性

7.4.3  机构研报聚合

7.4.4  个股热度分析

第8章  股票舆情分析

8.1  目标概述

8.2  文本挖掘

8.2.1  文本挖掘技术简介

8.2.2  文本挖掘分类

8.2.3  文本挖掘的过程

8.3  新闻文本分类

8.3.1  文本分类简介

8.3.2  文本分类流程

8.3.3  互联网股票新闻文本分类实验

8.4  股吧情感分析

8.4.1  情感分析概述

8.4.2  情感分析方法

8.4.3  股吧股评情感分类实验

8.5  平台实战解析

8.5.1  聚合众股吧帖子的人气与涨跌分析

8.5.2  实时跟踪企业和行业动态

8.5.3  深度挖掘潜在的隐藏信息

第9章  股民行为分析与应用

9.1  目标概述

9.2  行为金融学

9.2.1  行为金融学概述

9.2.2  行为金融学的心理研究

9.2.3  股民心态

9.2.4  行为金融学的四大成果理论

9.2.5  行为金融学在投资方面的实践意义

9.2.6  行为金融学主张的投资策略

9.3  协同过滤

9.3.1  个性化推荐服务

9.3.2  协同过滤概述

9.3.3  基于用户的协同过滤推荐

9.3.4  基于物品的协同过滤推荐

9.3.5  两种协同过滤算法的比