Java程序设计与数据分析

本书是一本面向文科生、以Java为编程语言、以数据分析为应用特色的面向对象程序设计教材。近年来，人工智能、机器学习、自然语言处理、信息检索、数理统计、数据可视化等交叉学科正在影响社会并向文科领域广泛渗透，无论是在数字人文、社会计算、数字治理、智慧文旅、应急情报、数据新闻等新兴研究范畴，还是在大数据分析、社会系统仿真、应用统计学等科学研究方法层面，数据分析均成为新文科发展的亮点。放眼世界，全球产业、教育等正急速迈向数字化，一切与数字经济、数字治理、数字文化相关联的业务生态正成为当下炙手可热的风口，上述领域的决策离不开多源数据流的汇聚分析，其底层往往与程序密不可分。特别是伴随着各种大数据平台、机器学习新兴算法的图形用户界面和应用编程接口（API）不断涌现，程序设计的应用门槛越来越低，由此吸引了越来越多人士的参与，相关生态圈日趋成熟。
然而，现实中很多程序设计和数据科学教程涉及大量数学知识，试图通过大量数学符号将原理讲解得简洁严谨，同时体现一定的深度，但这忽视了非理工科读者的需求，特别是给广大文科生造成了障碍，甚至因看不懂公式而产生自卑心理，进而产生文科生无须编程的认识误区。必须指出，这不是文科生的问题，而是相关教材不适应大数据时代学生的多元需求。
文科生是否应该学习编程？这已经不是一个问题。但现实常呈现出两种典型影响文科生涉足: 一种是“算法很难，文科生数学不好，因此学不了编程”；另一种是如今各种图形化工具插件都有，完全没有必要去学习如何编程。就后者而言，作为数字时代的基础工具，程序设计语言是理解数字社会、形塑数字时代的武器，如果不理解程序设计，很难与大量数字应用及产品进行交流，也就无所谓批判、进一步移植、改进和构建诸如数据分析的应用。对于前者而言，程序设计及其应用犹如“数学问题——程序设计算法——开源工具企业——中小企业二次开发——情境应用”，呈现出金字塔生态链。正如Apple系统产业链一样，的是Apple公司生产的各种产品以及产品底层的核心算法技术，而伴随着产品的问世，各种中下游生态都在支持Apple，包括产品的代工、产品外围的皮套、支架、耳塞、大屏显示器,以及基于外围产品的仿制品等。程序设计也一样，更多程序设计者是从事基于特定情境的二次开发乃至三次开发的工作，由于算法的普适性、方法的封装和信息隐藏机制，让更多人员不必了解复杂算法的细节，而只需了解相关算法的功能，会学习API文档并运用类库，进而去调用相关类库编写应用程序，或者运用成熟的开源系统框架和图形用户界面进行简要的部署和应用操作。大多数人学习编程并不是冲着创新算法去的，而是参与到上述生态链中。既然对算法细节无须了解，近年来，人文社科界不断诟病算法霸权，认为算法不仅要有追求效率的一面，也要有体现公平善治的一面，算法需要服务于社会实践目标，故要理性地看待算法，那么对数学公式的理解就不是必需的，为此，我们需要找到适合文科生阅读的教程。
同样是面向对象程序设计，基于因材施教的理念，文、理科学生使用的教材内容上应该是有区别的。但长期以来，相关教材基本由计算机或数学背景的教师编写，相关教师总体偏理工科思维，他们默认相关读者是面向理工科学生的。在数据科学高度发展的今天，程序设计及其应用的教材应该具有更广泛的适应性，特别是尊重文科生的学习体验，像包含众多数学知识的教材不仅会让文科生望而却步，也潜在制造了数字鸿沟，本质上影响了文科和理科的交叉融合。因此，需要高校教师开发出适宜文科生学习的相关教材。首先，面向对象程序设计的知识体系强调核心内容，如变量、方法、控制、类、继承、异常等。其次，通过更容易理解的实例降低计算思维层次。许多理科教材在实例方面试图提供更抽象化的数学知识讲授，特别强调计算思维的开发。文科生的核心目标是吸收面向对象编程的知识体系，适度抽象是程序设计的特点；但过于抽象，如各类复杂公式或算法穿梭其间则会造成学习程序设计核心知识的负担。
Java程序设计与数据分析前言作为一门面向对象程序设计的入门课程，本书不需要其他课程作为知识基础，力求保持面向对象程序设计内容体例的完整性，运用更简明的实例来引导学生入门，由于程序设计是通过相关的输入输出在开发软件上实现的，可以即时反馈学习效果，调整学习重点，强化难点。本书的主要特色如下。
，利用Java语言讲授面向对象程序设计，强调知识体系的完整性。面向对象程序设计既可以采用C  、Python，也可以采用Java 语言进行讲授。在语言的入门难易程度上，Python易，C  更难，Java语言难度适中；在语言的规范性上，Java语言优于Python，规范性高利于形成体系；同时，Java语言有着广泛的插件、API支持，无论是在科学分析，社会系统仿真（例如AnyLogic、RePast平台）还是面向企业级Web应用方面都名列前茅，尤其是后者更是常年高居。无论哪一种语言讲解面向对象程序设计，力求保持核心内容体例完整。
第二，理论与实践相结合，力求简明扼要，重点突出。本门课程特别强调抓住知识主干，强调基本概念、方法和源代码的学习。为了帮助读者更好地理解书中提及的关键概念，作者在本书的编写上力求采用简明的语言或实例进行讲解，并以术语表的形式在附录A列出。为了让文科生掌握程序设计的学习方法，作者撰写了《文科生如何入门编程》一文，呈现在了附录B。本书的教学课件、源代码等电子资源可以在清华大学出版社官网下载。
第三，着眼于数据科学，以互联网数据分析、讲解Java程序设计的落地应用。学习一门编程语言，终需要与实际需求相结合，本书选择以数据分析实践作为应用探索。之所以选取这一领域，主要考虑到大数据时代下数据分析的需求持续快速增长，而且相关的开源应用工具十分丰富，且数据分析可吸纳不同专业领域背景，是相对适宜于社会科学专业学生结合自身背景入门并激发兴趣的领域。
全书共13章，第1～6章为Java语言基础，第7～10章为面向对象程序设计，第11～13章为数据分析，全书由陶俊独立完成。本书的绝大部分内容曾面向西北大学管理类本科生或作为全校通识课进行讲授，借此机会，感谢西北大学提供的教学平台，向历届本科生对本人参与教学改革探索的包容表达由衷的谢意。后，感谢清华大学出版社，为保证本书的如期出版，袁勤勇主任及其同事付出了辛勤劳动。
限于水平，本书的错漏之处在所难免，恳请广大师生批评指正。

作者2022年8月

当今，数据科学正在广泛影响社会，无论是企业还是高校，许多领域正通过数据分析揭示隐藏的知识，包括机器学习、自然语言处理、信息检索、数据可视化等交叉学科正在助推这一领域的发展。上述领域的持续进步逐步向文科领域渗透，极大地带动了文科教学和研究的发展，例如，数字人文、社会计算、数字治理、智慧文旅、应急情报、数据新闻等成为新文科发展的新兴亮点。Java语言作为一门经典的编程语言，在面向对象程序设计和应用数据科学领域均有着卓越的表现。 本书旨在通过学习Java程序设计来引导读者将其与数据分析相结合，为培养新文科专业的交叉学科人才提供支持。全书共13章，介绍了变量，方法，条件控制，循环，字符串与数组，类与对象，面向对象的特性，继承、抽象类与接口，异常与输入输出，数据分析基础，Web爬虫，机器学习与文本挖掘应用等内容。 本书适合管理类专业高年级本科生或研究生作为面向对象程序设计、Java语言程序设计、数据科学导论、应用机器学习等相关课程的参考教材，也适合对Java语言编程以及数据分析领域感兴趣的读者参考。

当今，数据科学正在广泛影响社会，无论是企业还是高校，许多领域正通过数据分析揭示隐藏的知识，包括机器学习、自然语言处理、信息检索、数据可视化等交叉学科正在助推这一领域的发展。上述领域的持续进步逐步向文科领域渗透，极大地带动了文科教学和研究的发展，例如，数字人文、社会计算、数字治理、智慧文旅、应急情报、数据新闻等成为新文科发展的新兴亮点。Java语言作为一门经典的编程语言，在面向对象程序设计和应用数据科学领域均有着卓越的表现。 本书旨在通过学习Java程序设计来引导读者将其与数据分析相结合，为培养新文科专业的交叉学科人才提供支持。全书共13章，介绍了变量，方法，条件控制，循环，字符串与数组，类与对象，面向对象的特性，继承、抽象类与接口，异常与输入输出，数据分析基础，Web爬虫，机器学习与文本挖掘应用等内容。 本书适合管理类专业高年级本科生或研究生作为面向对象程序设计、Java语言程序设计、数据科学导论、应用机器学习等相关课程的参考教材，也适合对Java语言编程以及数据分析领域感兴趣的读者参考。

第1章导论1
1.1数据科学与程序1
1.2编程语言3
1.3调试4
1.4形式语言和自然语言5
1.5个程序5
1.5.1注释5
1.5.2包名6
1.5.3main()6
1.5.4终端输出6
1.6程序开发工具包6
1.6.1JDK的下载与安装7
1.6.2集成开发环境的安装8
本章习题12
第2章变量14
2.1输出14
2.2变量15
2.3赋值语句16
2.4打印变量16
2.5数据类型17
2.6关键字与标识符19
2.7运算符与表达式19
2.8拼接运算21
本章习题22
第3章方法23
3.1强制类型转换23
3.2无返回值方法243.3类与方法26
3.4Java类库中方法的调用26
3.5形式参数和实际参数27
3.6返回值28
3.7参数传递29
本章习题30
Java程序设计与数据分析目录第4章条件控制31
4.1模运算31
4.2动态输入31
4.3条件类型33
4.3.1if语句33
4.3.2if…else34
4.3.3条件中的返回值34
4.3.4条件判断链34
4.3.5嵌套条件35
4.3.6switch语句36
4.4布尔运算与布尔表达式38
4.5逻辑运算符39
本章习题40
第5章循环41
5.1多次赋值41
5.2while语句42
5.3do…while语句43
5.4for循环44
5.5封装与泛化45
5.6局部变量47
5.7break和continue47
5.8增强的for循环48
本章习题49
第6章字符串与数组50
6.1字符串中获取字符50
6.2字符串长度51
6.3遍历字符串51
6.4字符串循环和计数52
6.5自增和自减运算52
6.6字符串的性质53
6.7数组53
6.8随机数56
本章习题58
第7章类与对象59
7.1类的基本概念59
7.2定义类61
7.3对象的创建与使用61
7.4类的封装与面向对象程序设计原则62
7.5类中的参数传递65
7.6重载与方法签名应用66
7.6.1方法重载66
7.6.2返回值为数组类型的方法67
7.6.3方法中的可变参数69
7.7程序开发过程与逐步求精70
7.8包74
7.9Java程序设计的本质74
本章习题75
第8章面向对象的特性77
8.1访问权限与私有成员77
8.2访问器和修改器78
8.3构造方法79
8.4静态变量、常量与类方法82
本章习题84
第9章继承、抽象类与接口87
9.1继承87
9.2super关键字89
9.3类成员的可访问性91
9.4抽象类92
9.5多态94
9.6对象转换和instanceof操作符96
9.7接口97
9.8接口的等价性100
9.9面向对象的性质100
本章习题101
第10章异常与输入输出103
10.1异常类型103
10.2异常处理方法105
10.2.1声明异常105
10.2.2抛出异常105
10.2.3捕获异常106
10.3创建自定义异常类108
10.4文件操作108
10.5文本文件I/O109
10.5.1使用Scanner读取数据109
10.5.2使用PrintWriter写数据111
10.6二进制文件I/O112
本章习题113
第11章数据分析基础114
11.1数据分析的核心概念115
11.1.1数据类型115
11.1.2数据点和数据集115
11.1.3关系数据库表116
11.1.4哈希表116
11.1.5数据分析与机器学习117
11.2编写与解析XML文件118
11.2.1XML语法简介118
11.2.2解析XML文件121
11.2.3编写XML文件122
11.3编写与解析JSON文件124
11.3.1JSON语法124
11.3.2读取JSON文件126
11.3.3写入JSON文件127
11.4从PDF文件中提取文本128
本章习题131
第12章Web爬虫132
12.1初识爬虫132
12.1.1HTTP请求技术133
12.1.2Jsoup与HTML解析技术135
12.1.3DOM、Xpath与正则表达式138
12.1.4Java爬虫框架145
12.2静态爬虫及其实现146
12.3动态爬虫及其实现149
12.3.1Selenium WebDriver简介149
12.3.2爬取新浪微博150
12.4爬虫客户端软件152
12.4.1火车采集器153
12.4.2八爪鱼采集器153
本章习题154
第13章机器学习与文本挖掘应用155
13.1机器学习应用流程155
13.1.1数据与问题定义156
13.1.2数据收集157
13.1.3数据预处理158
13.1.4数据分析与建模159
13.1.5泛化与评估160
13.2面向机器学习的Java工具161
13.2.1环境库161
13.2.2大数据平台162
13.2.3机器学习库163
13.3利用MALLET进行文本挖掘164
13.3.1主题模型164
13.3.2MALLET安装164
13.3.3文本预处理166
13.3.4应用主题模型分析政策文本170
13.4进一步学习机器学习172
本章习题173
附录A术语表174
附录B文科生如何入门编程179
参考文献183

当今，数据科学正在广泛影响社会，无论是企业还是高校，许多领域正通过数据分析揭示隐藏的知识，包括机器学习、自然语言处理、信息检索、数据可视化等交叉学科正在助推这一领域的发展。上述领域的持续进步逐步向文科领域渗透，极大地带动了文科教学和研究的发展，例如，数字人文、社会计算、数字治理、智慧文旅、应急情报、数据新闻等成为新文科发展的新兴亮点。Java语言作为一门经典的编程语言，在面向对象程序设计和应用数据科学领域均有着卓越的表现。 本书旨在通过学习Java程序设计来引导读者将其与数据分析相结合，为培养新文科专业的交叉学科人才提供支持。全书共13章，介绍了变量，方法，条件控制，循环，字符串与数组，类与对象，面向对象的特性，继承、抽象类与接口，异常与输入输出，数据分析基础，Web爬虫，机器学习与文本挖掘应用等内容。 本书适合管理类专业高年级本科生或研究生作为面向对象程序设计、Java语言程序设计、数据科学导论、应用机器学习等相关课程的参考教材，也适合对Java语言编程以及数据分析领域感兴趣的读者参考。

面向文科生、以Java为编程语言、以数据分析为应用特色的面向对象程序设计教材。利用Java语言讲授面向对象程序设计，强调知识体系完整性。 
理论与实践相结合，力求简明扼要，重点突出。实例丰富，通过大量实例降低计算思维层次，减少抽象知识的介绍，便于理解。着眼于数据科学，以互联网数据分析讲解Java程序设计的落地应用。