大数据审计(基于Python)

张高煜，男，上海立信会计金融学院副教授，全国教育科学"十三五”规划2016年度教育部重点课题“基于社会计算的高校创业服务支持体系效用演化仿真研究与实证”负责人，上海市高等教育学会重点课题“财经类高校学生应用科技能力培养研究与实践-以金融工程专业为例”负责人，上海高校大学计算机课程改革项目“Python大数据审计”负责人。

第1章 审计基础与审计报告的构成 1

1.1 审计概述 1

1.1.1 审计概念 1

1.1.2 审计目的 1

1.1.3 审计风险 2

1.1.4 审计证据 2

1.2 会计概述 2

1.2.1 会计的概念及基本假设 3

1.2.2 会计信息质量要求 4

1.2.3 财务会计报告简述 4

1.2.4 会计科目简述 5

1.3 审计报告的构成 8

1.3.1 审计意见 8

1.3.2 形成审计意见的基础 9

1.3.3 关键审计事项 10

1.3.4 其他信息 10

1.3.5 管理层和治理层对财务报表的责任 11

1.3.6 注册会计师对财务报表审计的责任 11

1.4 智能审计国内外研究现状 12

1.4.1 国外研究现状 12

1.4.2 国内研究现状 12

1.5 如何构建人工智能审计规则 13

1.5.1 基于法律法规构建规则库 14

1.5.2 基于专家经验构建规则库 14

参考文献 15

第2章 Python语法基础 17

2.1 Python开发环境安装 17

2.1.1 Anaconda的安装 17

2.1.2 PyCharm的安装配置 17

2.2 数据类型 19

2.2.1 数字 19

2.2.2 字符串 19

2.2.3 列表与元组 20

2.2.4 字典与集合 22

2.3 语句语法 24

2.3.1 变量、行、缩进与注释 24

2.3.2 运算符 25

2.3.3 布尔值和空值 26

2.3.4 if条件语句 27

2.3.5 for循环语句 27

2.3.6 while循环语句 28

2.3.7 break与continue 29

2.4 函数与库 29

2.4.1 函数的定义与调用 29

2.4.2 函数的返回值与作用域 30

2.4.3 常用基本函数介绍 31

2.4.4 库 32

2.5 文件的读与写 33

2.5.1 input()函数与print()函数 33

2.5.2 文件的写操作 34

2.5.3 文件的读操作 35

2.6 类 36

2.6.1 类和对象的基本概念 36

2.6.2 面向对象的特征 36

2.6.3 type和isinstance 37

2.7 读写数据库MySQL 38

2.7.1 MySQL的安装配置 38

2.7.2 Python与MySQL的交互 39

参考文献 41

第3章 Python科学计算与表格处理 42

3.1 Python科学计算 42

3.1.1 Pandas库 42

3.1.2 NumPy库 44

3.1.3 Pipeline 44

3.2 表格处理 45

3.2.1 读取表格文件 45

3.2.2 表格数据的合并与拼接 51

3.2.3 输出到表格文件 53

第4章 数据预处理：清洗表格数据 55

4.1 数据背景 55

4.2 数据清洗 55

4.2.1 内容替换 55

4.2.2 数据类型转换 58

4.2.3 删除无效数据 61

4.2.4 数据创造 64

4.2.5 DataFrame转换 68

第5章 数据预处理：采集网络信息 70

5.1 爬虫基础知识 70

5.1.1 网页源代码 70

5.1.2 正则表达式 72

5.2 爬虫基础方式 74

5.2.1  提取搜狗资讯标题、网址、日期和来源 74

5.2.2 获取百度翻译结果 75

5.2.3 Selenium库详解 77

5.2.4 BeautifulSoup库详解 80

5.3 爬虫处理方法 88

5.3.1 处理数据乱码 88

5.3.2 数据清洗与筛选 88

5.3.3 生成数据文本文件 91

5.3.4 批量爬取多家公司多页资讯 91

5.3.5 基础爬虫实践 92

5.3.6 Python与MySQL的交互实践 93

参考文献 95

第6章 数据预处理：解析财经报告 96

6.1 批量下载PDF文件到指定位置 96

6.2 解析单个PDF文件信息 98

6.2.1 解析PDF文件的文本内容 98

6.2.2 解析PDF文件的表格内容 99

6.3 批量提取PDF文件信息 100

6.3.1 批量输出PDF文件的文本内容 100

6.3.2 筛选并转移PDF文件 101

参考文献 103

第7章 数据预处理：手写票据的光学字符识别 104

7.1 问题场景 104

7.2 表格和单元格定位 108

7.2.1 解析PDF文件 108

7.2.2 表格定位 110

7.2.3 表格自动旋转 112

7.2.4 单元格定位 115

7.3 单元格配准 117

7.3.1 DBSCAN聚类 118

7.3.2 描述性统计 120

7.3.3 模板可视化 121

7.4 单元格内容识别 122

7.4.1 图片预处理 123

7.4.2 LSTM-RNN-CTC模型 124

第8章 自然语言处理：财经文本的量化 127

8.1 自然语言处理 127

8.1.1 自然语言处理概述 127

8.1.2 机器学习 127

8.1.3 语料库 128

8.1.4 HanLP环境搭建 128

8.2 中文分词 129

8.2.1 中文分词 129

8.2.2 词典分词 130

8.2.3 二元语法分词 131

8.2.4 词典的构建 132

8.3 命名实体识别 135

8.3.1 命名实体识别 135

8.3.2 基于规则的命名实体识别 135

8.3.3 基于预训练模型的实体关系抽取 136

8.3.4 基于依存句法分析的实体关系抽取 136

8.3.5 财经文本命名实体识别 137

8.4 信息提取 138

8.4.1 关键词提取 138

8.4.2 关键句提取 139

8.4.3 情感分析 140

8.5 综合训练 141

参考文献 142

第9章 自然语言处理：金融文本摘要 143

9.1 文本摘要自动生成概述 143

9.1.1 研究背景与问题定义 143

9.1.2 技术分类与实现方法 143

9.1.3 评价指标与数据集 144

9.2 偏好构建模块 145

9.2.1 获取偏好文本 145

9.2.2 文本预处理 145

9.2.3 LDA主题模型 147

9.2.4 构建偏好语料库 148

9.3 锁定段落中心句 149

9.3.1 获取偏好文本关键词 149

9.3.2 相似度计算 150

9.3.3 提取携带偏好的段落中心句 151

9.4 摘要生成模块 154

9.4.1 依存句法分析 154

9.4.2 结构树剪枝 157

参考文献 159

第10章 自然语言处理：抽取实体关系 161

10.1 知识抽取任务概述 161

10.1.1 知识抽取任务定义 161

10.1.2 知识抽取任务分类 162

10.1.3 审计领域知识抽取任务 162

10.2 面向结构化数据的知识抽取 163

10.3 面向非结构化数据的知识抽取 164

10.3.1 深度学习与神经网络 164

10.3.2 基于BERT模型的实体抽取方法 165

10.3.3 关系抽取方法 179

10.3.4 实体消歧 186

10.3.5 实体关系抽取结果保存 186

参考文献 189

第11章 审计知识图谱自动构建 190

11.1 知识图谱 190

11.1.1 Neo4j介绍 191

11.1.2 Neo4j安装教程 192

11.1.3 Neo4j启动与服务器连接 194

11.2 Python操作Neo4j 196

11.2.1 安装py2neo包 196

11.2.2 py2neo的基本用法 197

11.2.3 简单图数据库编程实践分析 203

11.3 审计知识图谱的实现 205

11.3.1 案例分析1——读取MySQL内容创建知识图谱 206

11.3.2 案例分析2——读取Excel文件数据创建审计知识图谱 209

11.3.3 案例分析3-读取结构化财经文本创建审计知识图谱 214

11.3.4 案例分析4-多表信息创建知识图谱 219

11.3.5 案例分析5-根据原始文本自动生成知识图谱 231

参考文献 233

第12章 审计应用：审计规则知识库 234

12.1 用一阶谓词逻辑表示法表示知识 234

12.1.1 谓词逻辑概述及其特点 234

12.1.2 谓词、个体和量词 235

12.1.3 联结词 236

12.1.4 谓词公式定义及一阶谓词逻辑表示法的特点 236

12.1.5 谓词公式表示知识的步骤及方法 236

12.2 审计规则知识库的设计 237

12.2.1 审计规则表 238

12.2.2 新审计规则表 238

12.2.3 谓词逻辑表 238

12.3 程序示例 239

12.3.1 程序整体流程 239

12.3.2 制定规则的谓词逻辑表达式 239

12.3.3 设计数据表 240

12.3.4 连接数据库 241

12.3.5 更新替换数据表 242

12.3.6 查询数据库中的数据表 243

12.3.7 判断数据表中的数据是否为正确规则 243

12.3.8 更新、清洗、合并数据表中的审计规则 245

12.3.9 完整代码 246

参考文献 252

第13章 实践：综合风险审计 253

13.1 审计语义网络构建 253

13.1.1 审计实体定义 253

13.1.2 审计关系定义 254

13.2 传统审计中的逻辑推理 256

13.3 审计推理机 256

13.4 审计风险路径探索实战 259

参考文献 268

第14章 实践：审计报告自动生成 270

14.1 python-docx的基础知识 270

14.1.1 python-docx的下载与使用 270

14.1.2 python-docx的基础操作 270

14.2 审计报告中字体的设置 273

14.2.1 设置中文字体 273

14.2.2 设置字号与字体颜色 274

14.2.3 段落中新增文字 274

14.3 审计报告中段落的修改 275

14.3.1 对齐方式 275

14.3.2 缩进方式 275

14.3.3 行距与段落间距 275

14.3.4 编号与项目符号 276

14.4 自动生成审计报告的实战演练 276

参考文献 279

1.1审计概述

1.审计概念

审计是指注册会计师对财务报表是否不存在重大错报提供合理保证，以积极方式提出意见，从而增强除管理层之外的预期使用者对财务报表依赖的程度。根据审计的主体、对象和方式，可以将审计分为政府审计、注册会计师审计和内部审计。

根据《中华人民共和国国家审计准则》(2010年9月1日审计署令第8号公布)，政府审计，是指审计机关依据法律法规和《中华人民共和国国家审计准则》的规定，对被审计单位财政收支、财务收支以及有关经济活动独立实施审计并作出审计结论。

注册会计师审计，是指注册会计师依据法律法规和《中国注册会计师审计准则》的规定，受托并有偿对被审计单位的会计报表及其相关资料实施独立审计并发表审计意见。

内部审计，是指单位内部的审计部门依据法律法规对本单位财务收支以及有关经济活动实施的内部审计，审计结果向本单位主要负责人报告。

2.审计目的

根据《中国注册会计师审计准则第1101号一注册会计师的总体目标和审计工作的基本要求》(2022年12月22日修订)，审计目的是提高财务报表预期使用者对财务报表的信赖程度。这个目的可以通过注册会计师对财务报表是否在所有重大方面按照适用的财务报告编制基础编制并实现公允反映发表审计意见来实现。注册会计师按照审计准则和相关职业道德要求设计并执行审计工作，能够形成这样的意见。

……