深度学习预训练语言模型（案例篇）

图书标准信息

• 作者 康明
• 出版社 清华大学出版社
• 出版时间 2022-08
• 版次 1
• ISBN 9787302607465
• 定价 69.90元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸

【内容简介】

本书在全面概述预训练语言模型演进过程并对BERTology模型详尽综述的基础上，将深度学习预训练模型理论和金融行业实践相结合，介绍了深度学习预训练模型在人工智能产业、金融行业、金融科技领域的实战项目案例，专注于金融文本情绪分类典型应用场景，揭示出特定领域预训练模型潜在的一般规律。全书共分7章，分别为： 预训练模型与金融文本情绪分类任务、预训练语言模型关键技术、面向中文金融文本情绪分类的预训练模型对比、FinWoBERT： 中文金融领域增强预训练模型、GANFinWoBERT： 对抗训练的中文金融预训练模型、FinWoBERT ConvLSTM： 基于投资者情绪权重的科创50指数预测、总结与展望，每章内容随项目实践的深入层层递进、逐步展开。 本书适合自然语言处理、金融科技领域的研究人员和技术人员，高等学校或培训机构教师和学生以及有意了解相关领域的学习者和爱好者阅读。

【目录】

第1章预训练模型与金融文本情绪分类任务

1．1金融文本情绪分类任务的挑战

1．2发展现状与任务意义

1．2．1预训练模型发展现状

1．2．2金融文本情绪分类任务意义

1．3情绪分类

1．3．1文本情绪分类

1．3．2金融文本情绪分类

1．3．3基于非预训练模型情绪分类的证券市场分析

1．4预训练语言模型

1．4．1预训练语言模型的演进

1．4．2基于BERTology扩展的预训练模型

1．5基于预训练模型的金融文本情绪分类任务

1．5．1金融文本情绪分类预训练模型

1．5．2基于预训练模型情绪分类的证券市场分析

第2章预训练语言模型关键技术

2．1预训练方法

2．2上下文感知的语言表征学习

2．3高效的特征提取器

2．3．1神经注意力机制

2．3．2序列到序列的注意力模型

2．3．3变换器模型

2．3．4“Xformer”改进模型

2．4自监督学习

2．5迁移学习技巧方法

2．6BERT预训练语言模型

小结

第3章面向中文金融文本情绪分类的预训练模型对比

3．1模型对比目的

3．2项目技术原理

3．3对比实现方法

3．4标准流程步骤

3．5自建(评测)标注语料库

3．6数据集划分

3．7描述统计分析

3．7．1语料库统计量描述

3．7．2训练集和测试集统计量描述

3．7．3统计分析

 

 

3．8对比模型

3．9模型实现

3．10运行环境

3．11模型加载

3．12微调策略

3．12．1情绪分类任务微调

3．12．2分类器超参数调试

3．13数据预处理

3．13．1数据读取、转换和清洗

3．13．2分词、填充和其他

3．14评估指标

3．14．1混淆矩阵

3．14．2准确度、精确度、召回度和F1分数

3．14．3损失值

3．15模型评测

3．16输出过程

3．17结果汇总

3．18模型对比项目结论

小结

第4章FinWoBERT： 中文金融领域增强预训练模型

4．1领域增强目的

4．2领域增强原理

4．3领域增强实现方法

4．4领域增强操作步骤

4．5自建(预训练)未标注词库

4．6自建(预训练)未标注语料库

4．7描述统计分析

4．7．1未标注词库统计量描述

4．7．2未标注语料库统计量描述

4．7．3未标注语料库与标注语料库的TFIDF

4．7．4统计分析

4．8定义FinWoBERT模型

4．9建立FinWoBERT模型

4．10训练FinWoBERT模型

4．11领域后训练和领域微调策略

4．12评估FinWoBERT模型

4．13评测结果汇总

4．14领域增强项目结论

小结

第5章GANFinWoBERT： 对抗训练的中文金融预训练模型

5．1对抗训练目的

5．2对抗训练原理

5．3对抗训练实现方法

5．4定义GANFinWoBERT模型

5．5建立GANFinWoBERT模型

5．6训练GANFinWoBERT模型

5．7对抗训练项目结论

小结

第6章FinWoBERT ConvLSTM： 基于投资者情绪权重的科创50指数预测

6．1预测实战设计

6．2数据准备

6．2．1行情数据集

6．2．2评论数据集

6．3定义预测模型

6．4情绪权重

6．4．1情绪分类

6．4．2权重计算

6．5预测模型评估指标

6．6预测实验结果对比

6．7预测实战项目结论

小结

第7章总结与展望

7．1我们学到了什么

7．2未来的方向

附录A语料库/词库样本示例

参考文献