预训练语言模型
全新正版 极速发货
￥ 47.51 4.4折 ￥ 109 全新
库存4件
广东广州
认证卖家担保交易快速发货售后保障
作者邵浩
出版社电子工业出版社
ISBN9787121409998
出版时间2021-05
装帧平装
开本16开
定价109元
货号31142445
上书时间2024-06-04
商品详情
- 品相描述：全新
- 商品描述
-
作者简介
"邵 浩
日本国立九州大学工学博士，现就职于vivo。曾任狗尾草智能科技AI研究院院长，带领团队打造了AI虚拟生命产品的交互引擎。曾是上海对外经贸大学副教授，硕士生导师。是上海市静安区首届很好人才，上海市人才发展基金获得者，杭州市高层次人才。任中国中文信息学会青年工作委员会委员，语言与知识计算专委会委员，中国计算机学会语音对话与听觉专委会委员，自然语言处理专委会委员。发表论文50余篇，获10余项，主持多项重量及省部级课题，曾在联合国、世界贸易组织、亚利桑那州立大学、香港城市大学等机构任访问学者。
刘一烽
全国中学生物理竞赛保送生，清华大学电子系硕士，曾获学习成绩优异奖学金。现就职于阿里巴巴淘系技术部，曾任vivo人工智能研究院AI算法工程师，主要研究方向为强化学习、自然语言处理和视频内容理解。"
目录
第 1 章预训练语言模型简介1
1.1自然语言处理研究进展1
1.2预训练语言模型：为什么要预训练4
1.2.1预训练4
1.2.2自然语言表示5
1.2.3预训练语言模型发展史及分类8
第 2 章预训练语言模型基础知识13
2.1统计语言模型14
2.2神经网络语言模型17
2.3词向量：解决相似单词的距离问题19
2.4RNN 和 LSTM 基础25
2.5基于 RNN 的语言模型29
2.6ELMo：解决多义词的表示问题32
第 3 章Transformer 与 Attention37
3.1Transformer 的结构37
3.2Self-Attention：从全局中找到重点43
3.3位置编码：为什么有效54
3.4单向掩码：另一种掩码机制58
3.5代码解读：模型训练技巧61
3.5.1训练技巧 1：归一化层前置62
3.5.2训练技巧 2：梯度累积64
第 4 章GPT 系列模型69
4.1GPT 的结构：基于 Transformer Decoder69
4.2GPT 任务改写：如何在不同任务中使用 GPT71
4.3GPT 核心代码解读74
4.4GPT-2：Zero-shot Learning 的潜力79
4.4.1N-shot Learning79
4.4.2核心思想80
4.4.3模型结构81
4.5GPT-3：Few-shot Learning 的优秀表现82
4.5.1看词造句84
4.5.2语法纠错84
4.5.3GPT-3 的争议85
第 5 章BERT 模型87
5.1BERT：公认的里程碑87
5.2BERT 的结构：强大的特征提取能力88
5.3无监督训练：掩码语言模型和下句预测91
5.3.1MLM91
5.3.2NSP93
5.3.3输入表示94
5.4微调训练：适应下游任务95
5.4.1句对分类95
5.4.2单句分类96
5.4.3文本问答97
5.4.4单句标注99
5.5核心代码解读：预训练和微调100
5.5.1BERT 预训练模型101
5.5.2BERT 微调模型110
5.6BERT 总结117
第 6 章后 BERT 时代的模型119
6.1XLM：跨语言模型119
6.1.1优化方向119
6.1.2算法细节120
6.1.3 小结121
6.2MT-DNN：多任务融合121
6.2.1优化方向121
6.2.2算法细节122
6.2.3 小结124
6.3UniLM：获得文本生成能力124
6.3.1优化方向124
6.3.2算法细节125
6.3.3 小结127
6.4SpanBERT：扩大掩码范围127
6.4.1优化方向127
6.4.2算法细节128
6.4.3 小结129
6.5XLNet：置换自回归130
6.5.1优化方向130
6.5.2算法细节130
6.5.3 小结135
6.6ERNIE：知识图谱136
6.6.1优化方向136
6.6.2算法细节136
6.6.3 小结139
6.7VideoBERT：多模态融合139
6.7.1优化方向139
6.7.2算法细节140
6.7.3 小结141
6.8ALBERT：参数共享142
6.8.1优化方向142
6.8.2算法细节143
6.8.3 小结145
6.9RoBERTa：更大的模型145
6.9.1优化方向145
6.9.2算法细节146
6.9.3 小结146
6.10BART：编解码结构146
6.10.1优化方向146
6.10.2算法细节147
6.10.3 小结149
6.11T5：大一统模型149
6.11.1优化方向149
6.11.2算法细节150
6.11.3 小结153
6.12 总结154
第 7 章评测和应用157
7.1评测任务157
7.1.1通用评测任务157
7.1.2领域评测任务162
7.1.3其他评测任务167
7.2模型应用：Transformers 代码实战168
7.2.1 安装168
7.2.2快速上手指南170
7.2.3微调训练172
7.2.4BERT 应用175
7.3模型压缩：量化、剪枝和蒸馏179
7.3.1BERT 模型分析179
7.3.2 量化181
7.3.3 剪枝181
7.3.4 蒸馏182
7.3.5 结构无损压缩187
7.4模型扩展：多模态预训练188
7.4.1单流模型189
7.4.2双流模型191
第 8 章总结和展望195
8.1预训练语言模型的发展现状195
8.2预训练语言模型的未来展望199
参考文献203
内容摘要
预训练语言模型属于人工智能领域中自然语言处理领域的一个细分。 本书主要介绍预训练语言模型。预训练语言模型是自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。本书详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解，阐述了具有代表性的预训练语言模型的实现细节，非常适合需要快速、全面掌握预训练语言模型的从业者阅读。
主编推荐
"√梳理预训练语言模型的发展历史、基本概念
√剖析具有代表性的预训练语言模型的实现细节，配代码
√预训练语言模型的评测、应用及趋势分析"
媒体评论
"预训练语言模型是近年来自然语言处理领域拥有突破性的进展之一。当然，所有的突破性进展都并非一人一日之功，预训练语言模型背后也隐藏着大量前人的长期辛苦探索和努力。不了解这些探索和努力，就很难理解预训练语言模型的发展历史，更无法预测预训练语言模型的未来。本书，可以让读者系统地了解预训练语言模型的发展脉络、技术现状和可能的将来，把握技术的脉搏。
王 斌
小米AI实验室主任，NLP首席科学家
预训练语言模型是海量数据与强劲算力碰撞的智慧结晶。预训练加微调已经成为大部分自然语言处理任务的主流范式，特别是GPT-3给我们带来了通向通用人工智能的希望。《预训练语言模型》是一本内容全面、兼顾理论与技术实践的专业技术书，适合对预训练语言模型感兴趣的读者阅读！
邱锡鹏
复旦大学计算机学院教授
2018年，预训练语言模型在自然语言处理领域取得了令人瞩目的成绩，并拓展到计算机视觉等领域。之后，各种很好的预训练语言模型层出不穷，并在工业场景获得广泛应用。本书梳理了预训练语言模型的发展历史，对有代表性的模型配以详尽的代码解读，是一本全面的参考书，能够帮助研究者和工程师更好地开展相关研究和实践。
刘知远
清华大学副教授"
— 没有更多了 —
以下为对购买帮助不大的评价