预训练语言模型
正版保障 假一赔十 可开发票
￥ 68.41 6.3折 ￥ 109 全新
库存10件
广东广州
认证卖家担保交易快速发货售后保障
作者编者:邵浩//刘一烽|责编:郑柳洁
出版社电子工业出版社
ISBN9787121409998
出版时间2020-07
装帧平装
开本16开
定价109元
货号11039270
上书时间2025-01-09
商品详情
- 品相描述：全新
- 商品描述
-
作者简介
邵浩，日本国立九州大学工学博士，现就职于vivo。曾任狗尾草智能科技A研究院院长，带领团队打造了AI虚拟生命产品的交互引擎。曾是上海对外经贸大学副教授，硕士生导师。是上海市静安区首届优秀人才，上海市人才发展基金获得者，杭州市高层次人才。任中国中文信息学会青年工作委员会委员，语言与知识计算专委会委员，中国计算机学会语音对话与听觉专委会委员，自然语言处理专委会委员。发表论文50余篇，获专利10余项，主持多项国家级及省部级课题，曾在联合国、世界贸易组织、亚利桑那州立大学、香港城市大学等机构任访问学者。, 刘一烽，全国中学生物理竞赛保送生，清华大学电子系硕士，曾获学习成绩优异奖学金。现就职于阿里巴巴淘系技术部，曾任vivo人工智能研究院AI算法工程师，主要研究方向为强化学习、自然语言处理和视频内容理解。
目录
第1章 预训练语言模型简介
1.1 自然语言处理研究进展
1.2 预训练语言模型：为什么要预训练
1.2.1 预训练
1.2.2 自然语言表示
1.2.3 预训练语言模型发展史及分类
第2章 预训练语言模型基础知识
2.1 统计语言模型
2.2 神经网络语言模型
2.3 词向量：解决相似单词的距离问题
2.4 RNN和LSTM基础
2.5 基于RNN的语言模型
2.6 ELMo：解决多义词的表示问题
第3章 Transformer与Attention
3.1 Transformer的结构
3.2 Self-Attention：从全局中找到重点
3.3 位置编码：为什么有效
3.4 单向掩码：另一种掩码机制
3.5 代码解读：模型训练技巧
3.5.1 训练技巧1：归一化层前置
3.5.2 训练技巧2：梯度累积
第4章 GPT 系列模型
4.1 GPT 的结构：基于Transformer Decoder
4.2 GPT 任务改写：如何在不同任务中使用GPT
4.3 GPT 核心代码解读
4.4 GPT-2：Zero-shot Learning的潜力
4.4.1 N-shot Learning
4.4.2 核心思想
4.4.3 模型结构
4.5 GPT-3：Few-shot Learning的优秀表现
4.5.1 看词造句
4.5.2 语法纠错
4.5.3 GPT-3的争议
第5章 BERT 模型
5.1 BERT：公认的里程碑
5.2 BERT 的结构：强大的特征提取能力
5.3 无监督训练：掩码语言模型和下句预测
5.3.1 MLM
5.3.2 NSP
5.3.3 输入表示
5.4 微调训练：适应下游任务
5.4.1 句对分类
5.4.2 单句分类
5.4.3 文本问答
5.4.4 单句标注
5.5 核心代码解读：预训练和微调
5.5.1 BERT预训练模型
5.5.2 BERT微调模型
5.6 BERT总结
第6章 后BERT时代的模型
6.1 XLM：跨语言模型
6.1.1 优化方向
6.1.2 算法细节
6.1.3 小结
6.2 MT-DNN：多任务融合
6.2.1 优化方向
6.2.2 算法细节
6.2.3 小结
6.3 UniLM：获得文本生成能力
6.3.1 优化方向
6.3.2 算法细节
6.3.3 小结
6.4 SpanBERT：扩大掩码范围
6.4.1 优化方向
6.4.2 算法细节
6.4.3 小结
6.5 XLNet：置换自回归
6.5.1 优化方向
6.5.2 算法细节
6.5.3 小结
6.6 ERNIE：知识图谱
6.6.1 优化方向
6.6.2 算法细节
6.6.3 小结
6.7 VideoBERT：多模态融合
6.7.1 优化方向
6.7.2 算法细节
6.7.3 小结
6.8 ALBERT：参数共享
6.8.1 优化方向
6.8.2 算法细节
6.8.3 小结
6.9 RoBERTa：更大的模型
6.9.1 优化方向
6.9.2 算法细节
6.9.3 小结
6.10 BART：编解码结构
6.10.1 优化方向
6.10.2 算法细节
6.10.3 小结
6.11 T5：大一统模型
6.11.1 优化方向
6.11.2 算法细节
6.11.3 小结
6.12 总结
第7章 评测和应用
7.1 评测任务
7.1.1 通用评测任务
7.1.2 领域评测任务
7.1.3 其他评测任务
7.2 模型应用：Transformers代码实战
7.2.1 安装
7.2.2 快速上手指南
7.2.3 微调训练
7.2.4 BERT应用
7.3 模型压缩：量化、剪枝和蒸馏
7.3.1 BERT模型分析
7.3.2 量化
7.3.3 剪枝
7.3.4 蒸馏
7.3.5 结构无损压缩
7.4 模型扩展：多模态预训练
7.4.1 单流模型
7.4.2 双流模型
第8章 总结和展望
8.1 预训练语言模型的发展现状
8.2 预训练语言模型的未来展望
参考文献
内容摘要
预训练语言模型属于人工智能领域中自然语言处理领域的一个细分。 本书主要介绍预训练语言模型。预训练语言模型是自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。本书详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解， 阐述了具有代表性的预训练语言模型的实现细节，很好适合需要快速、全面掌握预训练语言模型的从业者阅读。
主编推荐
"√梳理预训练语言模型的发展历史、基本概念 √剖析具有代表性的预训练语言模型的实现细节，配代码 √预训练语言模型的评测、应用及趋势分析"
精彩内容
预训练语言模型作为自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。本书详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解，阐述了具有代表性的预训练语言模型的实现细节，非常适合需要快速、全面掌握预训练语言模型的从业者阅读。
媒体评论
预训练语言模型开启自然语言处理新时代！剖析具有代表性的预训练语言模型的实现细节|配代码讲解预训练语言模型开启自然语言处理新时代！剖析具有代表性的预训练语言模型的实现细节|配代码讲解√梳理预训练语言模型的发展历史、基本概念√剖析具有代表性的预训练语言模型的实现细节，配代码√预训练语言模型的评测、应用及趋势分析
预训练语言模型是近年来自然语言处理领域最具突破性的进展之一。当然，所有的突破性进展都并非一人一日之功，预训练语言模型背后也隐藏着大量前人的长期辛苦探索和努力。不了解这些探索和努力，就很难理解预训练语言模型的发展历史，更无法预测预训练语言模型的未来。本书，可以让读者系统地了解预训练语言模型的发展脉络、技术现状和可能的将来，把握技术的脉搏。
王 斌小米AI实验室主任，NLP首席科学家
预训练语言模型是海量数据与强劲算力碰撞的智慧结晶。预训练加微调已经成为大部分自然语言处理任务的主流范式，特别是GPT-3给我们带来了通向通用人工智能的希望。《预训练语言模型》是一本内容全面、兼顾理论与技术实践的专业技术书，适合对预训练语言模型感兴趣的读者阅读！
邱锡鹏复旦大学计算机学院教授
2018年，预训练语言模型在自然语言处理领域取得了令人瞩目的成绩，并拓展到计算机视觉等领域。之后，各种优秀的预训练语言模型层出不穷，并在工业场景获得广泛应用。本书梳理了预训练语言模型的发展历史，对有代表性的模型配以详尽的代码解读，是一本全面的参考书，能够帮助研究者和工程师更好地开展相关研究和实践。
刘知远清华大学副教授
— 没有更多了 —
以下为对购买帮助不大的评价