消息首页搜索举报

全新正版现货预训练语言模型 9787121409998

正版新书现货可以下单一般就是有货的下午5点前订单当天发货

64.31 5.9折 109 全新

仅1件

北京丰台

认证卖家担保交易快速发货售后保障

作者邵浩，刘一烽编著

出版社电子工业出版社

ISBN9787121409998

出版时间2021-05

版次1

装帧平装

开本16开

纸张胶版纸

定价109元

货号R_11039270

上书时间2024-01-14

黎明书店

十四年老店

已实名已认证进店收藏店铺

在售商品暂无
平均发货时间 8小时
好评率暂无

最新上架

中国当代长篇小说：十二背后（精装） ¥34.68

第十九届文津奖获奖图书--看不见的孩子 ¥49.28

汪侦探福尔摩斯13：速度与激情 (插图版) ¥11.60

注维摩诘经校补（中国佛教典籍选刊全2册） ¥46.40

中华先贤人物故事汇：岳飞 ¥11.80

中华先贤人物故事汇：柳宗元 ¥11.60

中华先贤人物故事汇：班固 ¥11.80

中华经典名著全本全注全译丛书：孟子 ¥15.60

中华经典名著全本全注全译丛书：老子精装 ¥15.66

商品详情

品相描述：全新

商品描述: 基本信息
书名:预训练语言模型
定价：109元
作者:邵浩，刘一烽编著
出版社：电子工业出版社
出版日期：2021-05-01
ISBN：9787121409998
字数：
页码：
版次：
装帧：平装
开本：16开
商品重量：
编辑推荐
√梳理预训练语言模型的发展历史、基本概念√剖析具有代表性的预训练语言模型的实现细节，配代码√预训练语言模型的评测、应用及趋势分析
内容提要
预训练语言模型属于人工智能领域中自然语言处理领域的一个细分。本书主要介绍预训练语言模型。预训练语言模型是自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。本书详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解，阐述了具有代表性的预训练语言模型的实现细节，非常适合需要快速、全面掌握预训练语言模型的从业者阅读。
目录
章预训练语言模型简介 1 1.1自然语言处理研究进展 1 1.2预训练语言模型：为什么要预训练 4 1.2.1预训练 4 1.2.2自然语言表示 5 1.2.3预训练语言模型发展史及分类 8 第 2 章预训练语言模型基础知识 13 2.1统计语言模型 14 2.2神经网络语言模型 17 2.3词向量：解决相似单词的距离问题 19 2.4RNN 和 LSTM 基础 25 2.5基于 RNN 的语言模型 29 2.6ELMo：解决多义词的表示问题 32 第 3 章 Transformer 与 Attention 37 3.1Transformer 的结构 37 3.2Self-Attention：从全局中找到重点 43 3.3位置编码：为什么有效 54 3.4单向掩码：另一种掩码机制 58 3.5代码解读：模型训练技巧 61 3.5.1训练技巧 1：归一化层前置 62 3.5.2训练技巧 2：梯度累积 64 第 4 章 GPT 系列模型 69 4.1GPT 的结构：基于 Transformer Decoder 69 4.2GPT 任务改写：如何在不同任务中使用 GPT 71 4.3GPT 核心代码解读 74 4.4GPT-2：Zero-shot Learning 的潜力 79 4.4.1N-shot Learning 79 4.4.2核心思想 80 4.4.3模型结构 81 4.5GPT-3：Few-shot Learning 的表现 82 4.5.1看词造句 84 4.5.2语法纠错 84 4.5.3GPT-3 的争议 85 第 5 章 BERT 模型 87 5.1BERT：公认的里程碑 87 5.2BERT 的结构：强大的特征提取能力 88 5.3无监督训练：掩码语言模型和下句预测 91 5.3.1MLM 91 5.3.2NSP 93 5.3.3输入表示 94 5.4微调训练：适应下游任务 95 5.4.1句对分类 95 5.4.2单句分类 96 5.4.3文本问答 97 5.4.4单句标注 99 5.5核心代码解读：预训练和微调 100 5.5.1BERT 预训练模型 101 5.5.2BERT 微调模型 110 5.6BERT 总结 117 第 6 章后 BERT 时代的模型 119 6.1XLM：跨语言模型 119 6.1.1优化方向 119 6.1.2算法细节 120 6.1.3 小结 121 6.2MT-DNN：多任务融合 121 6.2.1优化方向 121 6.2.2算法细节 122 6.2.3 小结 124 6.3UniLM：获得文本生成能力 124 6.3.1优化方向 124 6.3.2算法细节 125 6.3.3 小结 127 6.4SpanBERT：扩大掩码范围 127 6.4.1优化方向 127 6.4.2算法细节 128 6.4.3 小结 129 6.5XLNet：置换自回归 130 6.5.1优化方向 130 6.5.2算法细节 130 6.5.3 小结 135 6.6ERNIE：知识图谱 136 6.6.1优化方向 136 6.6.2算法细节 136 6.6.3 小结 139 6.7VideoBERT：多模态融合 139 6.7.1优化方向 139 6.7.2算法细节 140 6.7.3 小结 141 6.8ALBERT：参数共享 142 6.8.1优化方向 142 6.8.2算法细节 143 6.8.3 小结 145 6.9RoBERTa：更大的模型 145 6.9.1优化方向 145 6.9.2算法细节 146 6.9.3 小结 146 6.10BART：编解码结构 146 6.10.1优化方向 146 6.10.2算法细节 147 6.10.3 小结 149 6.11T5：大一统模型 149 6.11.1优化方向 149 6.11.2算法细节 150 6.11.3 小结 153 6.12 总结 154 第 7 章评测和应用 157 7.1评测任务 157 7.1.1通用评测任务 157 7.1.2领域评测任务 162 7.1.3其他评测任务 167 7.2模型应用：Transformers 代码实战 168 7.2.1 安装 168 7.2.2快速上手指南 170 7.2.3微调训练 172 7.2.4BERT 应用 175 7.3模型压缩：量化、剪枝和蒸馏 179 7.3.1BERT 模型分析 179 7.3.2 量化 181 7.3.3 剪枝 181 7.3.4 蒸馏 182 7.3.5 结构无损压缩 187 7.4模型扩展：多模态预训练 188 7.4.1单流模型 189 7.4.2双流模型 191 第 8 章总结和展望 195 8.1预训练语言模型的发展现状 195 8.2预训练语言模型的未来展望 199 参考文献 203
作者介绍
邵　浩日本国立九州大学工学博士，现就职于vivo。曾任狗尾草智能科技AI研究院院长，带领团队打造了AI虚拟生命产品的交互引擎。曾是上海对外经贸大学副教授，硕士生导师。是上海市静安区首届人才，上海市人才发展基金获得者，杭州市高层次人才。任中国中文信息学会青年工作委员会委员，语言与知识计算专委会委员，中国计算机学会语音对话与听觉专业组委员，中文信息技术专委会委员。发表论文50余篇，获专利10余项，主持多项及省部级课题，曾在联合国、世界贸易组织、亚利桑那州立大学、香港城市大学等机构任访问学者。刘一烽全国中学生物理竞赛保送生，清华大学电子系硕士，曾获学习成绩优异奖学金。现任vivo人工智能研究院AI算法工程师，主要研究方向为强化学习、自然语言处理，主导游戏AI和机器翻译核心算法研发工作。
序言