自然语言处理(原理方法与应用)/计算机技术开发与应用丛书

笔者在这短短一年多的时间里经历了人生中很多大事，在编写本书的同时，人工智能自然语言处理领域的发展也经历了很多大事件，有预测蛋白质结构的alphafold模型、有1750亿参数量的超大无比GPT3屠榜自然语言处理各个任务的榜单，也有实现增量推理与分布式推理的盘古预训练模型。总体来讲，自2018年底谷歌公司发布BERT预训练模型后，自然语言处理领域呈现井喷式发展，但是，无论当前自然语言处理模型如何发展，其仍旧基于深度神经网络，无非是网络的结构、神经元的数目及使用的硬件资源不同罢了。

信息时代的来临，人类从信息匮乏的年代走向信息爆炸的年代，现在的学习资料多如牛毛，但量大并不代表质优，因此，如何将杂乱无章的知识点整理成高效可拓展的知识路线，是笔者在编写本书时无时无刻不在思考的问题。本书从一个人工智能算法工程师的角度并依据笔者多个国家级竞赛的获奖经验编写，目的是让每个读者都能够从流程化的算法中掌握一条符合自己的学习路线。

因此，本书将搭建一个自然语言处理的学习框架，以帮助读者用最低的学习成本掌握自然语言处理任务。这不仅可以帮助读者构建属于自己的自然语言处理知识宇宙，同时也方便读者可以基于自己的知识体系进行二次拓展，加深对自然语言处理的理解。本书的内容涉及自然语言处理领域的算法流程、无监督学习、预训练模型、文本分类、智能问答、命名实体识别、文本生成、模型的蒸馏与剪枝等。

本书是笔者在清华大学出版社出版的第二本书。不得不说，完成一本书的过程非常艰辛但十分有意义，笔者将其当成另一种形式的创业，也是对自己思考方式另一个维度的锤炼，同时也是向这个世界每个学习自然语言处理的读者分享有益的知识。

另外，感谢深圳大学信息中心和电子与信息工程学院提供的软硬件支持，感谢我的导师秦斌及实验室为本书内容与代码做出贡献的每位同学，感谢在背后支持我的父母、亲人、朋友。笔者很高兴能为浩如烟海的人工智能领域知识库提交一份有用的学习材料。

由于笔者水平与精力有限，书中难免存在某些疏漏，衷心欢迎读者指正批评！

王志立2022年10月

本书系统阐述自然语言处理基础知识，以及自然语言处理高级模型应用等高级知识。 全书共11章：第1~5章为自然语言处理的基础知识，第6~11章则将自然语言处理知识应用于实战。书中主要内容包括预训练模型、文本分类、机器阅读理解、命名实体识别、文本生成、模型蒸馏与剪枝及损失函数等知识。 书中包含大量应用示例，不仅可以学会理论知识还可以灵活应用。书中示例基于Linux与PyTorch环境开发，读者在学习自然语言处理知识的同时还可学会PyTorch框架技术，内容完整、步骤清晰，提供了工程化的解决方案。 本书可作为有一定深度学习基础的读者的入门书，也可作为从事自然语言处理算法工作的技术人员及培训机构的参考书。