自然语言处理入门 编程语言 何晗 新华正版

 章  新手上路 1 1.1  自然语言与编程语言 .  2 1.1.1  词汇量 .  2 1.1.2  结构化 .  2 1.1.3  歧义 .  3 1.1.4  容错 .  3 1.1.5  易变 .  4 1.1.6  简略 .  4 1.2  自然语言处理的层次 .  4 1.2.1  语音、图像和文本 ..  5 1.2.2  中文分词、词标注和命名实体 识别  .  5 1.2.3  信息抽取 .  6 1.2.4  文本分类与文本聚类 ..  6 1.2.5  句法分析 .  6 1.2.6  语义分析与篇章分析 ..  7 1.2.7  其他任务  7 1.3  自然语言处理的流派 .  8 1.3.1  基于规则的专家系统 ..  8 1.3.2  基于统计的学方法 ..  9 1.3.3  历史 .  9 1.3.4  规则与统计 .  11 1.3.5  传统方法与深度学  11 1.4  机器学 ..  12 1.4.1  什么是机器学  13 1.4.2  模型 ..  13 1.4.3  特征 ..  13 1.4.4  数据集 ..  15 1.4.5  监督学 ..  16 1.4.6  无监督学 .  17 1.4.7  其他类型的机器学算法 ..  18 1.5  语料库  19 1.5.1  中文分词语料库  19 1.5.2  词标注语料库  19 1.5.3  命名实体识别语料库  20 1.5.4  句法分析语料库  20 1.5.5  文本分类语料库  20 1.5.6  语料库建设 .  21 1.6  开源工具 ..  21 1.6.1  主流nlp 工具比较 ..  21 1.6.2  python 接  23 1.6.3  java 接 .  28 1.7  结 .  31 第  2 章 词典分词  32 2.1  什么是词 ..  32 2.1.1  词的定义 ..  32 2.1.2  词的质--齐夫定律 ..  33 2.2  词典 .  34 2.2.1  hanlp 词典 .  34 2.2.2  词典的加载 .  34 2.3  切分算法 ..  36 2.3.1  切分 ..  36 2.3.2  正向长匹配 .  37 2.3.3  逆向长匹配 .  39 2.3.4  双向长匹配 .  40 2.3.5  速度评测 ..  43 2.4  字典树  46 2.4.1  什么是字典树 .  46 2.4.2  字典树的节点实现  47 2.4.3  字典树的增删改查实现 ..  48 2.4.4  首字散列其余二分的字典树 .  50 2.4.5  前缀树的妙用 .  53 2.5  双数组字典树  55 2.5.1  双数组的定义 .  55 2.5.2  转移 ..  56 2.5.3  查询 ..  56 2.5.4  构造*  57 2.5.5  全切分与长匹配  60 2.6  ac 自动机 ..  60 2.6.1  从字典树到ac 自动机  61 2.6.2  goto 表  61 2.6.3  output 表 ..  62 2.6.4  fail 表  63 2.6.5  实现 ..  65 2.7  基于双数组字典树的ac 自动机 .  67 2.7.1   ..  67 2.7.2  实现 ..  67 2.8  hanlp 的词典分词实现  71 2.8.1  doublearraytriesegment  72 2.8.2  ahocorasickdoublearraytrie- segment  .  73 2.9  准确率评测 .  74 2.9.1  准确率 ..  74 2.9.2  混淆矩阵与tp/fn/fp/tn ..  75 2.9.3  率 ..  76 2.9.4  召回率 ..  76 2.9.5  f1 值 ..  77 2.9.6  中文分词中的p、r、f1 计算 ..  77 2.9.7  实现 ..  78 2.9.8  第二届国际中文分词评测 ..  79 2.9.9  oov recall rate 与iv recall rate .  81 2.10  字典树的其他应用 .  83 2.10.1  停用词过滤 ..  83 2.10.2  简繁转换  87 2.10.3  拼音转换  90 2.11  结 .  91 第3  章 二元语法与中文分词 .  92 3.1  语言模型 ..  92 3.1.1  什么是语言模型  92 3.1.2  马尔可夫链与二元语法 ..  94 3.1.3  n 元语法 ..  95 3.1.4  数据稀疏与滑策略  96 3.2  中文分词语料库 .  96 3.2.1  1998 年报语料库pku .  97 3.2.2  微软亚洲研究院语料库msr  98 3.2.3  繁体中文分词语料库  98 3.2.4  语料库统计 .  99 3.3  训练 .  100 3.3.1  加载语料库 ..  101 3.3.2  统计一元语法 ..  101 3.3.3  统计二元语法 ..  103 3.4  预测 ..  104 3.4.1  加载模型  104 3.4.2  构建词网  107 3.4.3  节点间的距离计算  111 3.4.4  词图上的维特比算法 .  112 3.4.5  与用户词典的集成  115 3.5  评测 ..  118 3.5.1  标准化评测 ..  118 3.5.2  误差分析  118 3.5.3  调整模型  119 3.6  语分词  122 3.6.1  语分词语料 ..  122 3.6.2  训练语分词器 .  123 3.7  结 ..  124 第4  章 隐马尔可夫模型与序列标注 .  125 4.1  序列标注问题 .  125 4.1.1  序列标注与中文分词 .  126 4.1.2  序列标注与词标注 .  127 4.1.3  序列标注与命名实体识别  128 4.2  隐马尔可夫模型 ..  129 4.2.1  从马尔可夫设到隐马尔可夫 模型  129 4.2.2  初始概率向量 .  130 4.2.3  转移概率矩阵 .  131 4.2.4  发概率矩阵 ..  132 4.2.5  隐马尔可夫模型的三个基本用法 ..  133 4.3  隐马尔可夫模型的样本生成  133 4.3.1  案例--医疗诊断 .  133 4.3.2  样本生成算法 ..  136 4.4  隐马尔可夫模型的训练 ..  138 4.4.1  转移概率矩阵的估计 .  138 4.4.2  初始概率向量的估计  139 4.4.3  发概率矩阵的估计 .  140 4.4.4  验证样本生成与模型训练  141 4.5  隐马尔可夫模型的预测 ..  142 4.5.1  概率计算的前向算法 .  142 4.5.2  搜索序列的维特比算法 ..  143 4.6  隐马尔可夫模型应用于中文分词 .  147 4.6.1  标注集  148 4.6.2  字符映  149 4.6.3  语料转换  150 4.6.4  训练  151 4.6.5  预测  152 4.6.6  评测  153 4.6.7  误差分析  154 4.7  二阶隐马尔可夫模型*  154 4.7.1  二阶转移概率张量的估计  155 4.7.2  二阶隐马尔可夫模型中的维特比 算法  156 4.7.3  二阶隐马尔可夫模型应用于中文 分词  158 4.8  结 ..  159 第5  章 感知机分类与序列标注 .  160 5.1  分类问题  160 5.1.1  定义  160 5.1.2  应用  161 5.2  线分类模型与感知机算法  161 5.2.1  特征向量与样本空间 .  162 5.2.2  决策边界与分离超面  164 5.2.3  感知机算法 ..  167 5.2.4  损失函数与梯度下降*  169 5.2.5  投票感知机和均感知机  171 5.3  基于感知机的人名别分类  174 5.3.1  人名别语料库 .  174 5.3.2  特征提取  174 5.3.3  训练  175 5.3.4  预测  176 5.3.5  评测  177 5.3.6  模型调优  178 5.4  结构化预测问题 ..  180 5.4.1  定义  180 5.4.2  结构化预测与学的流程  180 5.5  线模型的结构化感知机算法 ..  180 5.5.1  结构化感知机算法 .  180 5.5.2  结构化感知机与序列标注  182 5.5.3  结构化感知机的维特比解码算法 ..  183 5.6  基于结构化感知机的中文分词 ..  186 5.6.1  特征提取  187 5.6.2  多线程训练 ..  189 5.6.3  特征裁剪与模型压缩* .  190 5.6.4  创建感知机分词器 .  192 5.6.5  准确率与能 ..  194 5.6.6  模型调整与在线学* .  195 5.6.7  中文分词特征工程* .  197 5.7  结 ..  199 第6  章 条件场与序列标注 .  200 6.1  机器学的模型谱系  200 6.1.1  生成式模型与判别式模型  201 6.1.2  有向与无向概率图模型  202 6.2  条件场 ..  205 6.2.1  线链条件场 .  205 6.2.2  条件场的训练*  207 6.2.3  对比结构化感知机 .  210 6.3  条件场工具包 .  212 6.3.1  crf++ 的安装  212 6.3.2  crf++ 语料格式  213 6.3.3  crf++ 特征模板  214 6.3.4  crf++ 命令行训练  215 6.3.5  crf++ 模型格式*  216 6.3.6  crf++ 命令行预测  217 6.3.7  crf++ 代码分析*  218 6.4  hanlp 中的crf++ api  220 6.4.1  训练分词器 ..  220 6.4.2  标准化评测 ..  220 6.5  结 ..  221 第7  章 词标注 .  222 7.1  词标注概述 .  222 7.1.1  什么是词 ..  222 7.1.2  词的用处 ..  223 7.1.3  词标注  223 7.1.4  词标注模型 ..  223 7.2  词标注语料库与标注集 .  224 7.2.1  《报语料库与pku 标注集 ..  225 7.2.2  语委语料库与863 标注集 .  231 7.2.3  《诛仙语料库与ctb 标注集 ..  234 7.3  序列标注模型应用于词标注 ..  236 7.3.1  基于隐马尔可夫模型的词标注 ..  237 7.3.2  基于感知机的词标注  238 7.3.3  基于条件场的词标注 ..  240 7.3.4  词标注评测 ..  241 7.4  自定义词 ..  242 7.4.1  朴素实现  242 7.4.2  标注语料  243 7.5  结 ..  244 第8  章 命名实体识别 .  245 8.1  概述 ..  245 8.1.1  命名实体  245 8.1.2  命名实体识别 ..  245 8.2  基于规则的命名实体识别 .  246 8.2.1  基于规则的音译人名识别  247 8.2.2  基于规则的本人名识别  248 8.2.3  基于规则的数词英文识别  249 8.3  命名实体识别语料库 ..  250 8.3.1  1998 年《报语料库 .  250 8.3.2  微软命名实体识别语料库  251 8.4  基于层叠隐马尔可夫模型的角 标注框架  252 8.4.1  基于角标注的名识别 ..  252 8.4.2  基于角标注的地名识别 ..  257 8.4.3  基于角标注的机构名识别 ..