第一章绪论
1.1撰写本书的背景和意义
1.2本书的主要内容与组织结构
1.3本书重点关注的问题
第二章统计语言模型
2.1语言模型概述
2.2现有主要统计语言模型
2.2.1上下文无关模型
2.2.2n—gram模型
2.2.3隐Markov模型
2.2.4决策树模型
2.2.5Cache—based模型
2.3统计语言模型的建模技术
2.3.1基于最大似然法的语言建模
2.3.2基于组合思想的语言建模
2.3.3基于信息论最大熵方法的语言建模
2.4统计语言建模的相关问题
2.4.1语言模型的架构
2.4.2语言模型参数的确定
2.4.3数据稀疏问题与模型平滑
2.4.4语言模型的评价
2.5本章小结
第三章汉语统计语言模型的构建
3.1汉语统计语言模型构建概述
3.2汉语文本分词及其相关问题
3.2.1机读词典的建立
3.2.2汉语文本分词算法
3.2.3分词中的中国人名识别
3.2.4实验结果与分析
3.3汉语建模原理与文本统计系统的建立
3.3.1汉语n—gram模型的构建原理
3.3.2文本统计系统的组成及实现
3.3.3字词统计算法与程序
3.4几种汉语语言模型与实验结果
3.5本章小结
第四章汉语统计语言模型的训练与评价
4.1语言模型训练样本的选取
4.2汉语语言模型训练样本的规模
4.2.1语言模型阶数与训练样本规模
4.2.2汉语语言模型的训练语料规模
4.2.3样本规模与词的使用频率和统计相对误差关系
4.3统计语言模型的评价
4.3.1基于信息熵的复杂度度量
4.3.2基于困惑度的复杂度度量
4.4汉语信息熵的估算方法
4.4.1语言信息熵的估算
4.4.2对几种汉语语言模型的比较与评价
4.5本章小结
第五章文本校对技术的现状分析
5.1英文文本自动校对技术
5.1.1英文文本中的错误种类
5.1.2单词错误的发现与校对技术
5.1.3上下文相关的错误校对技术
5.2中文文本自动校对技术
5.2.1中文与英文的差别
5.2.2中文自动查错的研究现状
5.2.3中文自动纠错的研究现状
5.3中文文本中常见错误的类型与分析
5.3.1中文文本中的常见错误类型
5.3.2中文文本中常见错误统计分析
5.3.3中文文本自动校对的难点分析
5.4本章小结
第六章中文文本字词错误自动侦测的模型与算法
6.1中文文本字词级错误的表现形式
6.2基于n—gram模型的中文文本查错方法
6.2.1n—gram模型与接续关系
6.2.2基于接续关系的查错思想
6.2.3字字接续判断模型
6.2.4词接续判断模型
6.2.5接续关系知识获取与知识库构建
6.3基于字词二元接续关系的自动查错算法
6.3.1基于字词二元接续的自动查错算法
6.3.2实验结果及查错实例
6.4规则与统计相结合的文本自动查错模型
6.4.1中文文本中的“非多字词错误”与“真多字词错误”
6.4.2规则与统计相结合的中文文本自动查错模型
6.5散串集中策略
6.5.1双向拼音知识库的构建
6.5.2散串集中策略
6.5.3错误信息存储方法
6.5.4散串集中算法
6.5.5实验结果与分析
6.6一种英文单词拼写自动侦错与纠错的方法——骨架键法
6.6.1英文拼写自动侦错和纠错的一般方法
6.6.2骨架键法在英文侦错与纠错中的可行性分析
6.6.3骨架键法的算法描述和算法分析
6.6.4实验结果评价
6.7本章小结
第七章中文文本中语法错误的自动侦测模型与算法
7.1中文文本语法级错误概述
7.2关联词知识库构建及查错算法
7.2.1关联词搭配错误推理规则知识库的构建
7.2.2关联词搭配查错算法
7.3量名搭配知识库的构建及查错算法设计
7.3.1基于《语法词典》的量名搭配
7.3.2基于语料库的量名搭配
7.3.3量名搭配类库的构建
7.3.4量名搭配查错算法
7.4标点符号错误的自动侦测
7.4.1标点符号搭配错误的研究
7.4.2标点符号错误搭配规则及算法设计
7.5基于规则的语法错误推理规则的构建
7.5.1语法错误推理正规则库构建
7.5.2语法错误推理负规则库制定
7.5.3基于语法错误推理规则的语法级错误查错算法
7.6本章小结
第八章中文文本中语义错误自动侦测的模型与算法
8.1语义学相关理论
8.1.1现代语义学流派及其主要理论
8.1.2语义知识的表示方法
8.1.3语义知识资源
8.2基于语义搭配知识库的语义侦测算法
8.2.1语义搭配知识库体系结构的设计
8.2.2词语搭配自动抽取算法的设计与实现
8.2.3语义搭配知识库构建算法的设计及实现
8.2.4基于语义搭配知识库的语义侦测算法的设计及实现
8.3基于语义依存搭配知识库的语义查错方法
8.3.1依存树库的构建及搭配关系的提取
8.3.2基于语义依存搭配知识库的语义级查错方法
8.4本章小结
第九章面向专业领域的中文文本错误的自动侦测方法
9.1面向特定领域的专业词汇抽取方法概述
9.1.1国外研究现状分析
9.1.2国内研究现状分析
9.2专业领域词汇及搭配关系的相关概念和理论知识
9.2.1专业词汇的定义
9.2.2专业词汇的分类
9.2.3专业词汇的特性
9.2.4专业词语搭配关系的定义
9.2.5通用的统计方法
9.3基于统计与规则相结合的专业词汇抽取算法
9.3.1专业词汇抽取算法的流程
9.3.2基于左右信息熵扩展的候选专业词汇抽取
9.3.3基于成词度的专业词汇筛选
9.3.4基于TF—IDF领域度的专业词汇筛选
9.3.5基于通用词库的筛选
9.4基于特定领域的词语搭配挖掘算法
9.4.1基于统计的常用词语搭配关系挖掘
9.4.2基于依存句法分析和《同义词词林》的动宾搭配关系挖掘
9.4.3基于依存分析结果的动宾搭配关系挖掘
9.5专业词汇与搭配关系分析挖掘系统的设计与实现
9.5.1系统的框架设计
9.5.2系统的主要用途和技术特点
9.5.3系统各功能模块简介
9.5.4实验结果与分析
9.6专业词汇与搭配关系在中文文本自动校对中的应用
9.6.1专业词汇在中文文本自动校对中的应用
9.6.2词语搭配关系在中文文本自动校对中的应用
9.7本章小结
第十章面向政治新闻领域的中文文本校对方法
第十一章中文文本错误纠错建议的自动生成及其排序方法
第十二章面向中文文本的自动校对实验系统设计与实现
附录:汉语语料加工词性标记体系
参考文献
评价“统计语言建模与中文文本自动校对技术”