图像处理、分析与机器视觉

第1章 引言 1

1.1 动机 1

1.2 计算机视觉为什么是困难的 2

1.3 图像表达与图像分析的任务 4

1.4 总结 7

第1章 引言 1

1.1 动机 1

1.2 计算机视觉为什么是困难的 2

1.3 图像表达与图像分析的任务 4

1.4 总结 7

1.5 参考文献 7

第2章 图像及其表达与性质 8

2.1 图像表达若干概念 8

连续图像函数 8

2.2 图像数字化 10

2.2.1 采样 10

2.2.2 量化 11

2.3 数字图像性质 12

2.3.1 数字图像的度量和拓扑性质 12

2.3.2 直方图 16

2.3.3 熵 17

2.3.4 图像的视觉感知 18

2.3.5 图像品质 20

2.3.6 图像中的噪声 20

2.4 彩色图像 22

2.4.1 色彩物理学 22

2.4.2 人所感知的色彩 23

2.4.3 彩色空间 26

2.4.4 调色板图像 28

2.4.5 颜色恒常性 28

2.5 摄像机概述 29

2.5.1 光敏传感器 29

2.5.2 黑白摄像机 30

2.5.3 彩色摄像机 32

2.6 总结 33

2.7 参考文献 34

第3章 图像及其数学与物理背景 35

3.1 概述 35

3.1.1 线性 35

3.1.2 狄拉克（Dirac）分布和卷积 35

3.2 积分线性变换 37

3.2.1 作为线性系统的图像 37

3.2.2 积分线性变换引言 37

3.2.3 1D傅里叶变换 38

3.2.4 2 D傅里叶变换 41

3.2.5 采样与香农约束 43

3.2.6 离散余弦变换 46

3.2.7 小波变换 47

3.2.8 本征分析 51

3.2.9 奇异值分解 52

3.2.10 主分量分析 53

3.2.11 其他正交图像变换 54

3.3 作为随机过程的图像 55

3.4 图像形成物理 57

3.4.1 作为辐射测量的图像 57

3.4.2 图像获取与几何光学 57

3.4.3 镜头像差和径向畸变 60

3.4.4 从辐射学角度看图像获取 62

3.4.5 表面反射 64

3.5 总结 67

3.6 参考文献 67

第4章 图像分析的数据结构 69

4.1 图像数据表示的层次 69

4.2 传统图像数据结构 70

4.2.1 矩阵 70

4.2.2 链 72

4.2.3 拓扑数据结构 73

4.2.4 关系结构 73

4.3 分层数据结构 74

4.3.1 金字塔 74

4.3.2 四叉树 75

4.3.3 其他金字塔结构 76

4.4 总结 77

4.5 参考文献 78

第5章 图像预处理 79

5.1 像素亮度变换 79

5.1.1 位置相关的亮度校正 80

5.1.2 灰度级变换 80

5.2 几何变换 82

5.2.1 像素坐标变换 83

5.2.2 亮度插值 84

5.3 局部预处理 86

5.3.1 图像平滑 86

5.3.2 边缘检测算子 92

5.3.3 二阶导数过零点 96

5.3.4 图像处理中的尺度 98

5.3.5 Canny边缘提取 100

5.3.6 参数化边缘模型 102

5.3.7 多光谱图像中的边缘 103

5.3.8 频域的局部预处理 103

5.3.9 用局部预处理算子作线检测 108

5.3.10 角点（兴趣点）检测 109

5.3.11 最大稳定极值区域检测 112

5.4 图像复原 114

5.4.1 容易复原的退化 114

5.4.2 逆滤波 115

5.4.3 维纳滤波 115

5.5 总结 117

5.6 参考文献 118

第6章 分割 I 124

6.1 阈值化 124

6.1.1 阈值检测方法 126

6.1.2 最优阈值化 127

6.1.3 多光谱阈值化 129

6.2 基于边缘的分割 130

6.2.1 边缘图像阈值化 131

6.2.2 边缘松弛法 133

6.2.3 边界跟踪 135

6.2.4 作为图搜索的边缘跟踪 139

6.2.5 作为动态规划的边缘跟踪 146

6.2.6 Hough变换 149

6.2.7 使用边界位置信息的边界检测 155

6.2.8 从边界构造区域 156

6.3 基于区域的分割 157

6.3.1 区域归并 158

6.3.2 区域分裂 160

6.3.3 分裂与归并 161

6.3.4 分水岭分割 163

6.3.5 区域增长后处理 166

6.4 匹配 166

6.4.1 匹配标准 167

6.4.2 匹配的控制策略 168

6.5 分割的评测问题 169

6.5.1 监督式评测 169

6.5.2 非监督式评测 172

6.6 总结 172

6.7 参考文献 175

第7章 分割II 182

7.1 均值移位分割 182

7.2 活动轮廓模型——蛇行 187

7.2.1 经典蛇行和气球 188

7.2.2 扩展 191

7.2.3 梯度矢量流蛇 191

7.3 几何变形模型——水平集和测地活动轮廓 194

7.4 模糊连接性 200

7.5 面向基于3D图的图像分割 204

7.5.1 边界对的同时检测 205

7.5.2 次优的表面检测 208

7.6 图割分割 209

7.7 最优单和多表面分割 214

7.8 总结 223

7.9 参考文献 224

第8章 形状表示与描述 232

8.1 区域标识 234

8.2 基于轮廓的形状表示与描述 236

8.2.1 链码 237

8.2.2 简单几何边界表示 237

8.2.3 边界的傅里叶变换 239

8.2.4 使用片段序列的边界描述 241

8.2.5 B样条表示 243

8.2.6 其他基于轮廓的形状描述方法 245

8.2.7 形状不变量 245

8.3 基于区域的形状表示与描述 248

8.3.1 简单的标量区域描述 248

8.3.2 矩 251

8.3.3 凸包 253

8.3.4 基于区域骨架的图表示 257

8.3.5 区域分解 259

8.3.6 区域邻近图 260

8.4 形状类别 261

8.5 总结 261

8.6 参考文献 263

第9章 物体识别 270

9.1 知识表示 270

9.2 统计模式识别 274

9.2.1 分类原理 275

9.2.2 分类器设置 276

9.2.3 分类器学习 278

9.2.4 支持向量机 280

9.2.5 聚类分析 284

9.3 神经元网络 286

9.3.1 前馈网络 287

9.3.2 非监督学习 288

9.3.3 Hopfield神经元网络 289

9.4 句法模式识别 290

9.4.1 语法与语言 291

9.4.2 句法分析与句法分类器 293

9.4.3 句法分类器学习与语法推导 294

9.5 作为图匹配的识别 295

9.5.1 图和子图的同构 296

9.5.2 图的相似度 298

9.6 识别中的优化技术 299

9.6.1 遗传算法 300

9.6.2 模拟退火 302

9.7 模糊系统 303

9.7.1 模糊集和模糊隶属函数 304

9.7.2 模糊集运算 305

9.7.3 模糊推理 306

9.7.4 模糊系统设计与训练 308

9.8 模式识别中的Boosting方法 309

9.9 总结 311

9.10 参考文献 314

第10章 图像理解 319

10.1 图像理解控制策略 320

10.1.1 并行和串行处理控制 320

10.1.2 分层控制 321

10.1.3 自底向上的控制 321

10.1.4 基于模型的控制 321

10.1.5 混合的控制策略 322

10.1.6 非分层控制 325

10.2 RANSAC：通过随机抽样一致来拟合 326

10.3 点分布模型 329

10.4 活动表观模型 337

10.5 图像理解中的模式识别方法 344

10.5.1 基于分类的分割 344

10.5.2 上下文图像分类 346

10.6 Boosted层叠分类器用于快速物体检测 349

10.7 场景标注和约束传播 352

10.7.1 离散松弛法 353

10.7.2 概率松弛法 355

10.7.3 搜索解释树 357

10.8 语义图像分割和理解 357

10.8.1 语义区域增长 358

10.8.2 遗传图像解释 360

10.9 隐马尔可夫模型 365

10.9.1 应用 369

10.9.2 耦合的HMM 370

10.9.3 贝叶斯信念网络 371

10.10 高斯混合模型和期望最大化 372

10.11 总结 378

10.12 参考文献 380

第11章 3D视觉和几何 389

11.1 3D视觉任务 389

11.1.1 Marr理论 391

11.1.2 其他视觉范畴：主动和有目的的视觉 392

11.2 射影几何学基础 393

11.2.1 射影空间中的点和超平面 394

11.2.2 单应性 395

11.2.3 根据对应点估计单应性 397

11.3 单透视摄像机 400

11.3.1 摄像机模型 400

11.3.2 齐次坐标系中的投影和反投影 402

11.3.3 从已知场景标定一个摄像机 403

11.4 从多视图重建场景 403

11.4.1 三角测量 403

11.4.2 射影重建 404

11.4.3 匹配约束 405

11.4.4 光束平差法 406

11.4.5 升级射影重建和自标定 407

11.5 双摄像机和立体感知 408

11.5.1 极线几何学——基本矩阵 408

11.5.2 摄像机的相对运动——本质矩阵 410

11.5.3 分解基本矩阵到摄像机矩阵 411

11.5.4 从对应点估计基本矩阵 411

11.5.5 双摄像机矫正结构 412

11.5.6 矫正计算 414

11.6 三摄像机和三视张量 415

11.6.1 立体对应点算法 417

11.6.2 距离图像的主动获取 421

11.7 由辐射测量到3D信息 423

11.7.1 由阴影到形状 423

11.7.2 光度测量立体视觉 426

11.8 总结 427

11.9 参考文献 428

第12章 3D视觉的应用 433

12.1 由X到形状 433

12.1.1 由运动到形状 433

12.1.2 由纹理到形状 437

12.1.3 其他由X到形状的技术 439

12.2 完全的3D物体 440

12.2.1 3D物体、模型以及相关问题 440

12.2.2 线条标注 441

12.2.3 体积表示和直接测量 443

12.2.4 体积建模策略 444

12.2.5 表面建模策略 446

12.2.6 为获取完整3D模型的面元标注与融合 447

12.3 基于3D模型的视觉 451

12.3.1 一般考虑 451

12.3.2 Goad算法 452

12.3.3 基于模型的亮度图像曲面物体识别 455

12.3.4 基于模型的距离图像识别 456

12.4 3D场景的2D视图表达 456

12.4.1 观察空间 456

12.4.2 多视图表达和示象图 457

12.4.3 作为2D视图结构化表达的几何基元 457

12.4.4 利用存储的2D视图显示3D真实世界场景 458

12.5 实例研究——由未组织的2D视图集重建3D 460

12.6 总结 463

12.7 参考文献 464

第13章 数学形态学 470

13.1 形态学基本概念 470

13.2 形态学四原则 471

13.3 二值膨胀和腐蚀 472

13.3.1 膨胀 472

13.3.2 腐蚀 474

13.3.3 击中击不中变换 476

13.3.4 开运算和闭运算 476

13.4 灰度级膨胀和腐蚀 477

13.4.1 顶面、本影、灰度级膨胀和腐蚀 477

13.4.2 本影同胚定理和膨胀、腐蚀及开、闭运算的性质 479

13.4.3 顶帽变换 480

13.5 骨架和物体标记 481

13.5.1 同伦变换 481

13.5.2 骨架和最大球 481

13.5.3 细化、粗化和同伦骨架 482

13.5.4 熄灭函数和最终腐蚀 485

13.5.5 最终腐蚀和距离函数 486

13.5.6 测地变换 487

13.5.7 形态学重构 488

13.6 粒度测定法 489

13.7 形态学分割与分水岭 491

13.7.1 粒子分割、标记和分水岭 491

13.7.2 二值形态学分割 491

13.7.3 灰度级分割和分水岭 493

13.8 总结 494

13.9 参考文献 495

第14章 图像数据压缩 497

14.1 图像数据性质 498

14.2 图像数据压缩中的离散图像变换 498

14.3 预测压缩方法 500

14.4 矢量量化 502

14.5 分层的和渐进的压缩方法 502

14.6 压缩方法比较 503

14.7 其他技术 504

14.8 编码 504

14.9 JPEG和MPEG图像压缩 505

14.9.1 JPEG——静态图像压缩 505

14.9.2 JPEG-2000压缩 506

14.9.3 MPEG——全运动的视频压缩 508

14.10 总结 509

14.11 参考文献 511

第15章 纹理 514

15.1 统计纹理描述 516

15.1.1 基于空间频率的方法 516

15.1.2 共生矩阵 517

15.1.3 边缘频率 519

15.1.4 基元长度（行程） 520

15.1.5 Laws纹理能量度量 521

15.1.6 分形纹理描述 521

15.1.7 多尺度纹理描述——小波域方法 522

15.1.8 其他纹理描述的统计方法 525

15.2 句法纹理描述方法 526

15.2.1 形状链语法 526

15.2.2 图语法 527

15.2.3 分层纹理中的基元分组 528

15.3 混合的纹理描述方法 530

15.4 纹理识别方法的应用 531

15.5 总结 531

15.6 参考文献 532

第16章 运动分析 537

16.1 差分运动分析方法 539

16.2 光流 542

16.2.1 光流计算 542

16.2.2 全局和局部光流估计 544

16.2.3 局部和全局相结合的光流估计 546

16.2.4 运动分析中的光流 546

16.3 基于兴趣点对应关系的分析 549

16.3.1 兴趣点的检测 549

16.3.2 兴趣点的对应关系 549

16.4 特定运动模式的检测 551

16.5 视频跟踪 554

16.5.1 背景建模 554

16.5.2 基于核函数的跟踪 558

16.5.3 目标路径分析 562

16.6 辅助跟踪的运动模型 566

16.6.1 卡尔曼滤波器 567

16.6.2 粒子滤波器 570

16.7 总结 573

16.8 参考文献 575

词汇 581