两年多以前有个Machine Learning课以PRML为参考书,当时就觉得这书相当的好。可惜一直以来没认真读完。最近稍闲终于重新读了一遍,比较有收获。
这书给人的最大的印象可能是everything has a Bayesian version或者说everything can be Bayesianized,比如PRML至少给出了以下Bayesian对Frequentist的PK:
Frequentist版本 Bayesian版本
Linear regression <---> Bayesian linear regression
Logistic regression <---> Bayesian logistic regression
Neural network <---> Bayesian Neural network
SVM <---> RVM
Gaussian mixture model <---> Bayesian Gaussian mixture model
Probabilistic PCA <---> Bayesian probabilistic PCA
Hidden markov model <---> Bayesian Hidden markov model
Linear dynamic system <---> Bayesian Linear dynamic system
从作者的叙述来看,Bayesian是道美味可口的菜:避免over-fitting,自动选模型参数(例如GMM的分支数K,PCA所降到的维数)等等;虽然通向它的路途颇为艰难:marginalization涉及的计算是很复杂的。因此书里大量运用了approximation(前期大量Laplace approximation,后期Variational Bayes等)。
Frequentist一方的model/algorithm稍轻松一些,面临的计算困难没那么大:前期很多甚至有closed-form solution,要不就上gradient decent,后期则大量EM算法;但Frequentist要考虑over-fitting的问题(regularizing),又要cross-validation来选model,这减少了training data、增加了额外计算量,不如Bayesian方法来得elegant。
这本书总体上写的是非常清晰的。不过也有些不尽如人意的。比如第8章读完后我仍旧不知道PGM到底是什么,还是借助了Koller那本PGM的某几章才算搞清楚。再如SVM那一章(P328),Lagrangian function关于参数w,b最小化,关于Lagrange multiplier最大化这一点,也是看了Andrew Ng的Lecture note后才理解为什么的。
最后,分享一下本人的全部笔记:http://vdisk.weibo.com/s/KY31O (http://vdisk.weibo.com/s/bc6IJ -- 这个链接somehow已经失效了...)。
PRML,Bayesian PK Frequentist,笔记
对“PRML,Bayesian PK Frequentist,笔记”的回应
《Pattern Recognition And Machine Learning》热门书评
-
PRML,Bayesian PK Frequentist,笔记
63有用 2无用 Chojin 2012-08-25
两年多以前有个Machine Learning课以PRML为参考书,当时就觉得这书相当的好。可惜一直以来没认真读完。最近稍闲终于重新读了一遍,比较有收获。这书给人的最大的印象可能是everything has a Bayesian version或者说everything can be Bayesi...
-
需要多读几遍:Pattern Recognition And Machine Learning
58有用 3无用 jia 2010-12-17
实际上这本书我花了将近两个月的时间读下来,不敢说有多理解,但是确实收获很大,分章做一个评论。第1章的导论,不多说,看完书后需要重新回过头来看看。第2章的概率分布,写的非常好,尽管只有几个简单的分布,但是对共轭先验的概念以及指数分布族介绍的很清楚,这一章是本书的基础。第3章以及第4章的线性分类和回归一...
-
说此书数学怎么怎么样的还是退了吧
31有用 6无用 达令你快乐吗 2014-03-29
这几天没事把尾巴扫了。如果想做ML无论是theory(tcsers请先别吐槽好吧,以后会有槽吐你们的)、algorithm还是application此书都是必读,而且书只读这一本足够了。ML吹破天还是那点内容,想学“fashion”的concept有那么多paper、review,看书是自取其辱。有...
-
更广的背景下看Bayesian Learning
28有用 2无用 Chen_1st 2011-05-09
这两天因为读文章的需要,重新翻了翻这本书。觉得@raullew在http://book.douban.com/review/4474434/ 中提到的问题的确是这本书的一个缺陷。是否真正了解一个东西,不仅取决于你是否了解这个东西的特性,还取决于你能不能把它和相似的东西区分开。比如说,你要学习什么是猫...
-
这是我读过最好的模式识别书。
26有用 1无用 景浩 2013-02-28
我是学工程的,读过很多统计,模式识别,数据挖掘的书。比如Andrew Gelman 的 Beyesian data Analysis; Trevor Hastie 的 The Elements of Statistical Learning等等。。。。我发现一个问题,但凡是统计系人出的书,我读起来都...
书名: Pattern Recognition And Machine Learning
作者: Christopher Bishop
出版社: Springer
出版年: 2007-10-1
页数: 738
定价: USD 94.95
装帧: Hardcover
ISBN: 9780387310732