一本较为不错的theoretical machine learning的读物

市面上关于machine learning (ML)的书很多，但是个人认为用一本书将ML的方方面面全部讲清楚是不可能的。粗略的来讲，ML的书籍可以分为算法(algorithm)和理论(theorem)两大类。前一类中，个人认为最近十年比较经典的教材包括Bishop的Pattern Recognition and Machine Learning，斯坦福三位大牛写的The Elements Statistical Learning，以及最近Murphy新出的的Machine Learning；但是后一类中比较经典的图书则不是很多，其中包括Michael J. Kearns的An Introduction to Computational Learning Theory，Luc的A Probabilistic Theory of Pattern Recognition，以及Vapnik的The Nature of Statistical Learning Theory。可惜的是，这几本书虽然可以称得上是经典，但几乎都是上个世纪的"上古"读物。此外个人感觉理论性较强，不大容易上手(废话，theoretical machine learning必须理论性很强啊！)。

最近有一本Mehryar Mohri等人写的"Foundations of Machine Learning"，应该说填补了近几年关于machine learning theory方面上的空白，虽然涉及的内容不是很多，但是ML里面重要的一些算法，思想基本上都涵盖在了里面，而且里面的证明推导比较细致，深入浅出，还是一本很不错的ML的理论入门读物。

这本Understanding Machine Learning是我去年底参加NIPS的时候在会场上直接从Cambridge Press的展台上买的，48刀，还算不贵。虽然副标题写的是from theory to algorithms，但是整体感觉还是偏重theory。我并没有通读这本书，但是单单从目录上来看，本书涵盖的内容要比上面提到的Foundations of Machine Learning多很多，但是也正是因为如此，很多内容也都是点到为止，并没有做太深入的讨论，有些证明的推导还得自己去研究。但是不论怎样，这本书给人的整体感觉还是不错的，和Foundations of Machine Learning一起作为theoretical machine learning的入门读物还是挺值得推荐的。毕竟相对于一个个鲜活的learning model，theory还是显得有些艰深晦涩，能用通俗易懂的文字把这些东西讲清楚本来就不是一件容易的事情。

顺便说说本书的两位作者，可能对于初搞ML的人而言，这两人并不是像Michael Jordan，Geoffrey Hinton， Andrew Ng那样牛逼闪闪的人物。但实际上这两位以色列人在theoretical machine learning还是有不少贡献的。而且我发现搞ML的以色列这一流派都很喜欢搞理论这一块，而且搞的相当不错，各种bound，regret，complexity，让人看的天花乱坠，顶级会议期刊各种灌，更有不少人在Princeton，Stanford这样的顶级高校中拿到了faculty position，其研究成果令人侧目。