现存的神经网络存在一个问题叫做梯度衰减(gradient decay?)。大致是说最后梯度很难对前面曾产生影响。
p.s.我才知道这个问题在今年已经被解决。挺奇怪的,听说这个问题主要在于不同层之间的剃度能量不稳定。所以PReLu中引入了MSRA filter。后来又出现了Batch Normalization,但总觉得有些蹊跷。。
第一,filter层是天生的,这也是finetune的意义所在。
第二,精度和计算深度本身就是一个矛盾的问题。一味地go deeper或许是一条死路?而(我忘了)中已经证明了如果少于一定层数,神经网络的大小呈指数级增加。大概解释是,过少的层数无法构建知识的层次。所以适度才是最好。适度很悬,但所幸机器学习中真有一套well formulate的理论来描绘度这个概念,VC dimension。而隔壁组正好叫VC组,这是巧合么?
———————————曾经的书评——————————————
1.计算基本单元,计算深度 和 精度
11/29/2015:见上。。。
2.并行 和 串行
并行可以降低误差的放大。
11/29/2015:还有一个理由是速度快,不过没必要提吧。而且这两个理由并不是固定同一组变量,不多说。
3.神经元是复杂还是简单?
神经网络中 的 神经元(gate?)构造可能极为复杂。
其本身能力并非线性这么简单。
11/29/2015:从现在的神经网络来看,只要足够深,不同的非线性原件效果类似。RELU,Atan,Sigmoid。如果说真有什么问题,那就是精度问题,因而RELU胜出。
正如caffe中sigmoidCrossEntropy源代码中所写,
”为什么不把它拆成两个基本原件?因为一个原件,精度更好”
4.为什么要有记忆?
11/29/2015:或许RNN能给予一定诠释。但我不得不说,现在神经网络几乎完全没有Cover这个概念。
正如《SICP》,这个问题大概和为什么要有序列,为什么要有时间差不多。没有memory的计算模型是pure functional的。
p.s.
当初读SICP扉页,
“我认为,在计算机科学中保持计算中的趣味性是特别重要的事情。这一学科在起步时饱含着趣味性。当然,那些付钱的客户们市场觉得受了骗。一段时间之后,我们开始严肃地看待他们的抱怨。我们开始感觉到,自己真的像是要负起成功地、无差错地、完美地使用这些机器的责任。我不认为我们可以做到这些。我认为我们的责任是去拓展这一领域,将其发展到新的方向,并在自己的家里保持趣味性。我希望计算机科学的领域绝不要丧失其趣味意识。最重要的是,我希望我们不要变成传道士,不要认为你是兜售圣经的人,世界上这种人已经太多了。你所知道的有关计算的东西,其他人也都能学到。绝不要认为似乎成功计算的钥匙就掌握在你的手里。你所掌握的,也是我认为并希望的,也就是智慧:那种看到这一机器比你第一次站在它面前时能做得更多的能力,这样你才能将它向前推进”
觉得狗屁不通不知所云。现在觉得字字真知,老了。
5.大脑可能选用不同的数学模型
11/29/2015:这也是现在神经网络一直在argue的问题,神经网络学到的东西,和人类的概念一致么?还没有结果。但我的感觉是不一致的。理由是,我认为知识可以看作一个空间,那么概念就是其中的基。一个空间必然可以有多组基,那么凭什么认为其完全一致呢?唯一的可能是,由于计算是非线性,可能存在一组最”简单“(人类尚没有任何工具刻画简单这个复杂的概念)的基。人和神经网络都收敛到这个。更有可能的是,model都不一样,学到的基就别说了。
----------------------------------------------------------------
另外,最近忽然有些理解了作者说过的一句话。
大概是有个人跟作者说,
作者回答,电脑有什么不能做的?如果你能告诉我什么是思考,那么我也能让电脑思考。
我开始喜欢一句话:A problem well put is half solved.
意即机器无法思考,并不是因为它能力受到了限制,而是人不理解思考是什么。
当然这就引出了另一个问题,人的思维是否能被我们理解?
或者换成一个更具迷惑性的问题,人的理解能力能否被人理解?
按照哥德尔定理反方向预示着的,一个足够强的自省的系统就已经拥有了足够的智能了呢。
还有问题的数学深度的问题。
书评
《计算机与人脑》热门书评
-
那个年代的翻译不易啊
20有用 2无用 miner 2008-07-22
重温《计算机与人脑》(1965年的中文版),觉得那个年代的译者实在是不容易:在叙述完冯·诺伊曼的生平后,还得加一句“他是一贯地为美国战后的扩军备战反动政策服务的科学家之一”;在列举了冯·诺伊曼在博弈论上的贡献后,还得评价一下“但在应用于经济活动的观点上面,以资产阶级经济学的边际效用理论为基础,则是完...
-
要真正了解计算机,请认真阅读这本篇幅很小的名著
10有用 1无用 冰山上的豆客 2012-12-24
这是数学家冯•诺伊曼晚年关于计算机的一部著名著作,写于上世纪五十年代,虽然年代久远,但是,要真正了解计算机,请认真阅读这本篇幅很小的名著。哪怕只说在这本书第一部分:计算机冯诺依曼在这部分系统讲解了冯诺依曼体系结构包括逻辑控制、存储层次结构、指令集特性几乎囊括了计算机体系结构和汇编程序的核心设计理念时...
-
The Computer and the Brain
4有用 0无用 tuweri 2012-02-01
von Neumann的最后一部著作,由于是未完成的讲演稿,所以几乎不存在引经据典的倾向(作者自己在正文中也补充解释了这一点),而是比较直接平实地从记忆储存体、运算方式、运算能力及时间、运算误差等方面谈论并比较了计算机与人脑的异同。 全书最引起我兴趣的一个比较:人脑较低的运算能力及更低的误差率...
-
感受不到本书编辑的诚意
3有用 2无用 廊桥梦遗 2013-01-26
原作者的理论我完全不懂,不做评论。对北京大学出版社有一点小失望。 我说一下看完这本书的感受: &nb...
-
强大的类比!
2有用 0无用 杨友三 2013-09-24
计算机与人脑之间比较,差异大于相似之处;相对而言,全球脑和人脑之间的相似之处更多一些。当然,这是题外话了。冯·诺伊曼不愧为著名的科学家。在这本尚未完成的书稿中,他探讨了许多与计算机和人脑有关的重要机制,例如在计算方面的并行、串行以及统计学问题,还有数字与模拟、数学与逻辑,等等。“如果一个神经元,和两...
书名: 计算机与人脑
作者: [美] 约·冯·诺意曼
出版社: 商务印书馆
译者: 甘子玉
出版年: 1965-3
页数: 62
定价: 7.00元
装帧: 平装
丛书: 汉译世界学术名著丛书·哲学
ISBN: 9787100032445