大数据时代
这本书分为三个部分,大数据的思维变革、商业变革、管理变革。
在思维变革中,作者主要告诉我们大数据时代给统计带来的三个变化:可以分析和统计总体而非之前的样本;最求更多的数据而牺牲一些以前追求的精确度;从之前寻求因果关系到关注相关关系。
具体来说,大数据时代是基于电子计算机技术可以经济的搜集大量甚至全部的数据的。得到整体的数据信息没有比得到样本多耗费精力和金钱,那么当然选择大量数据。因为样本分析在数量上的缺失,使得研究人员在其他方面必须万无一失的追求精确度。并且,无论研究人员多么努力证明他们的科学性,他们的底气还是没有全数据研究人员足。大数据时代的人可以将重点放在数据的收集方面,而忽略一点精确性。比如有一个学校一千个学生,样本抽取100个学生考察,假设有百分之一的误差,放到整体中就是有10个学生的误差。在大数据收集的情况下,只有当误差达到百分之十的时候,它的误差才可能大到和样本调查一样。
第三个就是放弃因果关系,追求相关关系。还是将样本分析与全数据分析进行对比,全数据分析可以非常明确的告诉我们某两件事情的关系,虽然可能看起来没有什么关系。比如谷歌根据流行感冒相关关键词搜索频率分析各地区流行病的严重程度,并指导政府进一步进行救援和支持。这里的相关关系很明显,搜索频率增加,流行病严重程度增加。如果一定要解释因果关系,可能是病情严重,所以搜索频率增加。但是在另外一个例子中,因果关系就显得特别不重要了:数百万条电子医疗记录显示橙汁和阿司匹林的组合可以治疗癌症。这里只需要知道这两样东西的组合与癌症的相关性即可,如果要花费大量的精力和金钱去弄明白其中的药理关系对病人的帮助不大。当然这只是书中作者的观点,我们秉着科学严谨的态度追求真理,还是希望可以找到病理的源头,只是在有限的时间和精力的情况下,去攻克其他的病症则是更好的选择。
在商业变革部分,作者首先认为一切皆可数据化。比如有日本公司将个人的坐姿数据化,大致上是将个人屁股的大小、重量、受重分布等等转为数据资料,就像指纹一样,每个人的坐姿数据都是独一无二的。这个研究可以研制汽车防盗系统,甚至每个人在不同的状态下,坐姿数据也会有所不同,这个就可以防止疲劳驾驶。
在一切皆可数据化的前提下,作者肯定了大数据的商业价值。比如Facebook网站大量的个人信息使得其上市公司的股票价格远远大于它的实际账面价格。但是在股价持续增长之后是下跌,这也说明数据虽然具有一定的商业价值,但并不是无限制增长,数据的价值毕竟还是潜在的,需要更进一步的使用。
第三,作者很明确介绍了大数据时代的三种商业角色:数据收集者;技术拥有者;思维创新者。数据收集者类似Facebook以及其他社交网站,拥有大量的用户信息。技术拥有者也就是硬件公司,“他们通常是咨询公司、技术供应商或者分析公司”。比如大数据分析公司——天睿公司。最后就是思维创新者,由于很多原因,比如Facebook没有什么动力分析其用户的状态信息。而对于一些广告公司来说,用户的消费习惯和经济水平以及爱好可以让他们精准定位推送广告。思维创新的公司相当于是中介商,他们没有数据,也没有硬件条件,但是他们可以将这些部分连接起来。同时拥有这三种角色的代表是谷歌和亚马逊,但是其运营模式也有不同。具体来说,谷歌是数据化,亚马逊是数字化。(我也没有太搞懂)
在最后的管理变革中,作者表达了他对大数据时代的忧虑。最重要的一点就是人们的隐私受到侵犯。作者给出的建议是责任与自由并举。也就是让数据分析者承担风险,相关的政策也需要调整。大数据并不意味着一切,数据只是一种预测工具,并不能完全代表人类的行为,也不能替人类做决定,我们在大数据时代还是需要尊重人类的自由选择的权利。
评述:这本书给我们描画了一个崭新的时代,作者拥有这样完整的描绘能力非常棒,尤其是对于我这种没有什么想象能力和洞察能力的人来说。让我了解到还有另外的可能性存在,我们之前的研究方法可能随时处于被淘汰的状态,给我危机感,督促我伸展触角,多看几眼外面的世界。
但是同时也有问题,我质疑的一个方面就是数据的收集,个人化的全数据收集分析是否可能?为什么这种大数据时代是大公司的独有权利?我们作为研究者需要共享的话怎么样追回属于我们自己的信息?即使不是研究者,作为个人,只有依靠大公司的力量才能获得大数据,这个问题怎么解决?
据说10张PPT可以讲完,我用了这么多字
《Big Data》热门书评
-
故作惊人语的《大数据时代》
681有用 43无用 阿九 2013-08-01
花了三天的零碎时间大致看完了舍恩伯格的《大数据时代:生活、工作、思维的大变革》。我看推荐说这是“迄今为止最好的一本大数据专著”。目前公司在搞Hadoop、大数据应用,外面各类零碎的资料也非常多,那么想我应该去看一下这“最好”的专著吧。买回来看完的感觉是平平而已。个人看法,在五分制下,大概也就是最多打...
-
未知的information,已知的technology-写给未来的思维范式
132有用 4无用 Miss power 2013-02-11
两年前,还是社会学专业的我最喜欢翘的课叫做”社会统计学”,与其听着传统死板的抽样调查与回归分析,我更喜欢和一个做数据挖掘的数学系同学四处溜达。“数据挖掘(Data mining)是什么?”她跟我举了一个最简单的例子:“沃尔玛通过对超市里人们购买行为的大量数据分析,发现男人们来买啤酒的时候,通常也会买...
-
大数据时代的金融投资
104有用 7无用 eric 2013-02-13
大数据时代的金融投资思维金融数量化投资由于其巨大收益,是大数据最早应用的领域,而其也符合大数据最重要的三大思维变革:1) 不是随机样本,而是全数据。 根据作者的定义, 大数据是指不用随机分析,而采用所有数据的方法。 主要原因有二,一是当前的技术能力让人类可以处理海量的数据, 二是随机样本无法获取某些...
-
一个理工狗眼中的大数据
71有用 3无用 丧心病狂刘老湿 2014-05-10
作为一个学计算机出身的理工狗,我一直忍到自己写完论文才回过头来看这本书。此时距这书出版,已经一年有余,大数据的概念已经甚嚣尘上,无人不知了。 维克托和肯尼思在...
-
你已经体验到的大数据时代
69有用 7无用 星腾 2012-12-19
你认为什么是大数据?如果没有仔细关注过这个领域,也许这是一个很难让人轻松回答的问题,而自己之前也没有那么清晰。但对于数据的直觉和一直以来的理解,告诉自己,如果你能掌握更多的数据,其中会有很多有意思的事情发生。因为我们每个人都有数据在不断产生,而自己也在追踪着数据,习惯性地使用Manictime来记录...
书名: Big Data
作者:
出版社: Eamon Dolan/Houghton Mifflin Harcourt
副标题: A Revolution That Will Transform How We Live, Work, and Think
出版年: 2013-3-5
页数: 256
定价: USD 27.00
装帧: Hardcover
ISBN: 9780544002692