央视“科技盛典2015年科技创新人物”中最引人注目的就是27岁当上教授的电子科技大学的周涛。他现在潜心研究大数据,为的是让中国在此新技术上不落后于外国。他甚至还翻译了大数时代预言家作著的书,名为《大数据时代》。书中引用了大量的例子,一点也不枯燥乏味。除了在一些概念上略显生涩,翻译没有见到英语语言的啰嗦,是本可以精读的书籍。全书以三方面讲述大数据时代给我们带来的变革,分别为思维变革(更多、更杂和更好)、商业变革(数据化、价值和角色定位)和管理变革(风险和掌控)。下面我就来说说这本书带给我思想上的变革。
大数据的兴起是因为2009年甲型H1N1流感的爆发。疾病预防与控制中心统计流感发生的信息的速度,竟然不如谷歌这一家互联网公司。谷歌正是利用人们在网上搜索“流感”相关词条频率和地域,预测出流感的源头。这种方法比起传统的方法,更准确和高效。这就是大数据——以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。
大数据与三个重大的思维转变有关。平时我们分析数据都是提取少量样本,算出数据越精确越好,并且找寻样本与结论之前的因果联系。但大数据改变了这些。首先,它要分析与事物相关的所有数据;其次,我们要乐于接受数据的纷繁复杂;最后,我们要关注事物的相关关系。随机采样需要严密的安排和执行。人们只能从采样数据中得出事先设计好的问题的结果,但不能奢求采样数据能回答其他问题。这种调查结果缺乏延展性。所以大数据采用所有数据的方法。大数据不仅让我们不再期待精确性,也让我们无法实现精确性。当数据规模变大的时候,确切的数据已经不那么重要了。错误并不是大数据固有的特性,而是一个亟待解决的现实问题,并且有可能长期存在。因果关系思维是一种比较费力的慢性思维,而相关关系思维却是一种快速思维,更适用于这个快速发展的社会。但是,我个人觉得,因果关系思维必不可少,很多发现都是运用了因果思维方法。
大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见,但是如今的信息技术变革的重点在“T”(技术)上,而不是在“I”(信息)上。其实远在19世纪就有美国海军军官收集日期、位置、风向以及当时洋流情况绘制航海图。可见远在信息数字化之前,对数据的运用就已经开始了。计量和记录一起促成了数据的诞生,它们是数据化最早的根基。文字、方位、沟通甚至世间万物都可以数据化。有了大数据的帮助,我们不会再将世界看作是一连串我们认为或是自然或是社会现象的事件,我们会意识到本质上世界是由信息构成的。
数据的价值在于数据可以被再利用,数据还可以被扩展,重组数据、旧的数据、免费的开放数据也有其价值,还有那些记录浏览了哪些页面、停留了多久、鼠标光标停留的位置、输入了什么信息等叫做数据废气的数据也不乏价值。Facebook上市前一晚,每股定价38美元,总估值1040亿美元,而其资产为66亿美元。这其中巨大的差异,恰恰就是数据的价值。
大数据的价值链由三方组成,拥有数据方、分析数据方和提供算法方。布拉德福德的FlightCaster致力于预测航班是否会晚点。它主要基于分析过去十年里每个航班的情况,然后将其与过去和现实的天气情况进行匹配。数据拥有者没有使用数据的动机和强制要求。如果美国运输统计局、美国联邦航空局和美国天气服务数据的拥有者要将航班晚点预测用作商业用途,国会可能就会举办听证会并否决这个提议。航空公司也不会这么做,因为这些数据所表达的信息越隐蔽对他们越有利。这恰恰就是大数据思维公司和个人提供的算法。
大数据时代我们面临很多风险,首当其冲是隐私问题。因为数据可能被二次利用,我们无法提前告诉个人。收集到的数据越来越多,来源越来越广,我们也无法匿名。因为无论怎么匿名,数据的精确性都能定位到个人。大数据帮我们规避了“画像”的缺点,不会直接将群体特征强加于个人。但在预测犯罪时,人们只是将做却不是所做,并没有犯罪。另外要避免的是数据独裁。只要是得到了合理的利用,而不单纯是为了“数据”而“数据”,大数据就会变成强大的武器。
为了避免这些风险,我们应采用以下管理变革:一是个人隐私保护,从个人许可到让数据使用者承担责任;二是个人可以并应该为他们的行为而并非倾向负责;三是大数据算法师崛起,分为外部算法师和内部算法师(个人理解一个是外部咨询数据相关,一个是内部保护数据);四是反数据垄断。
结合了一下实际,觉得不妨把这种大数据思维带入实际的工作中。我们恰恰可以成为数据的拥有者,我们可以把相关数据有偿提供给数据分析者以赚取利润。或者又可以分析这些数据提高业务水平。就如饲料业务,我们可以根据不同饲料购买方收集数据。对于养殖户,根据他购买饲料的时间和数量分析其养殖的情况,预测需要的饲料,主动送上门。对于分销商,也可以根据他往年的销售情况,提供其需要的饲料品种和数量。这只是大数据一个很简单的应用。如果把数据二次开发,说不定我们还会发现什么。
大数据时代的变革
《Big Data》热门书评
-
故作惊人语的《大数据时代》
681有用 43无用 阿九 2013-08-01
花了三天的零碎时间大致看完了舍恩伯格的《大数据时代:生活、工作、思维的大变革》。我看推荐说这是“迄今为止最好的一本大数据专著”。目前公司在搞Hadoop、大数据应用,外面各类零碎的资料也非常多,那么想我应该去看一下这“最好”的专著吧。买回来看完的感觉是平平而已。个人看法,在五分制下,大概也就是最多打...
-
未知的information,已知的technology-写给未来的思维范式
132有用 4无用 Miss power 2013-02-11
两年前,还是社会学专业的我最喜欢翘的课叫做”社会统计学”,与其听着传统死板的抽样调查与回归分析,我更喜欢和一个做数据挖掘的数学系同学四处溜达。“数据挖掘(Data mining)是什么?”她跟我举了一个最简单的例子:“沃尔玛通过对超市里人们购买行为的大量数据分析,发现男人们来买啤酒的时候,通常也会买...
-
大数据时代的金融投资
104有用 7无用 eric 2013-02-13
大数据时代的金融投资思维金融数量化投资由于其巨大收益,是大数据最早应用的领域,而其也符合大数据最重要的三大思维变革:1) 不是随机样本,而是全数据。 根据作者的定义, 大数据是指不用随机分析,而采用所有数据的方法。 主要原因有二,一是当前的技术能力让人类可以处理海量的数据, 二是随机样本无法获取某些...
-
一个理工狗眼中的大数据
71有用 3无用 丧心病狂刘老湿 2014-05-10
作为一个学计算机出身的理工狗,我一直忍到自己写完论文才回过头来看这本书。此时距这书出版,已经一年有余,大数据的概念已经甚嚣尘上,无人不知了。 维克托和肯尼思在...
-
你已经体验到的大数据时代
69有用 7无用 星腾 2012-12-19
你认为什么是大数据?如果没有仔细关注过这个领域,也许这是一个很难让人轻松回答的问题,而自己之前也没有那么清晰。但对于数据的直觉和一直以来的理解,告诉自己,如果你能掌握更多的数据,其中会有很多有意思的事情发生。因为我们每个人都有数据在不断产生,而自己也在追踪着数据,习惯性地使用Manictime来记录...
书名: Big Data
作者:
出版社: Eamon Dolan/Houghton Mifflin Harcourt
副标题: A Revolution That Will Transform How We Live, Work, and Think
出版年: 2013-3-5
页数: 256
定价: USD 27.00
装帧: Hardcover
ISBN: 9780544002692