干净的数据：数据清洗入门与实践[试读]

大数据、数据挖掘、机器学习和可视化，近来计算界的几件大事好像总也绕不开数据这个主角。从统计学家到软件开发人员，再到图形设计师，一下子所有人都对数据科学产生了兴趣。便宜的硬件、可靠的处理工具和可视化工具，以及海量的免费数据，这些资源的汇集使得我们能够比以往任何一个时期更加精准地、轻松地发现趋势、预测未来。 不过，你可能还未听说过的是，数据科学的这些希望与梦想都建立在乱七八糟的数据之上。在正式应用于我们认为是数据科学的核心的算法和可视化之前，这些数据往往需要经过迁移、压缩、清洗、打散、分片、分块以及其他多种转换处理。 本章内容将涵盖以下几个方面：  关于数据科学的六个简单处理步... 查看全部[ 1.1　新视角 ]

数据清洗是如何融入数据科学中的呢？简短的回答就是，清洗工作是关键的一步，它直接影响在它之前和之后的处理工作。 稍微长一些的回答就得围绕数据科学过程的六个步骤来描述了，请看下面的列表。数据清洗正好处于中间的位置，第三步。但是，请不要以纯线性方式看待这些步骤，简单地认为这是一个从头到尾执行的框架，其实在项目的迭代过程中，我们会根据具体情况，反复执行这些步骤。另外还需要指出的是，并不是每一个项目都会包含列表中所有的步骤。举个例子，有时候我们并不需要数据收集或可视化步骤。这完全取决于项目的实际情况。 (1) 第一步是问题陈述。识别出你要解决的问题是什么。 (2) 接下来要做的是数据收... 查看全部[ 1.2　数据科学过程 ]

六步处理过程是围绕着问题和解决方案这个故事线组织的，因此，在作为报表框架使用时，它的表现十分优秀。如果你已经决定使用六步框架来实现数据科学过程报表，将发现只有到了第三步你才会真正开始进行与清洗有关的工作。 哪怕你并不需要把数据科学过程制成正式的报告文档，你仍然会发现，认真地记录下曾经按什么顺序做了些什么事情，对以后的工作也是极有帮助的。 请记住，哪怕是规模再小、风险再低的项目，你也要面对至少两人规模的受众：现在的你和六个月之后的你。请相信我说的话，因为六个月之后的你基本上不会记得今天的你做过什么样的清洗工作，也不记得其中的缘由，更谈不上如何重新再做一次。 要解决这个问题，最简... 查看全部[ 1.3　传达数据清洗工作的内容 ]

本书中涉及的数据清洗方法是通用的，适用范围非常广泛。你不需要任何高端专业的数据库产品或是数据分析产品（事实上，这些厂商和产品可能已经提供了数据清洗程序或是解决方法）。我围绕数据处理过程中的常见问题，设计了本书中的清洗教程。而我要展示的都是适用范围较为广泛的开源软件和技术，它们很容易在实际工作中获得和掌握。 下面列出了你需要准备的工具和技术。  几乎在每一章中，我们都会用到终端窗口和命令行界面，比如Mac OS X上的Terminal程序或者是Linux系统上的bash程序。而在Windows上，有些命令可以通过Windows的命令提示符运行，但其他的命令则需要通过功能更强的命令行... 查看全部[ 1.4　数据清洗环境 ]

准备好了吗？现在让我们磨好手里的厨刀并结合六步框架来解决一些简单的数据清洗问题吧。这个例子会用到对公众开放的安然（Enron）公司电子邮件数据集。这是一个非常有名的数据集，当中所有的往来邮件都源自现已停业的安然公司前雇员。作为美国政府调查安然公司账目欺诈的一部分，雇员之间的邮件已被公开并可供任何人下载。来自各个领域的研究人员已经发现，这些邮件有助于研究商务沟通、社交网络等问题。 你可以在维基百科http://en.wikipedia.org/wiki/Enron上阅读更多关于安然公司和导致它破产的金融丑闻。在另外一个页面http://en.wikipedia.org/wiki/Enro... 查看全部[ 1.5　入门示例 ]

当所有工作全都做完的时候，事实印证了《纽约时报》的报道。我们从这个简单的练习中可以看出，即便是回答一个小小的数据问题，数据清洗就占了整个过程80%的工作量（在这个全文共计900个单词的案例中，光是谈论数据清洗的基本原理和方案就用了700个单词） 。数据清洗的的确确是数据科学过程的关键部分，它不仅涉及对技术问题的理解，同时还要求我们做出相应的价值判断。作为数据清洗工作的一部分，我们甚至需要在尚未完成分析与可视化步骤的时候，预先考虑它们的输出结果将是什么样子。 重新审视数据清洗在这一章的工作中所扮演的角色，我们很容易发现，清洗效果的提升能够大幅减少后续处理的时间。 在接下来的一章里，我... 查看全部[ 1.6　小结 ]