干净的数据：数据清洗入门与实践

第1章 　为什么需要清洗数据1

1.1 　新视角1

1.2 　数据科学过程2

1.3 　传达数据清洗工作的内容3

1.4 　数据清洗环境4...

第1章 　为什么需要清洗数据1

1.1 　新视角1

1.2 　数据科学过程2

1.3 　传达数据清洗工作的内容3

1.4 　数据清洗环境4

1.5 　入门示例5

1.6 　小结9

第2章 　基础知识——格式、 类型与编码11

2.1 　文件格式11

2.1.1 　文本文件与二进制文件11

2.1.2 　常见的文本文件格式14

2.1.3 　分隔格式14

2.2 　归档与压缩20

2.2.1 　归档文件20

2.2.2 　压缩文件21

2.3 　数据类型、空值与编码24

2.3.1 　数据类型25

2.3.2 　数据类型间的相互转换29

2.3.3 　转换策略30

2.3.4 　隐藏在数据森林中的空值37

2.3.5 　字符编码41

2.4 　小结46

第3章 　数据清洗的老黄牛——电子表格和文本编辑器47

3.1 　电子表格中的数据清洗47

3.1.1 　Excel的文本分列功能47

3.1.2 　字符串拆分51

3.1.3 　字符串拼接51

3.2 　文本编辑器里的数据清洗54

3.2.1 　文本调整55

3.2.2 　列选模式56

3.2.3 　加强版的查找与替换功能56

3.2.4 　文本排序与去重处理58

3.2.5 　Process Lines Containing60

3.3 　示例项目60

3.3.1 　第一步：问题陈述60

3.3.2 　第二步：数据收集60

3.3.3 　第三步：数据清洗61

3.3.4 　第四步：数据分析63

3.4 　小结63

第4章 　讲通用语言——数据转换64

4.1 　基于工具的快速转换64

4.1.1 　从电子表格到CSV65

4.1.2 　从电子表格到JSON65

4.1.3 　使用phpMyAdmin从SQL

语句中生成CSV或JSON67

4.2 　使用PHP实现数据转换69

4.2.1 　使用PHP实现SQL到JSON的数据转换69

4.2.2 　使用PHP实现SQL到CSV的数据转换70

4.2.3 　使用PHP实现JSON到CSV的数据转换71

4.2.4 　使用PHP实现CSV到JSON的数据转换71

4.3 　使用Python实现数据转换72

4.3.1 　使用Python实现CSV到JSON的数据转换72

4.3.2 　使用csvkit实现CSV到JSON的数据转换73

4.3.3 　使用Python实现JSON到CSV的数据转换74

4.4 　示例项目74

4.4.1 　第一步：下载GDF格式的Facebook数据75

4.4.2 　第二步：在文本编辑器中查看GDF文件75

4.4.3 　第三步：从GDF格式到JSON格式的转换76

4.4.4 　第四步：构建D3图79

4.4.5 　第五步：把数据转换成Pajek格式81

4.4.6 　第六步：简单的社交网络分析83

4.5 　小结84

第5章 　收集并清洗来自网络的数据85

5.1 　理解HTML页面结构85

5.1.1 　行分隔模型86

5.1.2 　树形结构模型86

5.2 　方法一：Python和正则表达式87

5.2.1 　第一步：查找并保存实验用的Web文件88

5.2.2 　第二步：观察文件内容并判定有价值的数据88

5.2.3 　第三步：编写Python程序把数据保存到CSV文件中89

5.2.4 　第四步：查看文件并确认清洗结果89

5.2.5 　使用正则表达式解析HTML的局限性90

5.3 　方法二：Python和BeautifulSoup90

5.3.1 　第一步：找到并保存实验用的文件90

5.3.2 　第二步：安装BeautifulSoup91

5.3.3 　第三步：编写抽取数据用的Python程序91

5.3.4 　第四步：查看文件并确认清洗结果92

5.4 　方法三：Chrome Scraper92

5.4.1 　第一步：安装Chrome扩展Scraper92

5.4.2 　第二步：从网站上收集数据92

5.4.3 　第三步：清洗数据94

5.5 　示例项目：从电子邮件和论坛中抽取数据95

5.5.1 　项目背景95

5.5.2 　第一部分：清洗来自Google Groups电子邮件的数据96

5.5.3 　第二部分：清洗来自网络论坛的数据99

5.6 　小结105

第6章 　清洗PDF文件中的数据106

6.1 　为什么PDF文件很难清洗106

6.2 　简单方案——复制107

6.2.1 　我们的实验文件107

6.2.2 　第一步：把我们需要的数据复制出来108

6.2.3 　第二步：把复制出来的数据粘贴到文本编辑器中109

6.2.4 　第三步：轻量级文件110

6.3 　第二种技术——pdfMiner111

6.3.1 　第一步：安装pdfMiner111

6.3.2 　第二步：从PDF文件中提取文本111

6.4 　第三种技术——Tabula113

6.4.1 　第一步：下载Tabula113

6.4.2 　第二步：运行Tabula113

6.4.3 　第三步：用Tabula提取数据114

6.4.4 　第四步：数据复制114

6.4.5 　第五步：进一步清洗114

6.5 　所有尝试都失败之后——第四种技术115

6.6 　小结117

第7章 　RDBMS清洗技术118

7.1 　准备118

7.2 　第一步：下载并检查Sentiment140119

7.3 　第二步：清洗要导入的数据119

7.4 　第三步：把数据导入MySQL120

7.4.1 　发现并清洗异常数据121

7.4.2 　创建自己的数据表122

7.5 　第四步：清洗&字符123

7.6 　第五步：清洗其他未知字符124

7.7 　第六步：清洗日期125

7.8 　第七步：分离用户提及、标签和URL127

7.8.1 　创建一些新的数据表128

7.8.2 　提取用户提及128

7.8.3 　提取标签130

7.8.4 　提取URL131

7.9 　第八步：清洗查询表132

7.10 　第九步：记录操作步骤134

7.11 　小结135

第8章 　数据分享的最佳实践136

8.1 　准备干净的数据包136

8.2 　为数据编写文档139

8.2.1 　README文件139

8.2.2 　文件头141

8.2.3 　数据模型和图表142

8.2.4 　维基或CMS144

8.3 　为数据设置使用条款与许可协议144

8.4 　数据发布146

8.4.1 　数据集清单列表146

8.4.2 　Stack Exchange上的Open Data147

8.4.3 　编程马拉松147

8.5 　小结148

第9章 　Stack Overflow项目149

9.1 　第一步：关于Stack Overflow的问题149

9.2 　第二步：收集并存储Stack Overflow数据151

9.2.1 　下载Stack Overflow数据151

9.2.2 　文件解压152

9.2.3 　创建MySQL数据表并加载数据152

9.2.4 　构建测试表154

9.3 　第三步：数据清洗156

9.3.1 　创建新的数据表157

9.3.2 　提取URL并填写新数据表158

9.3.3 　提取代码并填写新表159

9.4 　第四步：数据分析161

9.4.1 　哪些代码分享网站最为流行161

9.4.2 　问题和答案中的代码分享网站都有哪些162

9.4.3 　提交内容会同时包含代码分享URL和程序源代码吗165

9.5 　第五步：数据可视化166

9.6 　第六步：问题解析169

9.7 　从测试表转向完整数据表169

9.8 　小结170

第10章 　Twitter项目171

10.1 　第一步：关于推文归档数据的问题171

10.2 　第二步：收集数据172

10.2.1 　下载并提取弗格森事件的

数据文件173

10.2.2 　创建一个测试用的文件174

10.2.3 　处理推文ID174

10.3 　第三步：数据清洗179

10.3.1 　创建数据表179

10.3.2 　用Python为新表填充数据180

10.4 　第四步：简单的数据分析182

10.5 　第五步：数据可视化183

10.6 　第六步：问题解析186

10.7 　把处理过程应用到全数据量（非测试用）数据表186

10.8 　小结187

数据清洗是如何融入数据科学中的呢？简短的回答就是，清洗工作是关键的一步，它直接影响在它之前和之后的处理工作。 稍微长一些的回答就得围绕数据科学过程的六个步骤来描述了，请看下面的列表。数据清洗正好处于中间的位置，第三步。但是，请不要以纯线性方式看待这些步骤，简单地认为这是一个从头到尾执行的框架，其实在项目的迭代过程中，我们会根据具体情况，反复执行这些步骤。另外还需要指出的是，并不是每一个项目都...

(查看全部试读)