首页 > 代码库 > 优达学城数据分析师纳米学位——P3项目知识点整理及代码分析

优达学城数据分析师纳米学位——P3项目知识点整理及代码分析

 P3 OpenStreetMap 项目思路整理

P3项目的核心在于数据的整理 data cleaning 数据清洗,数据来源于开源的OpenStreetMap平台,该平台上的很多数据都是开发者自行输入的,难免会造成数据的混乱和缺失,错误,也就是所说的dirty data 脏数据 human involved

data cleaning的关注点 validity completeness accuracy consistency uniformity 

validity 有效性 数据是否符合常理 人名不应该是数字

completeness 完整性 数据记录表格中的数据是否记录完整

accuracy 准确性  数据是否符合实际情况 一个国家的人口值,国土面积

consistency 一致性

uniformity 统一性  单位是否统一

项目评估准则 中的地图中遇到的问题:

举例 :使用蓝图的实例中  使用编写的audit()函数来统计道路名称的种类  代码使用了cElementTree 正则表达式(正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配)

技术分享

图1. 统计所用的audit()函数代码

 

技术分享

 

图2. 部分统计结果

 

XML (Extensible Markup Language)数据处理基础: 

1. XML 与 HTML 关系: XML用来存储和传输数据 HTML用来展示数据 (XML可以自定义标签,具备自我描述性)

             XML将数据从HTML文件中分离出来,简化数据的传输,共享,更新

 

技术分享

一个XML文件的示例 简单的一个便签文本

标签是处理的核心,读懂标签就能够对数据进行整理分类

 

 技术分享

树形结构文档 根元素,子元素,元素的属性

技术分享

shil

技术分享

 

构建http请求:待完成

 

优达学城数据分析师纳米学位——P3项目知识点整理及代码分析