第二讲 数据预处理
2022/2/27 23:29:38
本文主要是介绍第二讲 数据预处理,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
1.认识数据
(1)数据集由数据对象构成,数据对象由属性来描述,属性的类型由属性可取的值决定
(2)标称类型,二元属性(对称,非对称),序数属性,数值属性: 离散/连续属性
(3)数据的统计描述
中心性度量: 均值,中值,众数,中位数
离散性度量: 方差,标准差,分位数
注: 分位数: 五数概括
最小值,Q1, 中值,Q3,最大值(去除离散点以后)
均值图→五数概括图
2. 数据采集
爬虫技术
3. 数据清洗
数据质量: 正确性,唯一性
正确性:
(1)完整性(完备性(模式符合性,统一性),有效性)
(2)一致性
(3)密度
唯一性:。。。
语法类,语义类
数据清洗具体技术:
数据解析方式(误差距离最近)
数据类型转换(男女→01)
数据去重
4. 数据集成
物理式,虚拟式
需要克服的困难:
异构性: 联邦数据库(需要转换再转换合并),数据仓库模式(完全合并,更新问题,增量式更新),中介者模式(查询转换,不合并))
实体解析合并方法
这篇关于第二讲 数据预处理的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-13TiDB + ES:转转业财系统亿级数据存储优化实践
- 2024-05-09“2024鸿蒙零基础快速实战-仿抖音App开发(ArkTS版)”实战课程已上线
- 2024-05-09聊聊如何通过arthas-tunnel-server来远程管理所有需要arthas监控的应用
- 2024-05-09log4j2这么配就对了
- 2024-05-09nginx修改Content-Type
- 2024-05-09Redis多数据源,看这篇就够了
- 2024-05-09Google Chrome驱动程序 124.0.6367.62(正式版本)去哪下载?
- 2024-05-09有没有大佬知道这种数据应该怎么抓取呀?
- 2024-05-09这种运行结果里的10.100000001,怎么能最快改成10.1?
- 2024-05-09企业src漏洞挖掘-有意思的命令执行