搜索结果
查询Tags标签： df，共有 535条记录-
20204323 《Python程序设计》实验四报告
20204323 太晓梅 《Python程序设计》 实验4报告 课程：《Python程序设计》 班级： 2043 姓名： 太晓梅 学号：20204323 实验教师：王志强 实验日期：2022年5月4日 必修/选修： 公选课 1.实验要求 Python综合应用：爬虫、数据处理、可视化、机器学习、神经网络、游戏、网络…
2022/6/1 1:19:36 人评论 次浏览 -
【可视化分析案例】用python分析B站Top100排行榜数据
目录一、数据源二、数据读取三、数据概览四、数据清洗五、可视化分析5.1 相关性分析（Correlation）5.2 饼图（Pie）5.3 箱形图（Boxplot）5.4 词云图（wordcloud）六、同步讲解视频 一、数据源 之前，我分享过一期爬虫，用python爬取Top100排行榜： 最终数据结果，是这样…
2022/5/30 5:22:04 人评论 次浏览 -
Spark记录（四）：Dataset.count()方法源码剖析
因最近工作中涉及较多的Spark相关功能，所以趁周末闲来无事，研读一下Dataset的count方法。Spark版本3.2.0 1、方法入口：def count(): Long = withAction("count", groupBy().count().queryExecution) { plan =>plan.executeCollect().head.getLong(0)}可以…
2022/5/30 1:19:43 人评论 次浏览 -
Pandas:数据合并与对比
1、数据追加df.append（）df.append(self, other, ignore_index=False,verify_integrity=False, sort=False)其中：other 是它要追加的其他 DataFrame 或者类似序列内容 ignore_index 如果为 True 则重新进行自然索引 verify_integrity 如果为 True 则遇到重复索引内容时报…
2022/5/28 23:22:40 人评论 次浏览 -
【pandas官方文档-用户指南】2.数据结构简介
2.数据结构简介 本节要点：数据类型、索引和轴标签/对齐的基本行为import pandas as pd import numpy as np请记住一个基本原则:数据对齐是固有的。除非您明确地这样做，否则标签和数据之间的链接不会断开。 2.1.Series Series是一个一维标签数组，能够保存任何数据类型(整…
2022/5/27 23:19:26 人评论 次浏览 -
python学习-数据聚合与分组运算
1、groupbydf = pd.DataFrame({key1:[a,a,b,b,a],key2:[one,two,one,two,one],data1:np.random.randn(5),data2:np.random.randn(5)})df[data1].groupby(df[key1]).mean() #按key1分组，并计算data1的均值 means =df[data1].groupby([df[key1],df[key2]]).mean() #传入多个…
2022/5/27 5:20:05 人评论 次浏览 -
掌控安全学院SQL注入靶场宽字节注入
在php中，magic_quotes_gpc这个函数为on时，就开启了转义功能，另外addslashes和mysql_real_escape_string也可以实现转义功能。可转移的的内容包括：单双引号、反斜杠、NULL字符。 宽字节注入过滤原理： php发送请求到mysql时经过一次gbk编码，php会获取到数据进行魔术引…
2022/5/27 2:21:37 人评论 次浏览 -
用python合并多个csv文件
1、导入所需要的包 点击查看代码 import pandas as pd import os from tqdm import tqdm # 进度条模块2、合并多个csv文件点击查看代码 #将多个csv文件合并且保存于test.csv文件 def get_data(path):df_list = []for file in tqdm(os.listdir(path)): ##进度条file_path…
2022/5/27 1:21:09 人评论 次浏览 -
使用Pandas进行Excel读写
Excel读写（Pandas） 1、Series 一维数据，一列带索引 pandas.Series(data, index, dtype, name, copy) 一组数据、索引、数据类型、设置名称、拷贝数据（默认为False）import pandas as pda = ["Go", "Python", "C#"] myvar = pd.Series(a…
2022/5/23 23:22:56 人评论 次浏览 -
pandas
pandas 数据去重：pd.Series(list(s)).unique() ，或者set() DataFrame取行、列：数字、名称两种索引方式 取行 df[2:6] df[:3] 名字：df.loc[“A”]、df.loc[“A”:"D"]、df.loc[[“A”,"D"]] 数字：df.iloc[1]、df.iloc[1:3]、df.iloc[[1,3]] 取列 …
2022/5/23 23:21:03 人评论 次浏览 -
7. Spark SQL
1. 请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 1.1 出现原因SparkSQL的出现源于shark存在线程安全问题和维护语法补丁问题，所以将SparkSQL拿出独立发展。SparkSQL代码由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极…
2022/5/12 2:26:20 人评论 次浏览 -
7. Spark SQL
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。SparkSQL出现的原因hive是shark的前身，shark是sparkSQL的前身，sparkSQL产生的根本原因是其完全脱离了hive的限制，hive是hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序复杂性。同…
2022/5/12 2:25:59 人评论 次浏览 -
7.SparkSQL
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。为了将SQL语句转为Spark应用程序，简化编程，Spark团队开发了Shark（Hive on Spark）。但由于Shark完全按照Hive设计，难以添加新的优化；并且，Spark线程级别并行，Mapreduce进程级别并行，Spark在兼容Hive时存在…
2022/5/12 2:25:56 人评论 次浏览 -
7.Spark SQL
------------恢复内容开始------------ 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。Shark提供了类似于Hive的功能，与Hive不同的是，Shark把SQL语句转换成Spark作业，而不是MAPreduce作业。为了实现Hive的兼容，Shark重用了Hive中的Hive SQL解析、逻辑执行…
2022/5/12 2:25:52 人评论 次浏览 -
7.Spark SQL
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。为了将SQL语句转为Spark应用程序，简化编程，Spark团队开发了Shark（Hive on Spark）。但由于Shark完全按照Hive设计，难以添加新的优化；并且，Spark线程级别并行，Mapreduce进程级别并行，Spark在兼容Hive时存在…
2022/5/11 19:13:37 人评论 次浏览
