搜索结果
查询Tags标签： dataframe，共有 460条记录-
1.Pandas是什么
Pandas 是一个开源的第三方 Python 库，从 Numpy 和 Matplotlib 的基础上构建而来，享有数据分析“三剑客之一”的盛名（NumPy、Matplotlib、Pandas）。Pandas 已经成为 Python 数据分析的必备高级工具，它的目标是成为强大、灵活、可以支持任何编程语言的数据分析工具。 …
2022/8/4 23:24:38 人评论 次浏览 -
Python: panda
import pandas as pddf = pd.DataFrame(data={id: [1, 2, 3], name: [a, b, c]}) print(df) df.to_excel(z.xlsx) import pandas as pddf = pd.DataFrame(data={id: [1, 2, 3], name: [a, b, c]}) df = df.set_index(id) print(df) df.to_excel(z.xlsx) import pandas as …
2022/7/31 1:25:20 人评论 次浏览 -
spark sql 概述
目录sparkspark sqlDataFrame使用方法 spark基于内存的计算引擎，计算速度非常快，但是只涉及数据的计算，没有涉及数据的存储。spark sqlSpark sql不仅仅支持sql操作，还提供了例如外部数据源，以及各种优化 spark sql不仅提供了sql的api，还提供了DataFrame和Dataset的a…
2022/7/27 2:24:01 人评论 次浏览 -
大数据综合项目设计.考试复习题
一、选择题 1. 对文件进行归档的命令为 D 。 A. dd B. cpio C. gzip D. tar 2. 改变文件所有者的命令为 C 。 A. chmod B. touch C. chown D. cat 3. 在给定文件中查找与设定条件相符字符串的命令为 A 。 A. grep B. gzip C. find D. sort 4. 建立一个新文件可以使用的命…
2022/7/22 23:30:43 人评论 次浏览 -
python dataframe 一行变多行
python代码报错： DataFrame object has no attribute explode 原因是pandas版本低于0.25，在0.25以上才有explode函数，所一不想升级的可以自己拆分 没有explode 原始数据： import pandas as pd df = pd.DataFrame({country: [China,US,Japan, Japan,EU,Australia,Austr…
2022/7/6 14:21:34 人评论 次浏览 -
20220703 爬虫&数据处理
1、 昨天已经获取到数据，今天发现dataframe数据单列数据存储在一行中，分列不太好分，我上网查了下。从列表转换为dataframe，正常是存储为一行，需要转置下发现确实变成逗号分开的形式了。代码如下：data = get_data() df = pd.DataFrame(data=[data],index=[a]).T prin…
2022/7/3 23:23:08 人评论 次浏览 -
python数据处理：获取Dataframe中的一列或一行
解决方案 df[w] #选择表格中的w列，使用类字典属性,返回的是Series类型df.w #选择表格中的w列，使用点属性,返回的是Series类型df[[w]] #选择表格中的w列，返回的是DataFrame属性data[0:2] #返回第1行到第2行的所有行，前闭后开，包括前不包括后data[1:2] #返回第2…
2022/6/23 1:22:10 人评论 次浏览 -
7.Spark SQL
未交原因：忘记交了1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。spark出现的目的是为了替代Mapreduce，解决Mapreduce计算短板。我们知道最初的计算框架叫 mapreduce，他的缺点是计算速度慢，还有一个就是代码比较麻烦，所以有了 hive；hive 是把类 sql 的语…
2022/6/7 2:20:59 人评论 次浏览 -
Python pandas 通过字段部分匹配合并连接两个DataFrame
本文主要介绍Python中，使用pandas通过字段的部分匹配，来连接合并两个 DataFrame的方法，以及相关的示例代码。 原文地址：Python pandas 通过字段部分匹配合并连接两个DataFrame
2022/5/31 1:22:34 人评论 次浏览 -
Pandas:数据合并与对比
1、数据追加df.append（）df.append(self, other, ignore_index=False,verify_integrity=False, sort=False)其中：other 是它要追加的其他 DataFrame 或者类似序列内容 ignore_index 如果为 True 则重新进行自然索引 verify_integrity 如果为 True 则遇到重复索引内容时报…
2022/5/28 23:22:40 人评论 次浏览 -
【pandas官方文档-用户指南】2.数据结构简介
2.数据结构简介 本节要点：数据类型、索引和轴标签/对齐的基本行为import pandas as pd import numpy as np请记住一个基本原则:数据对齐是固有的。除非您明确地这样做，否则标签和数据之间的链接不会断开。 2.1.Series Series是一个一维标签数组，能够保存任何数据类型(整…
2022/5/27 23:19:26 人评论 次浏览 -
使用Pandas进行Excel读写
Excel读写（Pandas） 1、Series 一维数据，一列带索引 pandas.Series(data, index, dtype, name, copy) 一组数据、索引、数据类型、设置名称、拷贝数据（默认为False）import pandas as pda = ["Go", "Python", "C#"] myvar = pd.Series(a…
2022/5/23 23:22:56 人评论 次浏览 -
pandas
pandas 数据去重：pd.Series(list(s)).unique() ，或者set() DataFrame取行、列：数字、名称两种索引方式 取行 df[2:6] df[:3] 名字：df.loc[“A”]、df.loc[“A”:"D"]、df.loc[[“A”,"D"]] 数字：df.iloc[1]、df.iloc[1:3]、df.iloc[[1,3]] 取列 …
2022/5/23 23:21:03 人评论 次浏览 -
7. Spark SQL
1. 请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 1.1 出现原因SparkSQL的出现源于shark存在线程安全问题和维护语法补丁问题，所以将SparkSQL拿出独立发展。SparkSQL代码由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极…
2022/5/12 2:26:20 人评论 次浏览 -
7. Spark SQL
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。SparkSQL出现的原因hive是shark的前身，shark是sparkSQL的前身，sparkSQL产生的根本原因是其完全脱离了hive的限制，hive是hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序复杂性。同…
2022/5/12 2:25:59 人评论 次浏览
