搜索结果
查询Tags标签： Spark，共有 703条记录-
基于Spark的大规模日志分析
摘要：本篇文章将从一个实际项目出发，分享如何使用 Spark 进行大规模日志分析，并通过代码演示加深读者的理解。 本文分享自华为云社区《【实战经验分享】基于Spark的大规模日志分析【上进小菜猪大数据系列】》，作者：上进小菜猪。 随着互联网的普及和应用范围的扩大，越…
2023/6/15 11:52:04 人评论 次浏览 -
数据工程 - 您将在Python和SQL之后学习的技能
SQL和Python有两个完全不同的目的，因为——SQL 用于编写针对关系数据库的查询。Python 是一种脚本语言，用于创建应用程序或运行科学和数学模块。Python 可以调用数据库提供程序，而数据库提供程序又可以调用将数据返回到应用程序的 SQL 语句。 数据工程 — 技能…
2022/11/1 23:24:54 人评论 次浏览 -
1-sparkSQL
Mongo Spark Connector Spark SQL The following code snippets can be found in SparkSQL.scala. Prerequisites Have MongoDB up and running and Spark 2.2.x downloaded. This tutorial will use the Spark Shell allowing for instant feedback. See the introductio…
2022/9/14 2:16:17 人评论 次浏览 -
Presto、Spark SQL、Hive的比较
Presto、Spark SQL、Hive的比较 1.Presto Presto只有计算分析能力但可以连接多种数据源，包括Hive，Oracle，MySQL，Kafka，MongoDB，Redis等，并且可以将多个不同数据源进行联合分析。可以通过show catalogs 命令看到Presto连接的所有数据源。 Presto是一个低延迟高并发的…
2022/9/14 2:16:16 人评论 次浏览 -
大数据学习路线
大数据学习路线一、大数据处理流程1.1 数据收集1.2 数据存储1.3 数据分析1.4 数据应用1.5 其他框架 二、学习路线2.1 语言基础2.2 Linux 基础2.3 构建工具2.4 框架学习 三、开发工具 四、结语一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包…
2022/9/13 23:16:13 人评论 次浏览 -
spark源码（七）Worker receive 方法
receive 方法其实是大量的case，分别对应处理不同的场景 case msg: RegisterWorkerResponse case SendHeartbeat case WorkDirCleanup case MasterChanged case ReconnectWorker case LaunchExecutor case executorStateChanged: ExecutorStateChan…
2022/9/13 14:16:45 人评论 次浏览 -
spark源码（二）Master recive方法
Master recive全部方法override def receive: PartialFunction[Any, Unit] = { case ElectedLeader => ...... case CompleteRecovery => ...... case RevokedLeadership => ...... case WorkerDecommissioning => ...... …
2022/9/13 1:26:08 人评论 次浏览 -
SparkStreaming中的转换算子2--有状态的转换算子updateStateByKey
将之前批次的状态保存，package SparkStreaming.transimport org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext}object ByUp…
2022/9/2 23:23:11 人评论 次浏览 -
数据源:flume采集到的端口
推送式将flume采集的数据主动推送给Spark程序，容易导致Spark程序接受数据出问题，推送式整合是基于avro端口下沉地方式完成 引入SparkStreaming和Flume整合的依赖<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_2…
2022/8/31 23:22:49 人评论 次浏览 -
spark core案例二：清洗过滤
题目描述/*** 用户的行为日志数据清洗过滤* 网站的独立访客数：一个唯一的IP地址就是一个独立访客* 1、将用户行为日志数据中的IP地址字段获取到返回一个只包含IP地址的RDD* 2、RDD中重复的IP去重* 3、RDD中的累加值*/案例object A2DataAnaly {def main(args:…
2022/8/27 6:24:37 人评论 次浏览 -
启动spark
1.启动spark命令 1. start-dfs.sh 2. start-yarn.sh 3. start-spark-all.sh 4. start-history-server.sh 5. spark-shell --master spark://node1:70772. 创建RDD数据集 1. 从现有的Scala集合创建RDD数据集parallelize(Seq, numSlices):第二个参数不用传递，代表创建的RDD…
2022/8/23 23:24:17 人评论 次浏览 -
Spark SQL内核剖析 pdf
高清扫描版下载链接：https://pan.baidu.com/s/1pxYliwHYdnd6EOHtzyQsWg 点击这里获取提取码。
2022/8/17 2:55:47 人评论 次浏览 -
05-集群提交：spark-submit脚本
结构: 命令 + 选项 + 文件 + 参数 基础选项：优先级：代码中配置【程序特有】 > 参数选项【运行模式、程序名称、资源选项】 > 配置文件【公共配置】--master：用于指定程序的运行的模式：Local、Standalone、YARN、Mesos、K8slocal[N]：使用本地模式，给定N核CPU s…
2022/8/14 23:53:42 人评论 次浏览 -
6. 从ods（贴源层）到 dwd(数据明细层)的两种处理方式（spark）-dsl
6. 从ods（贴源层）到 dwd(数据明细层)的两种处理方式（spark） 6.1 使用spark dsl 方式处理 6.1.1 注意事项 # 开启hive元数据支持，开启之后在spark中可以直接读取hive中的表，但是开启之后就不能再本地云心的了 .enableHiveSupport()# 这下脚本都是作用在dwd层，所以必…
2022/8/8 6:24:17 人评论 次浏览 -
Spark部署文档（黑马程序员资料）
Spark Local环境部署 下载地址 https://dlcdn.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz 条件PYTHON 推荐3.8 JDK 1.8Anaconda On Linux 安装 本次课程的Python环境需要安装到Linux(虚拟机)和Windows(本机)上 参见最下方, 附: Anaconda On Linux 安装 …
2022/8/5 14:23:54 人评论 次浏览
