搜索结果
查询Tags标签： 算子，共有 116条记录-
Ascend C sqrt算子实战
摘要：编写一个Ascend C的sqrt算子，并通过内核调用方式在cpu和npu模式下进行验证。 本文分享自华为云社区《【2023 CANN训练营第一季】——Ascend C sqrt算子实战》，作者：dayao。 前言 编写一个Ascend C的sqrt算子，并通过内核调用方式在cpu和npu模式下进行验证。在训…
2023/6/6 18:52:19 人评论 次浏览 -
SparkStreaming中的转换算子2--有状态的转换算子updateStateByKey
将之前批次的状态保存，package SparkStreaming.transimport org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext}object ByUp…
2022/9/2 23:23:11 人评论 次浏览 -
sparkstreaming转换算子--窗口函数
window画图理解说明 countByWindow 对每个滑动窗口的数据执行count操作 reduceByWindow 对每个滑动窗口的数据执行reduce操作 reduceByKeyAndWindow 对每个滑动窗口的数据执行reduceByKey操作 countByValueAndWindow 对每个滑动窗口的数据执行countByValue操作 都需要传入…
2022/9/2 23:22:54 人评论 次浏览 -
DataFrame中的行动算子操作1
val conf = new SparkConf().setAppName("action").setMaster("local[*]") val session = SparkSession.builder().config(conf).getOrCreate()val seq: Seq[(String, Int)] = Array(("zs123456789123456789123", 20),("zs12345678912…
2022/8/30 23:23:02 人评论 次浏览 -
DataFrame中的行动算子操作2
## 修改hdfs-site.xml <property> <name>hive.metastore.warehouse.dir</name> <value>hdfs://node1:9000/user/hive/warehouse</value><description>location of default database for the warehouse</description> </prop…
2022/8/30 23:22:48 人评论 次浏览 -
DataFrame中的转换算子2
val sparkConf = new SparkConf().setMaster("local[2]").setAppName("tran") val sparkSession = SparkSession.builder().config(sparkConf).getOrCreate()val seq:Seq[Student] = Array(Student("zs",20,"男"),Student("…
2022/8/30 6:25:05 人评论 次浏览 -
DataFrame中的转换算子操作1
val sparkConf = new SparkConf().setMaster("local[2]").setAppName("tran") val sparkSession = SparkSession.builder().config(sparkConf).getOrCreate()val seq:Seq[Student] = Array(Student("zs",20,"男"),Student("…
2022/8/30 6:25:04 人评论 次浏览 -
Flink总结
Flink总结从头儿过一遍书，做了些摘要。SQL那里还没仔细复习。一、初始Flink核心目标：数据流上的有状态计算具体定位：以内存执行速度（速度快）和任意规模来执行计算（可扩展性强） -> 小松鼠快速灵巧有状态的流处理可用于许多不同场景：事件驱动型应用：以Kafka为代…
2022/8/15 6:26:31 人评论 次浏览 -
MindSpore求导传入sens值时infer报错For 'MatMul', the input dimensions
1 报错描述 1.1 系统环境 Hardware Environment(Ascend/GPU/CPU): GPUSoftware Environment:MindSpore version (source or binary): 1.7.0 Python version (e.g., Python 3.7.5): 3.7.5 OS platform and distribution (e.g., Linux Ubuntu 16.04): Ubuntu 18.04.4 LTS GC…
2022/7/16 23:49:36 人评论 次浏览 -
Spark_常用算子
Spark_常用算子 sortBy-sortBy: 指定一个字段进行排序，默认是升序, ascending = false： 降序 package com.core.day2 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext}object Demo13Sort {def main(args: Array[String]): Unit = {v…
2022/7/13 6:22:34 人评论 次浏览 -
Spark—算子—spark缓存策略
Spark—算子—spark缓存策略 转换算子和操作算子转换算子 转换算子：将一个RDD转换成另一个RDD，转换算子是懒执行，需要action算子来触发执行 操作算子 触发任务执行，一个action算子会触发一次任务执行，同时每一个action算子都会触发前面的代码执行 package com.core.d…
2022/7/13 6:22:28 人评论 次浏览 -
Spark快速上手(3)Spark核心编程-RDD转换算子
RDD(2) RDD转换算子 RDD根据数据处理方式的不同将算子整体上分为Value类型、双Value类型、Key-Value类型 value类型 map 函数签名 def map[U:ClassTag](f:T=>U):RDD[U] 函数说明 将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换 e.g.1val…
2022/7/2 14:21:03 人评论 次浏览 -
RocketMQ-Streams架构设计浅析
*作者：倪泽，RocketMQ 资深贡献者， RocketMQ-Streams 维护者之一，阿里云技术专家。 * RocketMQ-Streams 是一款轻量级流处理引擎，应用以SDK 的形式嵌入并启动，即可进行流处理计算，不依赖于其他组件，最低1核1G可部署，在资源敏感场景具有很大优势。同时它支持 UTF/U…
2022/4/6 23:19:59 人评论 次浏览 -
第五章_Spark核心编程_Rdd_闭包检测&对象序列化
1. 说明/*闭包检查*//** 1. Scala的闭包* 如果一个函数,访问了它外部的(局部)变量的值,那么这个函数和所处的环境,称之为闭包* 使用场景 :* 在嵌套函数中,内层函数可以 只用外层函数的任意变量** 2. Spark的闭包* 1. 算子之外的代码都是在Driver端执行…
2022/4/1 9:19:25 人评论 次浏览 -
Flink到底是怎么把你的程序抽象的？
导读： 大家好我是胖子，我想我们大家都知道Flink是有状态的实时计算引擎，很多人不理解一个计算引擎应该怎么做呢，其实这就涉及到了Flink的核心，也就是它的应用程序抽象，我们都知道Flink会将我们编写的程序来进行转换成一个图，接着会进行优化，以及转换成一些可执行的…
2022/3/20 20:28:30 人评论 次浏览
