搜索结果
查询Tags标签： pipeline，共有 92条记录-
04--Redis安装配置、原生命令、Redis高级：慢查询、事务、位图、HyperLogLog、GEO
redis内容 1 redis安装配置2 5大数据类型操作3 通用指令4 高级数据类型BitMaps位图HyperLogLog 超小内存唯一值计数 # 与布隆过滤器类似GEO地理位置信息5 功能丰富：pipeline事务Luau脚本发布订阅(消息)6 持久化：rdb和aof7 主从复制 （一主一从，一主多从） # 支持主服…
2022/9/8 2:23:16 人评论 次浏览 -
ElasticSearch聚合之管道聚合（Pipeline Aggregation）
管道聚合 让上一步聚合的结果作为下一个聚合的输入，类似stream()流的操作，当不上终结操作时，每次操作的流都作为下次操作的输入 管道类型有很多种不同类型，每种类型都与其他聚合计算不同的信息，但是可以将这些类型分为两类父级 父级聚合的输出提供了一组管道聚合，它…
2022/9/7 23:25:14 人评论 次浏览 -
python使用pipeline批量读写redis的方法
1.插入数据 1. >>> import redis 2. 3. >>> conn = redis.Redis(host=192.168.8.176,port=6379) 4. 5. >>> pipe = conn.pipeline() 6. 7. >>> pipe.hset("hash_key","leizhu900516",8) 8. Pipeline<Co…
2022/7/7 2:23:01 人评论 次浏览 -
使用管道模式（pipeline）处理数据 Python
1. 什么是pipeline 管道一词，对于熟悉linux的人来说并不陌生，在shell编程时，把若干个命令连接起来，前一个命令的输出是后一个命令的输入，最终完成一个流失计算。这是一种优秀的设计思想，你可以在大数据流失计算上找到相同的操作，python也可以实现这样的计算方法。 …
2022/7/7 1:20:16 人评论 次浏览 -
详细图解 Netty Reactor 启动全流程 | 万字长文 | 多图预警
本系列Netty源码解析文章基于 4.1.56.Final版本大家第一眼看到这幅流程图，是不是脑瓜子嗡嗡的呢？大家先不要惊慌，问题不大，本文笔者的目的就是要让大家清晰的理解这幅流程图，从而深刻的理解Netty Reactor的启动全流程，包括其中涉及到的各种代码设计实现细节。在上篇…
2022/7/5 0:00:28 人评论 次浏览 -
spark streaming整合kafka中聚合类运算如何和kafka保持exactly once一致性语义（redis方式，利用pipeline）
/*** 从Kafka读取数据，实现ExactlyOnce，偏移量保存到Redis中* 1.将聚合好的数据，收集到Driver端，* 2.然后将计算好的数据和偏移量在一个pipeline中同时保存到Redis中* 3.成功了提交事物* 4.失败了废弃原来的数据并让这个任务重启*/ object ExactlyOnceWordCountOffset…
2022/4/6 2:19:25 人评论 次浏览 -
jenkins控制库连接后-数据备份
jenkins控制库连接后-数据备份接上文：jenkins控制库连接（https://www.cnblogs.com/windysai/p/16079301.html）上文提到，如果测试人员测试流程，会借用到临时库来存放开发库的数据，测完之后是想备份起来的，以便恢复某个测试状态。这个看着简单很多，根据选项参数去做…
2022/3/31 23:19:44 人评论 次浏览 -
python流式Pipeline串联处理数据流程
最近需要清洗一批数据，涉及到好几个流程，以前的方式是所有数据处理完一步后再进行下一步，这种方式也能很好的完成需求。 最近发现了一个python的PipeLine库 fastcore 里面有个pipeline模块，正好满足我的需求 from fastcore.transform import Pipeline 通过以上方式…
2022/3/8 12:14:45 人评论 次浏览 -
pytorch文本任务pipeline
文章目录 1. 读取文本数据制作成pytorch专用数据集2. 对句子进行分词得到词库3. 构建DataLoadarhttps://pytorch.org/tutorials/beginner/text_sentiment_ngrams_tutorial.htmlhttps://github.com/lankuohsing/pytorch-study/tree/main/utils/text_pipline1. 读取文本数据…
2022/3/2 23:46:46 人评论 次浏览 -
MongoDB 聚合管道（Aggregation Pipeline）
MongoDB 聚合管道（Aggregation Pipeline） 使用聚合管道可以对集合中的文档进行 变换 和 组合 实际项目中用途：表关联查询，数据的统计 常用的管道操作符 管道操作 描述(description)1.$project 增加，删除，重命名字段2.$match …
2022/3/2 19:19:28 人评论 次浏览 -
持续集成：Jenkins Pipeline语法介绍
Pipeline在Unix/Linux系统中经常用到，Pipeline将一个命令/程序/进程的输出发送到另一个命令/程序/进程，以进行进一步处理。比如：cat test.txt | grep test1。Jenkins 中的Pipeline借用了Unix/Linux中的 Pipeline思路，实现像流水线一样来调度Jenkins任务，通过Jenkinsf…
2022/3/1 23:22:42 人评论 次浏览 -
通用接口开放平台设计与实现——（38）消息服务之复用消息处理器
今天我们来做一个优化，即实现消息处理器的复用，注意这里的复用，不是指同一个消息处理器在消息的客户端和服务端进行复用，而是指在多个消息通道中复用。 回顾下我们消息处理器装配的过程，代码实现如下：/*** 初始化channel*/@Overridepublic void initChannel(Sock…
2022/2/12 23:46:38 人评论 次浏览 -
PostgreSQL14新特性--Pipeline Mode
libpq管道模式允许应用程序发送查询，而无需读取先前发送的查询的结果。利用管道模式，客户端将减少对服务器的等待，因为可以在单个网络事务中发送/接收多个查询/结果。 虽然管道模式提供了显著的性能提升，但使用管道模式编写客户端更加复杂，因为它涉及管理待处理查询的…
2022/2/11 2:12:42 人评论 次浏览 -
Castled 源码解析 - container 模块说明
container 属于Castled api 后端服务，后端包含了任务调度，db 迁移，有几个服务是比较重要的 主要是pipelineservice，ExternalAppService，WarehouseService，而且官方还提供了一套基于events 的处理 主要包含PipelineEvent,CastledEvent,其他的主要是基于dropwizard …
2022/2/1 14:59:53 人评论 次浏览 -
Netty学习笔记(4) Netty源码 - accept 和 read流程
文章目录 前言1. nio中的accept回顾2. netty中的accept流程1. int localRead = doReadMessages(readBuf)2. pipeline.fireChannelRead(readBuf.get(i))1. childGroup.register(child).addListener(new ChannelFutureListener()3. netty 中的 read 流程前言 笔记基于黑马的…
2022/1/30 14:04:53 人评论 次浏览
