搜索结果
查询Tags标签： pipeline，共有 92条记录-
Apache Beam入门及Java SDK开发初体验
1 什么是Apache Beam Apache Beam是一个开源的统一的大数据编程模型，它本身并不提供执行引擎，而是支持各种平台如GCP Dataflow、Spark、Flink等。通过Apache Beam来定义批处理或流处理，就可以放在各种执行引擎上运行了。目前支持的SDK语言也很丰富，有Java、Python、Go…
2021/10/17 12:09:27 人评论 次浏览 -
Apache Beam入门及Java SDK开发初体验
1 什么是Apache Beam Apache Beam是一个开源的统一的大数据编程模型，它本身并不提供执行引擎，而是支持各种平台如GCP Dataflow、Spark、Flink等。通过Apache Beam来定义批处理或流处理，就可以放在各种执行引擎上运行了。目前支持的SDK语言也很丰富，有Java、Python、Go…
2021/10/17 12:09:25 人评论 次浏览 -
Apache Beam入门及Java SDK开发初体验
1 什么是Apache Beam Apache Beam是一个开源的统一的大数据编程模型，它本身并不提供执行引擎，而是支持各种平台如GCP Dataflow、Spark、Flink等。通过Apache Beam来定义批处理或流处理，就可以放在各种执行引擎上运行了。目前支持的SDK语言也很丰富，有Java、Python、Go…
2021/10/17 12:09:25 人评论 次浏览 -
jenkins(相关理论 集群搭建 创建任务 权限控制 插件安装 企业实战之备份与恢复 pipeline)
jenkins持续集成 jenkins持续集成相关理论基本概念持续集成（Continuous Intergration）持续交付（Continuous Delivery）持续部署（Continuous Deployment） 持续集成DevOps小结 jenkins集群搭建关于jenkins主从集群安装Master环境准备 安装Jenkins安装插件 安装slave测试…
2021/10/15 23:19:02 人评论 次浏览 -
jenkins(相关理论 集群搭建 创建任务 权限控制 插件安装 企业实战之备份与恢复 pipeline)
jenkins持续集成 jenkins持续集成相关理论基本概念持续集成（Continuous Intergration）持续交付（Continuous Delivery）持续部署（Continuous Deployment） 持续集成DevOps小结 jenkins集群搭建关于jenkins主从集群安装Master环境准备 安装Jenkins安装插件 安装slave测试…
2021/10/15 23:19:02 人评论 次浏览 -
Redis - 管道技术 pipeline
一、管道概念 1.1 为什么要有redis管道？ redis本身处理速度很快，但是如果你连续调用10条redis命令，它们要有10个网络来回，这速度就会降下来了，那么有没有办法把这10条命令一起发送到服务端呢？有，它就是redis管道1.2 redis管道的本质是什么？ redis管道的本质是将要…
2021/10/1 2:10:46 人评论 次浏览 -
Redis - 管道技术 pipeline
一、管道概念 1.1 为什么要有redis管道？ redis本身处理速度很快，但是如果你连续调用10条redis命令，它们要有10个网络来回，这速度就会降下来了，那么有没有办法把这10条命令一起发送到服务端呢？有，它就是redis管道1.2 redis管道的本质是什么？ redis管道的本质是将要…
2021/10/1 2:10:46 人评论 次浏览 -
scrapy使用pipeline保存不同的表单Item到数据库、本地文件
文章目录 步骤1：构造Item步骤2：构造Pipeline步骤3：setting配置pipeline步骤1：构造Item import scrapyclass StockItem(scrapy.Item):stock_code = scrapy.Field()company_name = scrapy.Field()stock_type = scrapy.Field()class CompanyInfoItem(scrapy.Item):name =…
2021/9/19 19:07:01 人评论 次浏览 -
scrapy使用pipeline保存不同的表单Item到数据库、本地文件
文章目录 步骤1：构造Item步骤2：构造Pipeline步骤3：setting配置pipeline步骤1：构造Item import scrapyclass StockItem(scrapy.Item):stock_code = scrapy.Field()company_name = scrapy.Field()stock_type = scrapy.Field()class CompanyInfoItem(scrapy.Item):name =…
2021/9/19 19:07:01 人评论 次浏览 -
hdfs追加解决报错:Failed to replace a bad datanode on the existing pipeline due to no more goo......
在查询过程中，网上的大部分方法是修改hdfs-site.xml配置文件，添加 <property> <name>dfs.namenode.http.address</name> <value>slave1:50070</value> </property> <property> <…
2021/9/18 1:05:07 人评论 次浏览 -
hdfs追加解决报错:Failed to replace a bad datanode on the existing pipeline due to no more goo......
在查询过程中，网上的大部分方法是修改hdfs-site.xml配置文件，添加 <property> <name>dfs.namenode.http.address</name> <value>slave1:50070</value> </property> <property> <…
2021/9/18 1:05:07 人评论 次浏览 -
redis 简单整理——pipeline[十]
前言 简单整理一下pipeline。 正文 1）发送命令 2）命令排队 3）命令执行 4）返回结果 其中1）+4）称为Round Trip Time（RTT，往返时间）。 pipeline它能将一组Redis命令进 行组装，通过一次RTT传输给Redis，再将这组Redis命令的执行结果按顺序返回给客户端举个例子: ech…
2021/8/21 2:06:07 人评论 次浏览 -
redis 简单整理——pipeline[十]
前言 简单整理一下pipeline。 正文 1）发送命令 2）命令排队 3）命令执行 4）返回结果 其中1）+4）称为Round Trip Time（RTT，往返时间）。 pipeline它能将一组Redis命令进 行组装，通过一次RTT传输给Redis，再将这组Redis命令的执行结果按顺序返回给客户端举个例子: ech…
2021/8/21 2:06:07 人评论 次浏览 -
Jenkins 有用的插件记录
Schedule Build Plugin (schedule-build): 0.5.1 Bitbucket Branch Source Plugin (cloudbees-bitbucket-branch-source): 2.4.4 jQuery plugin (jquery): 1.12.4-0 GIT server Plugin (git-server): 1.7 CloudBees AWS Credentials Plugin (aws-credentials): 1.26 Ivy P…
2021/8/6 6:09:40 人评论 次浏览 -
Jenkins 有用的插件记录
Schedule Build Plugin (schedule-build): 0.5.1 Bitbucket Branch Source Plugin (cloudbees-bitbucket-branch-source): 2.4.4 jQuery plugin (jquery): 1.12.4-0 GIT server Plugin (git-server): 1.7 CloudBees AWS Credentials Plugin (aws-credentials): 1.26 Ivy P…
2021/8/6 6:09:40 人评论 次浏览
