搜索结果
查询Tags标签： 容错，共有 19条记录-
Flink-容错机制-检查点原理和算法
一、一致性检查点（Checkpoints）Flink故障恢复机制的核心，就是应用状态的一致性检查点 有状态流应用的一致性检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候二、从检查点恢复状…
2022/9/9 1:23:04 人评论 次浏览 -
可容错安全聚合算法学习笔记
目录参考文献安全聚合流程 写在最前： 在学习可容错安全聚合算法时，对其中的许多详细步骤不是特别清楚，遂将学习笔记记录下来，以作后期学习。若有不对请及时纠正。 参考文献大规模横向联邦学习的原理及其在Delta中的实现 联邦学习之安全聚合SMPC 安全聚合原始论文：Pra…
2022/9/8 1:23:17 人评论 次浏览 -
Hadoop 2
Hadoop核心之MapReduce上部分提到Hadoop存储大数据的核心模块HDFS，这一部分介绍Hadoop处理大数据部分的核心模块MapReduce。Apache Foundation对MapReduce的介绍：“Hadoop MapReduce is a software framework for easily writing applications which process vast amoun…
2022/6/28 23:29:09 人评论 次浏览 -
数据系统的可靠性，可伸缩性，可维护性
数据密集型应用设计读书笔记第一章。 现在的数据密集型应用，趋势是组件化。存储数据，以便自己或其他应用程序之后能再次找到 （数据库（database））记住开销昂贵操作的结果，加快读取速度（缓存（cache））允许用户按关键字搜索数据，或以各种方式对数据进行过滤（搜索…
2022/2/20 6:27:57 人评论 次浏览 -
dubbo 容错策略
dubbo 容错策略官网：https://dubbo.apache.org/zh/docs/advanced/fault-tolerent-strategy/容错策略
2022/2/8 23:48:48 人评论 次浏览 -
4种分布式共识算法（拜占庭容错算法）的整理
什么是分布式共识？ 在多个节点均可独自操作或记录的情况下，使得所有节点针对某个状态达成一致的过程本质是“求同存异” 一致性和共识的区别是什么？ 一致性：分布式系统中的多个节点之间，给定一系列的操作，在约定协议的保障下，对外界呈现的数据或状态时一致的共识：…
2021/12/11 17:16:49 人评论 次浏览 -
4种分布式共识算法（拜占庭容错算法）的整理
什么是分布式共识？ 在多个节点均可独自操作或记录的情况下，使得所有节点针对某个状态达成一致的过程本质是“求同存异” 一致性和共识的区别是什么？ 一致性：分布式系统中的多个节点之间，给定一系列的操作，在约定协议的保障下，对外界呈现的数据或状态时一致的共识：…
2021/12/11 17:16:49 人评论 次浏览 -
软考高级系统架构设计师：论高可靠性系统中软件容错技术的应用
软考高级系统架构设计师：论高可靠性系统中软件容错技术的应用 一、容错技术和方法二、容错技术可靠性和实时性指标具体论述中设计软件时，如何考虑容错问题，采用了哪几种容错技术和方法。分析你所采用的容错方法是否达到系统的可靠性和实时性要求。 一、容错技术和方法 …
2021/11/5 23:10:19 人评论 次浏览 -
软考高级系统架构设计师：论高可靠性系统中软件容错技术的应用
软考高级系统架构设计师：论高可靠性系统中软件容错技术的应用 一、容错技术和方法二、容错技术可靠性和实时性指标具体论述中设计软件时，如何考虑容错问题，采用了哪几种容错技术和方法。分析你所采用的容错方法是否达到系统的可靠性和实时性要求。 一、容错技术和方法 …
2021/11/5 23:10:19 人评论 次浏览 -
Spark中的RDD容错机制
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。 因此，Spark选…
2021/10/31 23:15:58 人评论 次浏览 -
Spark中的RDD容错机制
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。 因此，Spark选…
2021/10/31 23:15:58 人评论 次浏览 -
大数据Flink容错机制
目录 1 Checkpoint1.1 State Vs Checkpoint1.2 Checkpoint执行流程1.2.1 简单流程1.2.2 复杂流程--课后自行阅读 1.3 State状态后端/State存储介质1.3.1 MemStateBackend[了解]1.3.2 FsStateBackend1.3.3 RocksDBStateBackend 1.4 Checkpoint配置方式1.4.1 全局配置1.4.2 …
2021/9/10 23:07:50 人评论 次浏览 -
大数据Flink容错机制
目录 1 Checkpoint1.1 State Vs Checkpoint1.2 Checkpoint执行流程1.2.1 简单流程1.2.2 复杂流程--课后自行阅读 1.3 State状态后端/State存储介质1.3.1 MemStateBackend[了解]1.3.2 FsStateBackend1.3.3 RocksDBStateBackend 1.4 Checkpoint配置方式1.4.1 全局配置1.4.2 …
2021/9/10 23:07:50 人评论 次浏览 -
区块链共识算法的分类 POW POS DPOS PBFT的区别
1. 分类 区块链共识算法可以根据其容错类型、部署方式、一致性程度、选主策略等多个维度进行分类。 维度 该维度的所有分类 1 容错类型 拜占庭容错、非拜占庭容错 2 部署方式 公有链共识、联盟链共识和私有链共识 3 一致性程度 强一致性共识、弱(最终) 一致性共识 4 选主…
2021/6/17 12:28:11 人评论 次浏览 -
数据库基础
数据库基础 背景知识很多功能如果只是通过操作文件来改变数据时非常繁琐的，程序员要做很多事情对于多台机器或者多个进程操作一份数据，程序员自己解决并发和安全问题比较麻烦自己处理些数据备份，容错的措施C/S架构的操作数据文件的一个管理软件帮助我们解决并发问题 能…
2021/6/6 19:24:08 人评论 次浏览
