搜索结果
查询Tags标签： wal，共有 46条记录-
问题定位 | PostgreSQL 报错 requested WAL segment has already been removed
本文首发于 2016-04-25 20:59:52问题描述 在使用配置了热备的 PostgreSQL 数据库时，在执行大量事务时，尤其是一个需要插入几千万条数据的 insert 事务时（典型的做法是持续 insert into t select * from t;），后台 csv log 中报错如下： 2015-07-01 13:25:29.430 CST,,…
2021/9/21 19:10:01 人评论 次浏览 -
问题定位 | PostgreSQL 报错 requested WAL segment has already been removed
本文首发于 2016-04-25 20:59:52问题描述 在使用配置了热备的 PostgreSQL 数据库时，在执行大量事务时，尤其是一个需要插入几千万条数据的 insert 事务时（典型的做法是持续 insert into t select * from t;），后台 csv log 中报错如下： 2015-07-01 13:25:29.430 CST,,…
2021/9/21 19:10:01 人评论 次浏览 -
postgresql wal文件误删恢复
2021-09-10 17:22:42.417183T @ startup 00000 [2021-09-10 17:22:42 CST] 0 [9298] LOCATION: StartupXLOG, xlog.c:6347 2021-09-10 17:22:42.417206T @ startup XX000 [2021-09-10 17:22:42 CST] 0 [9298] FATAL: XX000: required WAL directory "pg_wal&…
2021/9/11 2:05:04 人评论 次浏览 -
postgresql wal文件误删恢复
2021-09-10 17:22:42.417183T @ startup 00000 [2021-09-10 17:22:42 CST] 0 [9298] LOCATION: StartupXLOG, xlog.c:6347 2021-09-10 17:22:42.417206T @ startup XX000 [2021-09-10 17:22:42 CST] 0 [9298] FATAL: XX000: required WAL directory "pg_wal&…
2021/9/11 2:05:04 人评论 次浏览 -
PostgreSQL数据目录深度揭秘
简介： PostgreSQL是一个功能非常强大的、源代码开放的客户/服务器关系型数据库管理系统（RDBMS），被业界誉为“先进的开源数据库”，支持NoSQL数据类型，主要面向企业复杂查询SQL的OLTP业务场景，提供PostGIS地理信息引擎、阿里云自研多维多模时空信息引擎等。本文着重介…
2021/9/1 19:06:48 人评论 次浏览 -
PostgreSQL数据目录深度揭秘
简介： PostgreSQL是一个功能非常强大的、源代码开放的客户/服务器关系型数据库管理系统（RDBMS），被业界誉为“先进的开源数据库”，支持NoSQL数据类型，主要面向企业复杂查询SQL的OLTP业务场景，提供PostGIS地理信息引擎、阿里云自研多维多模时空信息引擎等。本文着重介…
2021/9/1 19:06:48 人评论 次浏览 -
wal和lsn格式
wal文件结构 PG使用无符号64bit整型（uint64）作为日志文件的寻址空间，理论上来说，如果只有一个日志文件,那么这个事务日志文件的大小最大为2^64Bytes(即16M*1TB=16EB)。为了高效管理事务日志文件,PG把日志文件划分为N个大小为16M(默认值)的WAL segment file. 总体结构如…
2021/8/20 6:08:02 人评论 次浏览 -
wal和lsn格式
wal文件结构 PG使用无符号64bit整型（uint64）作为日志文件的寻址空间，理论上来说，如果只有一个日志文件,那么这个事务日志文件的大小最大为2^64Bytes(即16M*1TB=16EB)。为了高效管理事务日志文件,PG把日志文件划分为N个大小为16M(默认值)的WAL segment file. 总体结构如…
2021/8/20 6:08:02 人评论 次浏览 -
Postgresql之备份软件
wal-g./wal-g backup-push /home/highgo/pgdata/pg_wal/ --config=/home/highgo/wal-g/walg.json{"AWS_ACCESS_KEY_ID":"AKIAIOSFODNN7EXAMPLE","AWS_SECRET_ACCESS_KEY":"wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY","AWS_…
2021/8/7 19:08:13 人评论 次浏览 -
Postgresql之备份软件
wal-g./wal-g backup-push /home/highgo/pgdata/pg_wal/ --config=/home/highgo/wal-g/walg.json{"AWS_ACCESS_KEY_ID":"AKIAIOSFODNN7EXAMPLE","AWS_SECRET_ACCESS_KEY":"wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY","AWS_…
2021/8/7 19:08:13 人评论 次浏览 -
携程二面：讲讲 MySQL 中的 WAL 策略和 CheckPoint 技术
前段时间我在准备暑期实习嘛，这是当时面携程的时候二面的一道问题，我一脸懵逼，赶紧道歉，不好意思不知道没了解过，面试官又解释说 redo log，我寻思着 redo log 我知道啊，WAL 是啥？给面试官整无语了（滑稽），为我当时的无知道歉。后来回去百度了一下才知道，最近又…
2021/7/1 19:27:52 人评论 次浏览 -
sqlite之WAL模式
概述在3.7.0以后，WAL(Write-Ahead Log)模式可以使用，是另一种实现事务原子性的方法。WAL的优点缺点一般情况下需要VFS支持共享内存模式。(shared-memory primitives)操作数据库文件的进程必须在同一台主机上，不能用在网络操作系统。持有多个数据库文件的数据库连接对于…
2021/5/30 19:22:09 人评论 次浏览 -
postgreSQL数据库同步流复制和异步流复制控制
作者：瀚高PG实验室 （Highgo PG Lab）- 徐云鹤pg同步流复制和异步流复制关键在于两个参数：synchronous_standby_names 控制哪些standby被应用同步策略；synchronous_commit控制同步策略级别。synchronous_commit参数：同步等级设定值概述保证范围同步remote_apply在备库…
2021/5/17 19:26:16 人评论 次浏览 -
PostgreSQL之FULL_PAGE_WRITES
1、full_page_write是什么？ 官网中，对它的解释是： 当这个参数打开时，PG服务器在一个检查点之后的页面的第一次修改期间将每个页面的全部内容写到wal中，这么做是因为在操作系统崩溃恢复期间正在处理的一次页写入可能只有部分完成，从而导致在一个磁盘页面中混合有新旧…
2021/4/24 19:27:06 人评论 次浏览 -
高写入负载下的Postgres性能调优
0、说明 随着数据库的数据量与之俱增，作为数据库管理员和系统管理员总是会遇到各种各样的麻烦。 通常，一些项目从小型的测试系统开始，然后被推广到大规模生产用途。由于这些系统收到的流量负载超出了其原始的概念验证范围，因此在Postgres日志中可能会观察到以下问题：…
2021/4/19 18:59:45 人评论 次浏览
