9.3 版本主要升级内容

协调器节点向worker连接时,若是瞬间业务量比较大,会出现达到最大连接数的错误,不太友好。

9.3 版本修复了这个问题,新增如下参数进行控制

citus.max_shared_pool_size(int)
允许连接到每一个worker节点的连接数量,默认 0

0:自动设置。即不会出现超过最大连接数错误的。
-1: 禁用该功能
其他:设置为该值

自动设置时,会将协调器节点的max_connections作为连接数的参考指标,因此协调器与worker的内存和最大连接数不一致的时候,自动设置的功能便不适合。

PostgreSQL容灾和新型两地三中心

本文将简诉PostgreSQL容灾方案,新型两地三中心的方案

PostgreSQL容灾方案

容灾可以选择同步或是异步模式。同步模式下无丢失数据风险,会损失一点点性能。异步模式下,会少量丢失数据,不会损失性能。

通常的方案(同步/异步模式均可):

  1. 一主一备流复制 ...Read more...

cluster table using index 根据索引重排表的物理存储顺序

最近家里有些事情,才开始进行更新

重排表物理存储顺序

语法

CLUSTER [VERBOSE] table_name [ USING index_name ]
CLUSTER [VERBOSE]

描述

根据索引的信息,编排表的物理存储顺序。操作是一次性的,意味着当操作结束后,新产生的数据,不会进行编排,当表依据索引进行编排后,PostgreSQL会记录该索引,当执行 CLUSTER table_name 时,会自动引用先前的索引。当 CLUSTER 不加任何参数时,会对该数据库下该用户的所有表(编排过的表)进行编排,若是超级用户,则会对所有表进行编排。此操作不能在事务中使用。操作过程中会加 ACCESS EXCLUSIVE 锁。

作用

当随机只读取一条记录时,表的物理存储顺序是不重要的。如果你访问很多数据并通过索引分组,或是根据索引键进行范围查询,或是一个索引有多条记录,重编排数据会很有用,因为当根据索引读取表的第一条数据时,其他所需数据也存在于改page中,这节省了磁盘和内存的使用,从而提高性能。

该 CLUSTER 会根据统计信息等内容选择索引扫描或顺序扫描对表数据进行重排序。

当根据索引进行扫描,会对表数据和索引数据进行临时copy处理,因此磁盘需要table size+index size的空间进行临时数据存储。

当进行顺序扫描时,会产生排序的临时文件,因此需要 table size * 2 + index size的空间进行临时数据存储,当然可以使用 enable_sort 禁止使用次方法。

示例

test=# create table aa(id int primary key);
CREATE TABLE
test=# select relname,relfilenode from pg_class where relname ~ 'aa';
 relname | relfilenode 
---------+-------------
 aa      |       33007
 aa_pkey |       33010
(2 rows)

test=# cluster aa using aa_pkey ;
CLUSTER
test=# select relname,relfilenode from pg_class where relname ~ 'aa';
 relname | relfilenode 
---------+-------------
 aa      |       33012
 aa_pkey |       33015
(2 rows)
-- relfilenode发生了改变

HA方案选型

下述比较只是对功能的对比,而非使用体验易用性等等其他特性!!!
Patroni未纳入对比,Patroni需要引入etcd,而我不希望引入过多的产品,那样会增加复杂度也会增加更多的不确定性,可控性更是一个挑战

  • PostgreSQL高可用方案的对比
功能点 pg_auto_failover repmgr
一主多备 不支持 支持
多集群管理 支持 不支持
数据目录之外的复制 不支持 支持
用户自定义脚本 不支持 支持
多数据中心支持 不支持 支持
级联复制 不支持 支持

Repmgr

repmgr

本文档主要集中在Repmgr的功能调查上,详细的配置参数和部分原理并为进行编写,有需要的朋友可以自行仔细查看。

repmgr入门

概念

repmgr使用以下术语:

  • 复制群集
    “复制集群”是指通过流复制连接的PostgreSQL服务 ...Read more...

PostgreSQL extension扩展模块解析

PostgreSQL extension扩展模块解析

extension是什么

extension是PostgreSQL的扩展模块,用于扩展PostgreSQL本身所欠缺的功能。

为什么创建extension
1. 受众人群较少
2. 快速实现所需功能
3. 代码质量未经严格审核测试

从哪里获得extension

PostgreSQL源码的contrib目录下
pgxn:https://pgxn.org/
github:很多项目获取

extension缺陷

  1. 代码质量与PostgreSQL相比稍有欠缺
  2. 版本更新不及时,存在版本适配问题
  3. 维护者较少
  4. 没有严格的测试

extension编写指南

extension编译模式

模式由Makefile的关键字进行配置