pgpool 连接池使用文档
简述
pgpool 连接池采用进程模型,每个业务的连接,都会连接到pgpool的其中一个进程。
[CitusDB中国]站主,PostgreSQL粉丝,现从事Citus研发工作
愿Citus在中国发展的越来越好
专注于Citus/PostgreSQL技术分享
pgpool 连接池采用进程模型,每个业务的连接,都会连接到pgpool的其中一个进程。
[CitusDB中国]站主,PostgreSQL粉丝,现从事Citus研发工作
愿Citus在中国发展的越来越好
[CitusDB中国]站主,PostgreSQL粉丝,现从事Citus研发工作
愿Citus在中国发展的越来越好
9.3 版本修复了这个问题,新增如下参数进行控制
citus.max_shared_pool_size(int)
允许连接到每一个worker节点的连接数量,默认 0
0:自动设置。即不会出现超过最大连接数错误的。
-1: 禁用该功能
其他:设置为该值
自动设置时,会将协调器节点的max_connections作为连接数的参考指标,因此协调器与worker的内存和最大连接数不一致的时候,自动设置的功能便不适合。
[CitusDB中国]站主,PostgreSQL粉丝,现从事Citus研发工作
愿Citus在中国发展的越来越好
test=# select master_remove_node('localhost', '1602');
ERROR: you cannot remove the primary node of a node group which has shard placements
test=# select * from pg_dist_node;
nodeid | groupid | nodename | nodeport | noderack | hasmetadata | isactive | noderole | nodecluster | metadatasynced | shouldhaveshards
--------+---------+-----------+----------+----------+-------------+----------+----------+-------------+----------------+------------------
1 | 1 | localhost | 1601 | default | f | t | primary | default | f | t
2 | 2 | localhost | 1602 | default | f | t | primary | default | f | t
(2 rows)
test=# delete from pg_dist_placement where groupid = 2;
-- 这个地方在删除前,也可以把pg_dist_placement备份一下
-- pg_dist_shard 最好也删除一下,要不全表扫描的时候也会报错
test=# select master_remove_node('localhost', '1602');
master_remove_node
--------------------
(1 row)
[CitusDB中国]站主,PostgreSQL粉丝,现从事Citus研发工作
愿Citus在中国发展的越来越好
[CitusDB中国]站主,PostgreSQL粉丝,现从事Citus研发工作
愿Citus在中国发展的越来越好
容灾可以选择同步或是异步模式。同步模式下无丢失数据风险,会损失一点点性能。异步模式下,会少量丢失数据,不会损失性能。
通常的方案(同步/异步模式均可):
[CitusDB中国]站主,PostgreSQL粉丝,现从事Citus研发工作
愿Citus在中国发展的越来越好
LSN :Log Sequence Number
test=# select pg_current_wal_lsn();
pg_current_wal_lsn
--------------------
1/37000140
(1 row)
Datum
pg_lsn_out(PG_FUNCTION_ARGS) //保留主要内容
{
XLogRecPtr lsn = PG_GETARG_LSN(0); // typedef uint64 XLogRecPtr;
uint32 id,
off;
/* Decode ID and offset */
id = (uint32) (lsn >> 32);
off = (uint32) lsn;
snprintf(buf, sizeof buf, "%X/%X", id, off);
}
LSN 由64位(8字节)数据类型表示,ID 和 offset 各用 32bit。我们清晰的知道了 /
分割线的意义。 ID使用32bit(4字节)表示, offset使用32bit(4字节)表示。
[CitusDB中国]站主,PostgreSQL粉丝,现从事Citus研发工作
愿Citus在中国发展的越来越好
最近家里有些事情,才开始进行更新
CLUSTER [VERBOSE] table_name [ USING index_name ]
CLUSTER [VERBOSE]
根据索引的信息,编排表的物理存储顺序。操作是一次性的,意味着当操作结束后,新产生的数据,不会进行编排,当表依据索引进行编排后,PostgreSQL会记录该索引,当执行 CLUSTER table_name 时,会自动引用先前的索引。当 CLUSTER 不加任何参数时,会对该数据库下该用户的所有表(编排过的表)进行编排,若是超级用户,则会对所有表进行编排。此操作不能在事务中使用。操作过程中会加 ACCESS EXCLUSIVE 锁。
当随机只读取一条记录时,表的物理存储顺序是不重要的。如果你访问很多数据并通过索引分组,或是根据索引键进行范围查询,或是一个索引有多条记录,重编排数据会很有用,因为当根据索引读取表的第一条数据时,其他所需数据也存在于改page中,这节省了磁盘和内存的使用,从而提高性能。
该 CLUSTER 会根据统计信息等内容选择索引扫描或顺序扫描对表数据进行重排序。
当根据索引进行扫描,会对表数据和索引数据进行临时copy处理,因此磁盘需要table size+index size的空间进行临时数据存储。
当进行顺序扫描时,会产生排序的临时文件,因此需要 table size * 2 + index size的空间进行临时数据存储,当然可以使用 enable_sort 禁止使用次方法。
test=# create table aa(id int primary key);
CREATE TABLE
test=# select relname,relfilenode from pg_class where relname ~ 'aa';
relname | relfilenode
---------+-------------
aa | 33007
aa_pkey | 33010
(2 rows)
test=# cluster aa using aa_pkey ;
CLUSTER
test=# select relname,relfilenode from pg_class where relname ~ 'aa';
relname | relfilenode
---------+-------------
aa | 33012
aa_pkey | 33015
(2 rows)
-- relfilenode发生了改变
[CitusDB中国]站主,PostgreSQL粉丝,现从事Citus研发工作
愿Citus在中国发展的越来越好