digoal
2017-06-04
PostgreSQL , json , jsonb , zson
json, jsonb是PostgreSQL里面的一种schemaless数据类型，zson是兼容json,jsonb的一种压缩类型，通过训练的方式生成字典，通过字典进行压缩。
通常获得的压缩比比较客观，压缩后可以节约存储空间，节约SHARED BUFFER，提高TPS。
git clone https://github.com/postgrespro/zson
cd zson
export PATH=/home/digoal/pgsql/bin:$PATH
make
make install
make installcheck
connect to database, create extension
psql db
create extension zson;
训练函数接口如下
zson_learn(
tables_and_columns text[][],
max_examples int default 10000,
min_length int default 2,
max_length int default 128,
min_count int default 2
)
需要提供被训练的表，以及JSON字段名
select zson_learn('{{"table1", "col1"}, {"table2", "col2"}}');
建议使用真实数据进行训练，确保训练得到的字典对实际数据有效。
查看训练好的字典
select * from zson_dict;
字典训练完成后，写入数据，zson将以字典形式压缩存储。
zson_test=# create table zson_example(x zson);
CREATE TABLE
zson_test=# insert into zson_example values ('{"aaa": 123}');
INSERT 0 1
zson_test=# select x -> 'aaa' from zson_example;
-[ RECORD 1 ]-
?column? | 123
每次调用zson_learn都会生成新的字典，所有字典都会缓存到内存中。
新写入的zson数据会使用最新版本的字典进行压缩，不影响老的ZSON数据。
使用zson_info可以查看zson值使用的字典版本。
zson_test=# select zson_info(x) from test_compress where id = 1;
-[ RECORD 1 ]---------------------------------------------------
zson_info | zson version = 0, dict version = 1, ...
zson_test=# select zson_info(x) from test_compress where id = 2;
-[ RECORD 1 ]---------------------------------------------------
zson_info | zson version = 0, dict version = 0, ...
当所有的ZSON都没有使用旧的字典时，才能删除旧字典，否则请不要删除。
delete from zson_dict where dict_id = 0;
当发现压缩比升高时，可能需要重新训练字典。
或者根据json数据写入的持续，数据内容的变化等，进行调度。
当数据内容变化很大时，可能需要重新生成字典。
select pg_table_size('tt') / (select count(*) from tt)
生成新的字典后，通过zson_dict，对比不同版本的字典内容，也能知道新字典是否有必要。（请务必使用真实数据生成字典）
https://github.com/postgrespro/zson
您的愿望将传达给PG kernel hacker、数据库厂商等, 帮助提高数据库产品质量和功能, 说不定下一个PG版本就有您提出的功能点. 针对非常好的提议，奖励限量版PG文化衫、纪念品、贴纸、PG热门书籍等，奖品丰富，快来许愿。开不开森.
