Skip to content

pka/vector-data-compression

Folders and files

NameName
Last commit message
Last commit date

Latest commit

ย 

History

1 Commit
ย 
ย 
ย 
ย 

Repository files navigation

Vector data compression experiments

zstd compression of WKB

GeoPackage with Zstandard compressed WKB using https://github.com/phiresky/sqlite-zstd

Creating datasets

Prepare data:

cd data
make

Create statistics:

make stats

Results

  • ne_110m_admin_0_countries.gpkg: 177 Polygons, 178 attribute columns (mostly short strings)
โ•ญโ”€โ”€โ”€โ”ฌโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ฌโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ
โ”‚ # โ”‚                name                 โ”‚   size    โ”‚
โ”œโ”€โ”€โ”€โ”ผโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ผโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚ 0 โ”‚ ne_110m_admin_0_countries.arrow     โ”‚ 474.7 KiB โ”‚
โ”‚ 1 โ”‚ ne_110m_admin_0_countries.fgb       โ”‚ 478.2 KiB โ”‚
โ”‚ 2 โ”‚ ne_110m_admin_0_countries.gpkg      โ”‚ 552.0 KiB โ”‚
โ”‚ 3 โ”‚ ne_110m_admin_0_countries_zstd.gpkg โ”‚ 632.0 KiB โ”‚
โ”‚ 4 โ”‚ ne_110m_admin_0_countries.shp       โ”‚ 697.5 KiB โ”‚
โ”‚ 5 โ”‚ ne_110m_admin_0_countries.json      โ”‚   1.1 MiB โ”‚
โ•ฐโ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ
  • countries.gpkg: 177 Polygons, 2 attribute columns
โ•ญโ”€โ”€โ”€โ”ฌโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ฌโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ
โ”‚ # โ”‚        name         โ”‚   size    โ”‚
โ”œโ”€โ”€โ”€โ”ผโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ผโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚ 0 โ”‚ countries.arrow     โ”‚ 181.9 KiB โ”‚
โ”‚ 1 โ”‚ countries.fgb       โ”‚ 200.9 KiB โ”‚
โ”‚ 2 โ”‚ countries.shp       โ”‚ 206.8 KiB โ”‚
โ”‚ 3 โ”‚ countries_zstd.gpkg โ”‚ 296.0 KiB โ”‚
โ”‚ 4 โ”‚ countries.json      โ”‚ 297.5 KiB โ”‚
โ”‚ 5 โ”‚ countries.gpkg      โ”‚ 316.0 KiB โ”‚
โ•ฐโ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ
  • UScounties.gpkg: 3221 Polygons, 6 attribute columns
โ•ญโ”€โ”€โ”€โ”ฌโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ฌโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ
โ”‚ # โ”‚         name         โ”‚   size   โ”‚
โ”œโ”€โ”€โ”€โ”ผโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ผโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚ 0 โ”‚ UScounties_zstd.gpkg โ”‚ 10.2 MiB โ”‚
โ”‚ 1 โ”‚ UScounties.arrow     โ”‚ 13.0 MiB โ”‚
โ”‚ 2 โ”‚ UScounties.fgb       โ”‚ 13.4 MiB โ”‚
โ”‚ 3 โ”‚ UScounties.shp       โ”‚ 14.4 MiB โ”‚
โ”‚ 4 โ”‚ UScounties.gpkg      โ”‚ 15.4 MiB โ”‚
โ”‚ 5 โ”‚ UScounties.json      โ”‚ 23.4 MiB โ”‚
โ•ฐโ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ

About

Vector data compression experiments

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors