Skip to content

一套对于clickhouse的封装:过亿数据的秒级查询,不得不爱的clickhouse

Notifications You must be signed in to change notification settings

994625905/wangjc-clickhouse

Repository files navigation

wangjc-clickhouse

过亿数据的秒级查询,不得不爱的clickhouse

前言

  • 由于项目中的MySQL性能早已达到瓶颈,且运营那边的需求一直在不断的冲击着这个上限,一张单天能产生2000万数据的表,需要在自定义的跨日期区间内,分组,统计,汇总,分析……操作,且涉及varchar(30)的关键词字段,SQL语句的优化已调至极限,依旧无法做出满意的响应效率,于是引入了ClickHouse。

Clickhouse的简介

  • 由战斗民族2016年开源的,为了迎合IOT时代大量数据的统计分析工作,强化查询性能,以广泛应用在国内的大厂中(包括但不限于腾讯、今日头条、携程、快手……集群规模达上千节点),阿里云提供了云产品ClickHouse。但由于诞生时间晚,仍然处于不断的快速更新迭代中,我并未找到springboot有提供相关支持的jar,于是采用官方给出的clickhouse-jdbc,用它提供的数据源,自己封装了一套通用型的clickhouse-base。

为什么clickhouse可以秒查

  • 1、食妖蛊系列,有多少CPU,就是吃多少资源,所以clickhouse能一直保持性能;
  • 2、不支持事务,不存在隔离级别。官方给出的定位是分析型数据库,与传统的关系型数据库不一样,没有严格的逻辑约束。统计数据的意义在于用大量的数据看规律,看趋势,而不是100%准确;
  • 3、IO方面,MySQL是行存储,ClickHouse是列存储,后者在count()这类操作天然有优势,同时,在IO方面,MySQL需要大量随机IO,ClickHouse基本是顺序IO;
  • 4、多用于大数据统计分析场景中,绝大多数请求都是用于读访问,写入基本都是另外单独线程批量或者定时执行的。

About

一套对于clickhouse的封装:过亿数据的秒级查询,不得不爱的clickhouse

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages