Skip to content

Latest commit

 

History

History
24 lines (18 loc) · 1.16 KB

README.md

File metadata and controls

24 lines (18 loc) · 1.16 KB

hdfs-to-redis(qps control)

介绍

HDFS-to-Redis 是一个大量数据写入redis的限流工具
因为工作中经常会遇到数据预热缓存的需求,但是由于预热的数据量太大(几个亿的数据),写入缓存经常出现问题
能用最短的时间的将大量数据尽快写入缓存(耗时短),但是会遇到缓存有数据写入限制,会出现瞬时流量高峰,因此需要进行流量限制\

软件架构

软件架构说明
image

1.利用spark rdd分区特性,实现高效并行写入缓存,做到耗时短
2.对于较大流量数据,控制qps,暂停1s,实现流量控制,避免流量太高,写入redis出现问题

1656398213969

使用说明

配置文件config.properties

1.redis.ip redis连接信息
2.redis.port redis 端口信息
3.redis.pwd redis 密码信息
4.qps 需要控制的qps
5.hdfs.input.path 需要写入的数据的路径(以key,value形式进行存储)