URL-Test

检测URL列表能否正常打开

检测速度

CPU 13th Gen Intel(R) Core(TM) i5-13600K 3.50 GHz
内存 32GB 3200MHz
系统 Windows 10 22H2

平均速度120万条URL/小时

一个Reader逐行读取需要验证URL的CSV表，将URL添加到一个具有1024缓冲容量的channel
启动1024个Worker从channel中取出URL，对URL发起GET请求，如果响应超时（10s）或错误，则认定为无法打开，否则视为可以打开
每个worker持有一个独立的http.Client，避免每次请求都创建一个Client增加内存开销
Worker获得验证结果后异步调用writer，将结果追加至结果CSV文件中
writer在初始化时创建一个文件对象用于保存结果，每次调用write都会追加写入到该文件中
按 Ctrl + C 停止程序后会通知Reader不要再添加URL到channel中，并等待所有worker消费完channel中剩下的URL后将有效和无效的数量保存至kv.txt文件

内存占用会随着时间增加逐步上升，实测100min跑约200万条URL后内存增长至14GB+

Name		Name	Last commit message	Last commit date
Latest commit History 4 Commits
.idea		.idea
data/origin		data/origin
.gitignore		.gitignore
README.md		README.md
bean.go		bean.go
go.mod		go.mod
go.sum		go.sum
interrupt.go		interrupt.go
main.go		main.go
runner.go		runner.go
utils.go		utils.go
worker.go		worker.go
writer.go		writer.go