Skip to content

go 协程池 的三种实现方式,可以作为参考原型 // Three implementation methods of go coroutine pool, which can be used as reference prototypes

Notifications You must be signed in to change notification settings

oldtree/gorpoor

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

17 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

gorpoor goroutine pool

一个 goroutine 协程池的实现 ,所有的操作都是预先分配好可以执行的goroutine,避免在连续的实际任务执行中启动新的协程所带来的损耗

a goroutine pool implements

使用三种方式实现一个可用的goroutine pool:

  • 一个全局的task队列,然后每一个worker使用注册的回调函数来从全局获取任务并阻塞执行,任务的分发依靠go runtime的调度机制,每一个worker不用维持自己的 task队列这样从 主任务 到 worker任务就只有两层,比较简单,worker是不可选的,worker可以执行新的任务时,就必须执行,没有可以做屏蔽的东西(不支持将一个 不想去执行的task重新塞入主任务的task队列中);这样只要投送任务,直至任务队列被填满,但是worker却是有限的
go test -bench .
goos: darwin
goarch: amd64
pkg: github.com/FlyCynomys/tools/gorpoor/v1
Benchmark_work_10_10-4           3000000               635 ns/op
Benchmark_work_10_100-4          3000000               445 ns/op
Benchmark_work_100_100-4         3000000               430 ns/op
Benchmark_work_100_1000-4        3000000               404 ns/op
Benchmark_work_100_10000-4       3000000               468 ns/op
Benchmark_work_1000_10000-4      3000000               419 ns/op
PASS
ok      github.com/FlyCynomys/tools/gorpoor/v1  14.539s
  • 一个全局的task队列,然后每一个worker在task来到时,被主任务取出并分配任务去执行,执行完结束后使用注册的回调函数来将自己重新入队列,这样worker不断地取出 执行的循环,这样只在worker侧保存一个正在执行的task,调度将是齿轮式的,投送任务通过 主任务 来进行,也只是分两层的 主任务 和 worker
go test -bench .
goos: darwin
goarch: amd64
pkg: github.com/FlyCynomys/tools/gorpoor/v2
Benchmark_work_10_10-4            500000              2138 ns/op
Benchmark_work_10_100-4          1000000              1412 ns/op
Benchmark_work_100_100-4         1000000              1349 ns/op
Benchmark_work_100_1000-4         500000              2851 ns/op
Benchmark_work_100_10000-4       1000000              2102 ns/op
Benchmark_work_1000_10000-4      1000000              2176 ns/op
PASS
ok      github.com/FlyCynomys/tools/gorpoor/v2  12.613s
  • 一个全局的task队列,来接受任务,每一个worker也有自己本地的任务队列,每一个worker维持一定数量的goroutine,从worker本地的队列取出任务并执行,并实时更新 worker本身的状态,在主任务中可以通过数组来保存worker队列,也可以使用一个buffer channel来保存,通过不断地更新数组状态或者队列的取出放入操作选择合适的 worker来派送task去worker本地的队列,当有新任务进来worker的本地队列,或者worker执行完一个task都更新自己的状态,这样就有三层了 main-task---->worker-task--->real-goroutine
go test -bench .
goos: darwin
goarch: amd64
pkg: github.com/FlyCynomys/tools/gorpoor/v3
Benchmark_work_10_10-4           1000000              1484 ns/op
Benchmark_work_10_100-4          2000000               827 ns/op
Benchmark_work_100_100-4         1000000              1155 ns/op
Benchmark_work_100_1000-4        2000000               776 ns/op
Benchmark_work_100_10000-4       2000000               721 ns/op
Benchmark_work_1000_10000-4      2000000               798 ns/op
PASS
ok      github.com/FlyCynomys/tools/gorpoor/v3  13.930s

About

go 协程池 的三种实现方式,可以作为参考原型 // Three implementation methods of go coroutine pool, which can be used as reference prototypes

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages