django issue fix: orm - too many connection

[hhstore]

问题:

• django 大并发下, 数据库连接数超过上限.

fix:

• 设置单个连接的存活时间为默认值0, 不要轻易修改.
• 使用 aws 的 RDS集群, aws 自身已经对 MySQL做了集群优化, db connection 本身是有连接池的.

CONN_MAX_AGE=0
CONN_MAX_AGE=60

ref:

• https://stackoverflow.com/questions/45158234/every-request-from-a-django-app-increasing-mysql-number-of-connections

  • 说法1: debug 模式下, 建议 CONN_MAX_AGE 设置为0, 设置非0值, 容易出问题.
  • 但是, 下面的issue表明, 非debug模式下, 依然可能出问题, 所以, 依然建议设置为默认0值.

• https://stackoverflow.com/questions/19937257/what-is-a-good-value-for-conn-max-age-in-django

  • 此问题下, 说 CONN_MAX_AGE=0 是安全做法, 否则会出现报错.
  • Persistent database connections with async workers on Django >= 1.6 fails benoitc/gunicorn#996
  • 关联issue的讨论, 目前稳妥做法是设置为0.

• https://www.the5fire.com/reduce-db-conn-with-django-persistent-connection.html

[hhstore]

django 问题源码分析:

• 基于 django 1.11

• /django/db/utils.py

• django.db.utils.ConnectionHandler#ensure_defaults()

• django.db.backends.base.base.BaseDatabaseWrapper#connect()
  • 关键处, 默认连接存活时间为0.
    

• 调用链:
• django.db.backends.base.base.BaseDatabaseWrapper#close_if_unusable_or_obsolete()

• 继续:
• django.db.backends.base.base.BaseDatabaseWrapper#close()

• 继续:
• django.db.backends.base.base.BaseDatabaseWrapper#_close()

[hhstore]

源码分析结论:

• django 1.11 默认CONN_MAX_AGE = 0, 对每个 HTTP request 结束后, 自动close()掉db连接. 默认做法更安全. 防止多线程下出问题.