首页 > 代码库 > tornado+sqlalchemy+celery,数据库连接消耗在哪里

tornado+sqlalchemy+celery,数据库连接消耗在哪里

  随着公司业务的发展,网站的日活数也逐渐增多,以前只需要考虑将所需要的功能实现就行了,当日活越来越大的时候,就需要考虑对服务器的资源使用消耗情况有一个清楚的认知。
     最近老是发现数据库的连接数如果几天不重启服务器,就经常会发现有很多sleep很久的数据库连接,对数据库服务器的性能有较大的影响。所以需要知道我们的数据库连接到底是在哪里被创建的,什么时候会被复用,什么时候会被释放。
     测试的时候使用的代码,适当进行调整,可帮助梳理清楚场景。

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import (sessionmaker)
from sqlalchemy import create_engine
import time

## []括起来的参数,这边就是做一个占位符
engine = create_engine("mysql+{driver}://{username}:{password}@{server}/{database}?charset={charset}"    .format(
        driver   = [MYSQL_DRIVER],
        username = [MYSQL_USERNAME],
        password = [MYSQL_PASSWORD],
        server   = [MYSQL_MASTER_SERVER],
        database = [DB_NAME],
        charset  = [DB_CHARSET]
    ),
    pool_size    = 20,
    max_overflow = 100,
    pool_recycle = 7200,
    echo         = False  # 调试模式,开启后可输出所有查询语句
)
DBSession = sessionmaker(bind=engine)
session=DBSession()
engine.execute("select 1;")
time.sleep(10)
session.execute("select 1;")
engine.execute("select 1;")
# session.close()
time.sleep(10)
session1=DBSession()
session1.execute("select 1;")
# session1.execute("select 1;")
engine.execute("select 1;")

    就是在上面的这一部分代码的测试,可以对以下的问题给出一些个人理解:
1.什么时候创建新的数据库连接的?
   A.engine.excute
   B.session.excute
   C.session.query
2.什么时候关掉sqlachemy里面的连接(其实是将可用的数据库连接丢回到sqlachemy的连接池里面去):
   A.engine的excute执行完成时
   B.session.close()
   C.engine定义里面设置的pool_recycle时间到期,如果某一个session长期占有,没有close,在这个到期了之后就会被回收回去;
3.什么时候关掉数据库连接:
   A.python3进程关掉,比如kill或者重启服务器的时候;
   B.数据库连接的sleep时间超过wait_timeout的时候;比如在一个http请求里面,先用了一次session.query,然后休眠了10秒钟,这个时候我们的数据库的wait_timeout如果设置为5秒,在query执行完成之后,数据库就会显示连接进入sleep状态,超过5秒就会被关掉。这个时候,如果我们如果需要继续用这个session来进行查询的话,就会提示“MySQL connection not available”

    所以,为了不产生比较多的数据库连接,导致无谓的资源消耗,就是一定要注意尽量少创建新的,使用完了以后,一定要注意丢回到连接池中;当然还要保证,数据库的wait_timeout时间不能低于engine的pool_recyle时间,否则会出现mysql连接不可用的提示。
    在tornado里面,可以在base的on_finish方法里面将本次请求产生的session关掉;
    使用celery的时候也需要注意,可以在函数执行的末尾关掉本次创建的session,也可以写装饰器;并且需要注意,对函数异常也要进行捕获。

本次的测试过程使用到的一些知识:
    ①.查询数据库的连接超时设置:show variables like ‘%wait_timeout%‘;
    ②.查询数据库的最大可用连接数:show variables like ‘%max_connections%‘;
    ③.设置数据库的连接超时:set wait_timeout=28800;||set global wait_timeout=5;(这个global参数待查)
    ④.查看当前连接的使用情况:show status like ‘Threads%‘;
    ⑤.查看所有的数据库连接情况:show full processlist;
    ⑥.lsof -i :3306 查看数据库的端口[3306]现在运行的情况

不过,后续还是需要把sqlachemy 官网推荐的web如何使用session的英文撸一撸。。。http://docs.sqlalchemy.org/en/latest/orm/session_basics.html#session-faq-whentocreate

然后还有一个疑惑,是在使用⑥的时候,有发现有一些celery程序有出现closewait的状态。
      tcp连接有3次握手,断开连接有4次握手。closewait状态的产生,其实就是如果A是主动断开的一方,那么在B这边显示就会是CloseWait状态。
      所以celery出现closewait,那就说明是mysql先关闭了连接,但是,celery和MySQL的连接,也是,一个是使用的是db_config里面的engine,回收时间是7200,mysql的wait_timeout是28800,按道理不会出现数据库中关掉了,但是celery里面没关掉的情况。。。
      可能是我还是有哪里没有弄的很透彻。。。

 

tornado+sqlalchemy+celery,数据库连接消耗在哪里