首页 > 代码库 > openstack 中 log模块分析
openstack 中 log模块分析
1 . 所在模块,一般在openstack/common/log.py,其实最主要的还是调用了python中的logging模块;
入口函数在
def setup(product_name, version=‘unknown‘):
"""Setup logging."""
if CONF.log_config_append:
_load_log_config(CONF.log_config_append)
else:
_setup_logging_from_conf(product_name, version)
sys.excepthook = _create_logging_excepthook(product_name)
如果配置文件中设置了log_config_append,log_config_append 就是logging的配置,形式如下面这样的:
在函数_load_log_config中实现:
def _load_log_config(log_config_append):
try:
logging.config.fileConfig(log_config_append,
disable_existing_loggers=False)
except moves.configparser.Error as exc:
raise LogConfigError(log_config_append, str(exc))
LogConfigError是一个自定义的Exception,也在log.py中;
如果没有设置log_config_append,则通过_setup_logging_from_conf函数来进行log的设置;
508 log_root = getLogger(None).logger
509 for handler in log_root.handlers:
510 log_root.removeHandler(handler)
511
512 if CONF.use_syslog:
513 facility = _find_facility_from_conf()
514 # TODO(bogdando) use the format provided by RFCSysLogHandler
515 # after existing syslog format deprecation in J
516 if CONF.use_syslog_rfc_format:
517 syslog = RFCSysLogHandler(address=‘/dev/log‘,
518 facility=facility)
519 else:
520 syslog = logging.handlers.SysLogHandler(address=‘/dev/log‘,
521 facility=facility)
522 log_root.addHandler(syslog)
523
524 logpath = _get_log_file_path()
525 if logpath:
526 filelog = logging.handlers.WatchedFileHandler(logpath)
527 log_root.addHandler(filelog)
528
529 if CONF.use_stderr:
530 streamlog = ColorHandler()
531 log_root.addHandler(streamlog)
532
533 elif not logpath:
534 # pass sys.stdout as a positional argument
535 # python2.6 calls the argument strm, in 2.7 it‘s stream
536 streamlog = logging.StreamHandler(sys.stdout)
537 log_root.addHandler(streamlog)
538
539 if CONF.publish_errors:
540 handler = importutils.import_object(
541 "openstack.common.log_handler.PublishErrorsHandler",
542 logging.ERROR)
543 log_root.addHandler(handler)
544
545 datefmt = CONF.log_date_format
546 for handler in log_root.handlers:
547 # NOTE(alaski): CONF.log_format overrides everything currently. This
548 # should be deprecated in favor of context aware formatting.
549 if CONF.log_format:
550 handler.setFormatter(logging.Formatter(fmt=CONF.log_format,
551 datefmt=datefmt))
552 log_root.info(‘Deprecated: log_format is now deprecated and will ‘
553 ‘be removed in the next release‘)
554 else:
555 handler.setFormatter(ContextFormatter(project=project,
556 version=version,
557 datefmt=datefmt))
558
559 if CONF.debug:
560 log_root.setLevel(logging.DEBUG)
561 elif CONF.verbose:
562 log_root.setLevel(logging.INFO)
563 else:
564 log_root.setLevel(logging.WARNING)
565
566 for pair in CONF.default_log_levels:
567 mod, _sep, level_name = pair.partition(‘=‘)
568 level = logging.getLevelName(level_name)
569 logger = logging.getLogger(mod)
570 logger.setLevel(level)
508~510 行;首先取得root logger,在logging中,有个默认的rootlogger,任何其他的logger都是这个rootlogger的继承,然后将handler清空,logger可以设置handler,handler是负责将传给logger的信息显示出来的,如显示到stdout,输出到文件等等;
512~522 行,是否写系统的syslog,一般linux 是/dev/log, mac是/var/run/syslog
524到527行,_get_log_file_path函数取得log path,实际上就是判断conf中是否有设置conf.log_file和conf.log_dir;
watchedfilehandler是将log信息输出到文件,watched的具体含义是当发现输出到文件有变化(A file is deemed to have changed if its device or inode have changed),当发现文件有变化的时候,
会将之前的文件流关闭,文件会再一次用一个新的文件流打开;这个在使用log rotation机制的时候是有用的。
529到531行,如果设置了conf.stderr,,通过ColorHandler来进行
533到537行,如果没有设置logpath, 那么stream handler(标准输出)加入到root log里面;
539到543行,如果设置了publish_errors,则调用publisherrorhandler
22 class PublishErrorsHandler(logging.Handler):
23 def emit(self, record):
24 if (‘openstack.common.notifier.log_notifier‘ in
25 cfg.CONF.notification_driver):
26 return
27 notifier.api.notify(None, ‘error.publisher‘,
28 ‘error_notification‘,
29 notifier.api.ERROR,
30 dict(error=record.getMessage()))
publisherrorhandler重写了emit方法,将log信息用notifier发送出去;
545 到557行对log的格式进行设置的部分;
559 到 564 在DEBUG < INFO < WARNING 之间选择一个,作为rootlogger的log level,其他的log如果没有单独设置level,会默认继承rootLogger的level;DEBUG和VERBOSE可以通过配置文件进行配置;
566,570可以通过CONF./default_log_levels分别针对不同的模块进行不同的level级别的设置;
setup函数基本分析完毕,可以如下使用setup函数;
from higgs.agent.common import config
config.setup_logging(cfg.CONF)
但一般在开始的常用方法为
from openstack.common import log as logging
LOG = logging.getLogger(__name__)
这个时候其实时调用openstack/common/log.py中的ContextAdapter类;
ContextAdapter类继承了BaseLoggerAdapter类继承于logging.LoggerAdapter类;LoggerAdapter的作用主要是
可以允许你在打印日志时,对日志做一些统一的处理,加入一些上下文信息(contextual information),例如在一个网络应用程序里面,你很有可能想在log中包含一些客户端信息
(比如客户端的username,ipaddress等)。
LoggerAdapter的实现方式更像是一个代理或者适配器,实例化一个LoggerAdapter的时候,你需要传递一个Logger实例和一个dict-like object包含你的上下文信息,然后,LoggerAdapter也要info、debug、
error、critical等方法,并且他们的函数签名与Logger本身的签名是一样的,然后在LoggerAdapter所做的事情就类似于下面的片段;
def debug(self, msg, *args, **kwargs):
"""Delegate a debug call to the underlying logger,
after adding contextual information from this adapter instance."""
msg, kwargs =self.process(msg, kwargs)
self.logger.debug(msg, *args, **kwargs)
首先调用process方法对参数进行一定的处理,然后再将处理后的参数传给底层的logger进行调用;
在openstack里面主要是为了在log中加入了一些project、version等信息;
还有一个LazyLogger,延迟加载的logger;
openstack 中 log模块分析